주교의 PRML 서적에서, 초과 적합은 MLE (Maximum Likelihood Estimation)의 문제이며 Bayesian은이를 피할 수 있다고 말합니다.

그러나 과적 합은 모수 추정에 사용 된 방법이 아니라 모형 선택에 대한 문제라고 생각합니다. 즉, 통해 생성되는 데이터 세트 가 있다고 가정 하면 이제 데이터에 맞게 다른 모델 를 선택 하고 알아낼 수 있습니다. 어느 것이 최고입니다. 고려중인 모형은 차수가 다른 다항식이며 은 차수 1, 는 차수 2, 은 차수 9입니다.f ( x ) = s i n ( x ) ,디

$D$

$D$H i H 1 H 2 H 3

$$f(x)=sin(x),\;x\in[0,1]$$ H나는

$H_i$

$H_i$H1

$H_1$

$H_1$H2

$H_2$

$H_2$H삼

$H_3$

$H_3$

이제 데이터 를 3 개의 모델 각각에 맞추려고 시도합니다 . 각 모델에는 대해 로 표시된 매개 변수가 있습니다.w i H i디

$D$

$D$승나는

$w_i$

$w_i$H나는

$H_i$

$H_i$

ML을 사용하면 모델 매개 변수 의 점 추정치가 있으며 은 너무 단순하고 항상 데이터에 적합하지 않지만 은 너무 복잡하고 데이터에 너무 적합하며 만 데이터에 잘 맞습니다.H 1 H 3 H 2w

$w$

$w$H1

$H_1$

$H_1$H3

$H_3$

$H_3$H2

$H_2$

$H_2$

내 질문은

1) 모델 은 데이터에 적합하지만 ML의 문제는 아니지만 모델 자체의 문제라고 생각합니다. ML을 사용 인해 과적 합이 발생하지 않습니다. 내가 맞아?H 1 , H 2H3

$H_3$

$H_3$H1,H2

$H_1,H_2$

$H_1,H_2$

2) ML은 Bayesian과 비교할 때 모델 매개 변수 의 점 추정치를 제공하기 때문에 약간의 단점이 있으며 과도합니다. Bayesian은 매개 변수의 가장 가능한 값에 의존하지 않지만 관측 된 데이터 주어지면 가능한 모든 매개 변수 값에 의존합니다 .Dw

$w$

$w$D

$D$

$D$

3) 베이지안이 왜 과적 합을 피하거나 줄일 수 있습니까? 내가 알기로, 모델 비교를 위해 베이지안을 사용할 수 있습니다. 즉, 데이터 가 주어지면 고려중인 각 모델 의 한계 우도 (또는 모델 증거) 를 찾은 다음 가장 높은 한계 우도를 가진 모델을 선택할 수 있습니다 ? 그렇다면 왜 그렇습니까?D

$D$

$D$

---

---

답변