베이지안 업데이트의 기본 아이디어는 일부 데이터 와 이전 의 관심있는 매개 변수 가 주어지면 데이터와 매개 변수의 관계가 우도 함수를 사용 하여 설명되는 경우 Bayes 정리를 사용하여 사후를 얻는 것입니다X

$X$

$X$θ

$\theta$

$\theta$

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

이것은 첫 번째 데이터 점을 본 후 위치를 순차적으로 수행 할 수 있습니다 x1

$x_1$

$x_1$ 이전 θ

$\theta$

$\theta$ 업데이트된다 후방 θ′

${\theta }^{\prime }$

$\theta'$ 당신이 두 번째 데이터 포인트 걸릴 수 옆에 x2

$x_2$

$x_2$ 및 사용을 후방 전에 얻은 θ′

${\theta }^{\prime }$

$\theta'$ 당신으로 이전에 다시 한 번 등을 업데이트하기 위해, .

예를 들어 보겠습니다. 정규 분포의 평균 \ mu 를 추정 μ

$\mu$

$\mu$하고 σ2

${\sigma }^2$

$\sigma^2$ 를 알고 있다고 상상해보십시오 . 이 경우 정상 정규 모델을 사용할 수 있습니다. 하이퍼 파라미터가 \ mu_0, \ sigma_0 ^ 2 인 \ mu에 대해 보통 이전으로 가정합니다 .μ

$\mu$

$\mu$μ0,σ20:

${\mu }_0,{\sigma }_0^2:$

$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

정규 분포는 정규 분포의 에 대한 켤레 이전 의 켤레 이므로 , 우리는 이전 형태를 업데이트하는 폐쇄 형 솔루션을 가지고 있습니다.μ

$\mu$

$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

불행히도, 이러한 단순한 폐쇄 형 솔루션은 더 복잡한 문제에 사용할 수 없으며 최적화 알고리즘 ( 최대 사후 접근 방식을 사용하는 포인트 추정 ) 또는 MCMC 시뮬레이션 에 의존해야 합니다.

아래에서 데이터 예를 볼 수 있습니다.

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

결과를 플로팅하면 새 데이터가 누적 될 때 후방 이 추정 값에 도달하는 방법 (실제 값은 빨간색 선으로 표시됨)을 볼 수 있습니다.

자세한 내용 은 Kevin P. Murphy의 슬라이드 및 가우시안 배포판의 Conjugate Bayesian 분석을 확인할 수 있습니다 . 또한 베이지안 이전의 표본이 큰 표본 크기와 관련이 없습니까? 당신은 또한 확인할 수 있습니다 그 노트 와 이 블로그 항목 베이지안 추론에 액세스 단계별 도입을.

---

답변