Variational Bayes 방법이 EM 알고리즘의 일반화라는 것을 읽었습니다. 실제로 알고리즘의 반복 부분은 매우 유사합니다. EM 알고리즘이 Variational Bayes의 특수 버전인지 테스트하기 위해 다음을 시도했습니다.

1. 는 데이터이고 X 는 잠재 변수의 모음이며 Θ 는 매개 변수입니다. 변분 베이 즈에서 우리는 근사 할 수 있도록이되도록 P ( X , Θ | Y ) ≈ Q X ( X ) Q Θ ( Θ ) . 어디 Q의 S는 간단하고 다루기 쉬운 배포판입니다.Y

   $Y$

   $Y$X

   $X$

   $X$Θ

   $\mathrm{\Theta }$

   $\Theta$P(X,Θ|Y)≈QX(X)QΘ(Θ)

   $P(X,\mathrm{\Theta }|Y)\approx Q_X(X)Q_{\mathrm{\Theta }}(\mathrm{\Theta })$

   $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$Q

   $Q$

   $Q$

2. EM 알고리즘은 MAP 포인트 추정치를 찾기 때문에 델타 함수를 사용하면 Variational Bayes가 EM으로 수렴 할 수 있다고 생각했습니다. . Θ 1 은 EM에서 일반적으로 수행되는 모수에 대한 첫 번째 추정치입니다.Q1Θ(Θ)=δΘ1(Θ)

   $Q_{\mathrm{\Theta }}^1(\mathrm{\Theta })={\delta }_{{\mathrm{\Theta }}^1}(\mathrm{\Theta })$

   $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$Θ1

   ${\mathrm{\Theta }}_1$

   $\Theta_1$

3. 경우 부여, Q 1 (X) ( X ) KL 발산을 최소화하는 수식에 의해 발견된다 Q 1 X ( X ) = EXP ( E δ Θ 1 [ LN P ( X , Y , Θ ) ] )Q1Θ(Θ)=δΘ1(Θ)

   $Q_{\mathrm{\Theta }}^1(\mathrm{\Theta })={\delta }_{{\mathrm{\Theta }}^1}(\mathrm{\Theta })$

   $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$Q1X(X)

   $Q_X^1(X)$

   $Q^1_X(X)$
   위 식은Q 1 X (X)=P(X|Θ1,Y)로단순화되며이단계는 EM 알고리즘의 기대 단계와 동일합니다!

   Q1X(X)=exp(EδΘ1[lnP(X,Y,Θ)])∫exp(EδΘ1[lnP(X,Y,Θ)])dX

   $$Q_X^1(X)=\frac{\exp (E_{{\delta }_{{\mathrm{\Theta }}^1}}[\ln P(X,Y,\mathrm{\Theta })])}{\int \exp (E_{{\delta }_{{\mathrm{\Theta }}^1}}[\ln P(X,Y,\mathrm{\Theta })])dX}$$

   $$Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$$ Q1X(X)=P(X|Θ1,Y)

   $Q_X^1(X)=P(X|{\mathrm{\Theta }}^1,Y)$

   $Q^1_X(X)=P(X|\Theta^1,Y)$

그러나 나는 이것을 계속하는 것으로 최대화 단계를 도출 할 수 없습니다. 다음 단계에서 를 계산해야 하고 Variational Bayes 반복 규칙에 따라 다음과 같습니다.Q2Θ(Θ)

$Q^2_\Theta(\Theta)$

$$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$$

VB 및 EM 알고리즘이 실제로 이런 방식으로 연결되어 있습니까? 변형 베이의 특별한 사례로 EM을 도출 할 수있는 방법은 무엇입니까?

답변