Variational Bayes 방법이 EM 알고리즘의 일반화라는 것을 읽었습니다. 실제로 알고리즘의 반복 부분은 매우 유사합니다. EM 알고리즘이 Variational Bayes의 특수 버전인지 테스트하기 위해 다음을 시도했습니다.

1. 는 데이터이고 X 는 잠재 변수의 모음이며 Θ 는 매개 변수입니다. 변분 베이 즈에서 우리는 근사 할 수 있도록이되도록 P ( X , Θ | Y ) ≈ Q X ( X ) Q Θ ( Θ ) . 어디 Q의 S는 간단하고 다루기 쉬운 배포판입니다.Y

   Y

   X

   X

   Θ

   Θ

   P(X,Θ|Y)≈QX(X)QΘ(Θ)

   P(X,Θ|Y)≈QX(X)QΘ(Θ)

   Q

   Q

2. EM 알고리즘은 MAP 포인트 추정치를 찾기 때문에 델타 함수를 사용하면 Variational Bayes가 EM으로 수렴 할 수 있다고 생각했습니다. . Θ 1 은 EM에서 일반적으로 수행되는 모수에 대한 첫 번째 추정치입니다.Q1Θ(Θ)=δΘ1(Θ)

   QΘ1(Θ)=δΘ1(Θ)

   Θ1

   Θ1

3. 경우 부여, Q 1 (X) ( X ) KL 발산을 최소화하는 수식에 의해 발견된다 Q 1 X ( X ) = EXP ( E δ Θ 1 [ LN P ( X , Y , Θ ) ] )Q1Θ(Θ)=δΘ1(Θ)

   QΘ1(Θ)=δΘ1(Θ)

   Q1X(X)

   QX1(X)

   
   위 식은Q 1 X (X)=P(X|Θ1,Y)로단순화되며이단계는 EM 알고리즘의 기대 단계와 동일합니다!

   Q1X(X)=exp(EδΘ1[lnP(X,Y,Θ)])∫exp(EδΘ1[lnP(X,Y,Θ)])dX QX1(X)=exp⁡(EδΘ1[ln⁡P(X,Y,Θ)])∫exp⁡(EδΘ1[ln⁡P(X,Y,Θ)])dX

   Q1X(X)=P(X|Θ1,Y)

   QX1(X)=P(X|Θ1,Y)

그러나 나는 이것을 계속하는 것으로 최대화 단계를 도출 할 수 없습니다. 다음 단계에서 를 계산해야 하고 Variational Bayes 반복 규칙에 따라 다음과 같습니다.Q2Θ(Θ)

VB 및 EM 알고리즘이 실제로 이런 방식으로 연결되어 있습니까? 변형 베이의 특별한 사례로 EM을 도출 할 수있는 방법은 무엇입니까?

답변