변형 베이와 EM의 관계 수 있다고 생각했습니다.

Variational Bayes 방법이 EM 알고리즘의 일반화라는 것을 읽었습니다. 실제로 알고리즘의 반복 부분은 매우 유사합니다. EM 알고리즘이 Variational Bayes의 특수 버전인지 테스트하기 위해 다음을 시도했습니다.

  1. 는 데이터이고 X 는 잠재 변수의 모음이며 Θ 는 매개 변수입니다. 변분 베이 즈에서 우리는 근사 할 수 있도록이되도록 P ( X , Θ | Y ) Q X ( X ) Q Θ ( Θ ) . 어디 Q의 S는 간단하고 다루기 쉬운 배포판입니다.

    Y

    X

    Θ

    P(X,Θ|Y)QX(X)QΘ(Θ)

    Q

  2. EM 알고리즘은 MAP 포인트 추정치를 찾기 때문에 델타 함수를 사용하면 Variational Bayes가 EM으로 수렴 할 수 있다고 생각했습니다. . Θ 1 은 EM에서 일반적으로 수행되는 모수에 대한 첫 번째 추정치입니다.

    QΘ1(Θ)=δΘ1(Θ)

    Θ1

  3. 경우 부여, Q 1 (X) ( X ) KL 발산을 최소화하는 수식에 의해 발견된다 Q 1 X ( X ) = EXP ( E δ Θ 1 [ LN P ( X , Y , Θ ) ] )

    QΘ1(Θ)=δΘ1(Θ)

    QX1(X)


    위 식은Q 1 X (X)=P(X|Θ1,Y)로단순화되며이단계는 EM 알고리즘의 기대 단계와 동일합니다!

    QX1(X)=exp(EδΘ1[lnP(X,Y,Θ)])exp(EδΘ1[lnP(X,Y,Θ)])dX

    QX1(X)=P(X|Θ1,Y)

그러나 나는 이것을 계속하는 것으로 최대화 단계를 도출 할 수 없습니다. 다음 단계에서 를 계산해야 하고 Variational Bayes 반복 규칙에 따라 다음과 같습니다.

QΘ2(Θ)

QΘ2(Θ)=exp(EP(X|Θ1,Y)[lnP(X,Y,Θ)])exp(EP(X|Θ1,Y)[lnP(X,Y,Θ)])dΘ

VB 및 EM 알고리즘이 실제로 이런 방식으로 연결되어 있습니까? 변형 베이의 특별한 사례로 EM을 도출 할 수있는 방법은 무엇입니까?



답변

Θ

Θ

QΘ(Θ)=δ(ΘΘ)

KL(Q||P)=QX(X)QΘ(Θ)lnQX(X)QΘ(Θ)P(X,Y,Θ)dXdΘ=QX(X)lnQX(X)QΘ(Θ)P(X,Y,Θ)dX

QX(X)

Θ

물론 KL 발산을 실제로 평가한다면 그것은 무한대 일 것입니다. 그러나 델타 함수를 제한으로 생각하면 문제가되지 않습니다.


답변