proof Archives

두 개의 다변량 정규 분포를 가정하여 KL 발산 공식을 도출하는 데 문제가 있습니다. 일 변량 사례를 상당히 쉽게 수행했습니다. 그러나 수학 통계를 취한 지 꽤 오래되었으므로 다변량 사례로 확장하는 데 문제가 있습니다. 나는 단순한 것을 놓치고 있다고 확신합니다.

여기 내가 가진 것이 있습니다 …

와 가 각각 평균 과 및 분산 과 갖는 정규 분포의 pdf 라고 가정합니다 . 에서 까지의 Kullback-Leibler 거리는 다음과 같습니다. $p$

$q$

$μ_{1}$

μ1

$μ_{2}$

μ2

$Σ_{1}$

Σ1

$Σ_{2}$

Σ2

$q$

$p$

는 두 개의 다변량 법선에 대해 다음과 같습니다. $\int [\log (p (x)) - \log (q (x))] p (x) d x$

∫[log⁡(p(x))−log⁡(q(x))] p(x) dx

$\frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + T r (Σ_{2}^{- 1} Σ_{1}) + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})]$

12[log⁡|Σ2||Σ1|−d+Tr(Σ2−1Σ1)+(μ2−μ1)TΣ2−1(μ2−μ1)]

이 proof 와 같은 논리에 따라 붙어 있기 전에 여기에 도착합니다.

$= \int [\frac{d}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} + \frac{1}{2} ((x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2}) - (x - μ_{1})^{T} Σ_{2}^{- 1} (x - μ_{1}))] \times p (x) d x$

=∫[d2log⁡|Σ2||Σ1|+12((x−μ2)TΣ2−1(x−μ2)−(x−μ1)TΣ2−1(x−μ1))]×p(x)dx

$= E [\frac{d}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} + \frac{1}{2} ((x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2}) - (x - μ_{1})^{T} Σ_{2}^{- 1} (x - μ_{1}))]$

=E[d2log⁡|Σ2||Σ1|+12((x−μ2)TΣ2−1(x−μ2)−(x−μ1)TΣ2−1(x−μ1))]

트레이스 트릭 을 구현해야한다고 생각 하지만 그 이후에 무엇을 해야할지 모르겠습니다. 올바른 길로 되돌아가는 데 도움이되는 힌트가 있으면 감사하겠습니다!

답변

약간의 수정으로 시작한 부분부터 시작하여

K L = \int [1 2 log | Σ 2 | | Σ 1 | - 1 2 (x - μ 1) T Σ - 1 1 (x - μ 1) + 1 2 (x - μ 2) T Σ - 1 2 (x - μ 2)] \times p (x) d x = 1 2 log | Σ 2 | | Σ 1 | - 1 2 tr {E [(x - μ 1) (x - μ 1) T] Σ - 1 1} + 1 2 E [(x - μ 2) T Σ - 1 2 (x - μ 2)] = 1 2 log | Σ 2 | | Σ 1 | - 1 2 tr {I d} + 1 2 (μ 1 - μ 2) T Σ - 1 2 (μ 1 - μ 2) + 1 2 tr {Σ - 1 2 Σ 1} = 1 2 [log | Σ 2 | | Σ 1 | - d + tr {Σ - 1 2 Σ 1} + (μ 2 - μ 1) T Σ - 1 2 (μ 2 - μ 1)] .

Matrix Cookbook의 섹션 8.2 에서 몇 가지 속성을 사용했습니다 .

How IT

언제든지 물어보세요.

태그 보관물: proof

두 개의 다변량 가우스 간의 KL 분기 분포를 가정하여 KL 발산 공식을 도출하는

답변

답변