Bhattacharyya 거리와 KL 발산의 차이점 다음 질문에 대한 직관적

다음 질문에 대한 직관적 인 설명을 찾고 있습니다.

통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까?

그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?

답변

Bhattacharyya 계수 로 정의 및 거리로 전환 할 수있는 로서 호출된다Hellinger 거리. 이Hellinger 거리와Kullback-Leibler 발산간의 연결은

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$ $d_{H} (p, q)$

d_{H} (p, q)

$d_H(p,q)$

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{K L} (p ‖ q) \geq 2 d_{H}^{2} (p, q) = 2 {1 - D_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

d_{B} (p, q) \overset{def}{=} - \log D_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$
여기에 이미지 설명을 입력하십시오

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

답변

나는 두 사람 사이의 명시적인 관계를 알지 못했지만 내가 찾을 수있는 것을보기 위해 그들에게 빠른 찌르기를하기로 결정했습니다. 따라서 이것은 많은 대답이 아니라 관심의 대상입니다.

간단하게하기 위해, 이산 분포에 대해 작업 해 봅시다. BC 거리를 다음과 같이 쓸 수 있습니다.

디_{기원전} (피, 큐) = - \ln \sum_{엑스} (피 (엑스) 큐 (엑스))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

KL 발산

디_{KL} (피, 큐) = \sum_{엑스} 피 (엑스) \ln \frac{피 (엑스)}{큐 (엑스)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

이제 우리는 합계에 로그를 넣을 수 없습니다. $BC$

기원전

$\text{BC}$ 거리를 벗어나서 통나무 바깥쪽으로 통나무를 당겨 봅시다 $KL$

KL

$\text{KL}$ 분기:

디_{KL} (피, 큐) = - \ln \prod_{엑스} {(\frac{큐 (엑스)}{피 (엑스)})}^{피 (엑스)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

때 그들의 행동을 고려하자 $p$

피

$p$ 균일 한 분포로 고정 $n$

엔

$n$ 가능성 :

디_{KL} (피, 큐) = - \ln 엔 - \ln {(\prod_{엑스} 큐 (엑스))}^{\frac{1}{엔}} 디_{기원전} (피, 큐) = - \ln \frac{1}{\sqrt{엔}} - \ln \sum_{엑스} \sqrt{큐 (엑스)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

왼쪽에는 기하 평균 과 형태가 비슷한 로그가 있습니다 . 오른쪽에는 산술 평균 의 로그와 비슷한 것이 있습니다 . 내가 말했듯이, 이것은 많은 대답이 아니지만 BC 거리와 KL 발산이 사이의 편차에 어떻게 반응하는지에 대한 깔끔한 직감을 제공한다고 생각합니다 $p$

피

$p$ 과 $q$

큐

$q$ .

How IT

언제든지 물어보세요.

Bhattacharyya 거리와 KL 발산의 차이점 다음 질문에 대한 직관적

답변

답변

답변