태그 보관물: mathematical-statistics

mathematical-statistics

Bhattacharyya 거리와 KL 발산의 차이점 다음 질문에 대한 직관적

다음 질문에 대한 직관적 인 설명을 찾고 있습니다.

통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까?

그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?



답변

Bhattacharyya 계수 로 정의 및 거리로 전환 할 수있는 차원 H ( P , Q ) 로서 D에 H ( P , Q ) = { 1 D B ( P , Q ) } 1 / 2 호출된다Hellinger 거리. 이Hellinger 거리Kullback-Leibler 발산간의 연결은
d K L ( p q ) 2

DB(p,q)=∫p(x)q(x)dx

dH(p,q)

dH(p,q)={1−DB(p,q)}1/2

dKL(p‖q)≥2dH2(p,q)=2{1−DB(p,q)}.

dB(p,q)=def−log⁡DB(p,q),

dB(p,q)=−log⁡DB(p,q)=−log⁡∫p(x)q(x)dx=def−log⁡∫h(x)dx=−log⁡∫h(x)p(x)p(x)dx≤∫−log⁡{h(x)p(x)}p(x)dx=∫−12log⁡{h2(x)p2(x)}p(x)dx=∫−12log⁡{q(x)p(x)}p(x)dx=12dKL(p‖q)

dKL(p‖q)≥2dB(p,q).

−log(x)≥1−x0≤x≤1,


dKL(p‖q)≥2dB(p,q)≥2dH(p,q)2.


답변

나는 두 사람 사이의 명시적인 관계를 알지 못했지만 내가 찾을 수있는 것을보기 위해 그들에게 빠른 찌르기를하기로 결정했습니다. 따라서 이것은 많은 대답이 아니라 관심의 대상입니다.

간단하게하기 위해, 이산 분포에 대해 작업 해 봅시다. BC 거리를 다음과 같이 쓸 수 있습니다.

디기원전(피,큐)=−ln⁡∑엑스(피(엑스)큐(엑스))12

KL 발산

디KL(피,큐)=∑엑스피(엑스)ln⁡피(엑스)큐(엑스)

이제 우리는 합계에 로그를 넣을 수 없습니다.

기원전

거리를 벗어나서 통나무 바깥쪽으로 통나무를 당겨 봅시다

KL

분기:

디KL(피,큐)=−ln⁡∏엑스(큐(엑스)피(엑스))피(엑스)

때 그들의 행동을 고려하자

균일 한 분포로 고정

가능성 :

디KL(피,큐)=−ln⁡엔−ln⁡(∏엑스큐(엑스))1엔디기원전(피,큐)=−ln⁡1엔−ln⁡∑엑스큐(엑스)

왼쪽에는 기하 평균 과 형태가 비슷한 로그가 있습니다 . 오른쪽에는 산술 평균 의 로그와 비슷한 것이 있습니다 . 내가 말했듯이, 이것은 많은 대답이 아니지만 BC 거리와 KL 발산이 사이의 편차에 어떻게 반응하는지에 대한 깔끔한 직감을 제공한다고 생각합니다

.


답변