태그 보관물: information-theory

information-theory

Bhattacharyya 거리와 KL 발산의 차이점 다음 질문에 대한 직관적

다음 질문에 대한 직관적 인 설명을 찾고 있습니다.

통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까?

그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?



답변

Bhattacharyya 계수 로 정의 및 거리로 전환 할 수있는 차원 H ( P , Q ) 로서 D에 H ( P , Q ) = { 1 D B ( P , Q ) } 1 / 2 호출된다Hellinger 거리. 이Hellinger 거리Kullback-Leibler 발산간의 연결은
d K L ( p q ) 2

DB(p,q)=p(x)q(x)dx

dH(p,q)

dH(p,q)={1DB(p,q)}1/2

dKL(pq)2dH2(p,q)=2{1DB(p,q)}.

dB(p,q)=deflogDB(p,q),

dB(p,q)=logDB(p,q)=logp(x)q(x)dx=deflogh(x)dx=logh(x)p(x)p(x)dxlog{h(x)p(x)}p(x)dx=12log{h2(x)p2(x)}p(x)dx=12log{q(x)p(x)}p(x)dx=12dKL(pq)

dKL(pq)2dB(p,q).

log(x)1x0x1,


여기에 이미지 설명을 입력하십시오

dKL(pq)2dB(p,q)2dH(p,q)2.


답변

나는 두 사람 사이의 명시적인 관계를 알지 못했지만 내가 찾을 수있는 것을보기 위해 그들에게 빠른 찌르기를하기로 결정했습니다. 따라서 이것은 많은 대답이 아니라 관심의 대상입니다.

간단하게하기 위해, 이산 분포에 대해 작업 해 봅시다. BC 거리를 다음과 같이 쓸 수 있습니다.

기원전(,)=ln엑스((엑스)(엑스))12

KL 발산

KL(,)=엑스(엑스)ln(엑스)(엑스)

이제 우리는 합계에 로그를 넣을 수 없습니다.

기원전

거리를 벗어나서 통나무 바깥쪽으로 통나무를 당겨 봅시다

KL

분기:

KL(,)=ln엑스((엑스)(엑스))(엑스)

때 그들의 행동을 고려하자

균일 한 분포로 고정

가능성 :

KL(,)=lnln(엑스(엑스))1기원전(,)=ln1ln엑스(엑스)

왼쪽에는 기하 평균 과 형태가 비슷한 로그가 있습니다 . 오른쪽에는 산술 평균 의 로그와 비슷한 것이 있습니다 . 내가 말했듯이, 이것은 많은 대답이 아니지만 BC 거리와 KL 발산이 사이의 편차에 어떻게 반응하는지에 대한 깔끔한 직감을 제공한다고 생각합니다

.


답변