다음 질문에 대한 직관적 인 설명을 찾고 있습니다.
통계 및 정보 이론에서 Bhattacharyya 거리와 KL 발산의 차이는 두 개의 이산 확률 분포의 차이를 측정하는 방법으로 무엇입니까?
그들은 전혀 관계가 없으며 두 확률 분포 사이의 거리를 완전히 다른 방식으로 측정합니까?
답변
Bhattacharyya 계수 로 정의 및 거리로 전환 할 수있는 차원 H ( P , Q ) 로서 D에 H ( P , Q ) = { 1 – D B ( P , Q ) } 1 / 2 호출된다Hellinger 거리. 이Hellinger 거리와Kullback-Leibler 발산간의 연결은
d K L ( p ” q ) ≥ 2
DB(p,q)=∫p(x)q(x)−−−−−−−√dx
DB(p,q)=∫p(x)q(x)dx
dH(p,q)
dH(p,q)
dH(p,q)={1−DB(p,q)}1/2
dH(p,q)={1−DB(p,q)}1/2
dKL(p∥q)≥2d2H(p,q)=2{1−DB(p,q)}.
dKL(p‖q)≥2dH2(p,q)=2{1−DB(p,q)}.
dB(p,q)=def−logDB(p,q),
dB(p,q)=def−logDB(p,q),
dB(p,q)=−logDB(p,q)=−log∫p(x)q(x)−−−−−−−√dx=def−log∫h(x)dx=−log∫h(x)p(x)p(x)dx≤∫−log{h(x)p(x)}p(x)dx=∫−12log{h2(x)p2(x)}p(x)dx=∫−12log{q(x)p(x)}p(x)dx=12dKL(p∥q)
dB(p,q)=−logDB(p,q)=−log∫p(x)q(x)dx=def−log∫h(x)dx=−log∫h(x)p(x)p(x)dx≤∫−log{h(x)p(x)}p(x)dx=∫−12log{h2(x)p2(x)}p(x)dx=∫−12log{q(x)p(x)}p(x)dx=12dKL(p‖q)
dKL(p∥q)≥2dB(p,q).
dKL(p‖q)≥2dB(p,q).
−log(x)≥1−x0≤x≤1,
−log(x)≥1−x0≤x≤1,
dKL(p∥q)≥2dB(p,q)≥2dH(p,q)2.
dKL(p‖q)≥2dB(p,q)≥2dH(p,q)2.
답변
나는 두 사람 사이의 명시적인 관계를 알지 못했지만 내가 찾을 수있는 것을보기 위해 그들에게 빠른 찌르기를하기로 결정했습니다. 따라서 이것은 많은 대답이 아니라 관심의 대상입니다.
간단하게하기 위해, 이산 분포에 대해 작업 해 봅시다. BC 거리를 다음과 같이 쓸 수 있습니다.
디기원전( p , q) = − ln∑엑스( p ( x ) q( x ) )12
디기원전(피,큐)=−ln∑엑스(피(엑스)큐(엑스))12
KL 발산
디KL( p , q) = ∑엑스p ( x ) lnp ( x )큐( x )
디KL(피,큐)=∑엑스피(엑스)ln피(엑스)큐(엑스)
이제 우리는 합계에 로그를 넣을 수 없습니다. 기원전
기원전
거리를 벗어나서 통나무 바깥쪽으로 통나무를 당겨 봅시다 KL
KL
분기:
디KL( p , q) = − ln∏엑스( q( x )p ( x ))p ( x )
디KL(피,큐)=−ln∏엑스(큐(엑스)피(엑스))피(엑스)
때 그들의 행동을 고려하자 피
피
균일 한 분포로 고정 엔
엔
가능성 :
디KL( p , q) = − lnn – ln( ∏엑스큐( x ) )1엔디기원전( p , q) = − ln1엔−−√− ln∑엑스큐( x )−−−−√
디KL(피,큐)=−ln엔−ln(∏엑스큐(엑스))1엔디기원전(피,큐)=−ln1엔−ln∑엑스큐(엑스)
왼쪽에는 기하 평균 과 형태가 비슷한 로그가 있습니다 . 오른쪽에는 산술 평균 의 로그와 비슷한 것이 있습니다 . 내가 말했듯이, 이것은 많은 대답이 아니지만 BC 거리와 KL 발산이 사이의 편차에 어떻게 반응하는지에 대한 깔끔한 직감을 제공한다고 생각합니다피
피
과 큐
큐
.