엔트로피와 마찬가지로 의미가 있거나 유용한 차동 엔트로피에 대한 해석은 없습니다. 연속 랜덤 변수의 문제점은 값이 일반적으로 0 확률이므로 인코딩하기 위해 무한한 수의 비트가 필요하다는 것입니다.

만약 간격 가능성 측정함으로써 이산 엔트로피의 한계 보면 하면 끝낼[nε,(n+1)ε[

$[n\epsilon ,(n+1)\epsilon [$

$[n\varepsilon, (n + 1)\varepsilon[$

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

차등 엔트로피가 아닙니다. 이 수량은 더 의미가 있지만 더 작은 간격을 가지면 무한대로 분기됩니다. 많은 간격 중 임의의 간격 값이 떨어지는 간격으로 인코딩하려면 점점 더 많은 비트가 필요하기 때문에 이치에 맞습니다.

연속 분포를 살펴 보는 데 더 유용한 양은 상대 엔트로피 (Kullback-Leibler divergence)입니다. 이산 분포의 경우 :

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

실제 분포가 일 때 사용되는 추가 비트 수를 측정 하지만 비트를 사용하여 를 인코딩 합니다. 상대 엔트로피의 한계를 극복하고P

$P$

$P$−logQ2(x)

$-\log Q_2(x)$

$-\log Q_2(x)$x

$x$

$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

이 취소 되기 때문 입니다. 연속 분포의 경우 이것은 무한 작은 빈의 한계에 사용되는 추가 비트 수에 해당합니다. 연속 분포와 불연속 분포의 경우 항상 음이 아닙니다.log2ε

${\log }_2\epsilon$

$\log_2 \varepsilon$

이제, 우리 는 차분 엔트로피를 와 비정규 밀도 사이의 음의 상대 엔트로피로 생각할 수 있습니다 .p(x)

$p(x)$

$p(x)$λ(x)=1

$\lambda (x)=1$

$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

해석은 비트를 사용하여 번째 간격을 대신 사용하여 필요한 비트 수의 차이입니다. 의는 비트. 전자가 최적이더라도, 가 부정 행위를하므로 (1에 통합하지 않음) 이론적으로 가능한 것보다 평균적으로 적은 비트를 할당 할 수 있기 때문에이 차이는 이제 음수 일 수 있습니다.−log2∫(n+1)εnεp(x)dx

$-{\log }_2{\int }_{n\epsilon }^{(n+1)\epsilon }p(x)dx$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$n

$n$

$n$−logε

$-\log \epsilon$

$-\log \varepsilon$λ

$\lambda$

$\lambda$

상대 엔트로피에 대한 훌륭한 소개는 Sergio Verdu의 이야기 를 참조하십시오 .

---

답변