확률 발생하는 이벤트를 인코딩하려면 최소한 log 2 ( 1 / p ) 비트가 필요합니다 (왜? “섀넌의 엔트로피에서 로그의 역할은 무엇입니까 ? “에 대한 내 대답 참조 ).피

$피$

$p$로그2( 1 / p )

${\mathrm{로그}}_2(1/피)$

$\log_2(1/p)$

따라서 최적의 인코딩에서 인코딩 된 메시지의 평균 길이는

즉원래 확률 분포의Shannon 엔트로피.

$$\sum_i p_i \log_2(\tfrac{1}{p_i}),$$

그러나 확률 분포 경우 다른 확률 분포 Q에 최적 인 인코딩을 사용하는 경우 인코딩 된 메시지의 평균 길이는
∑ i p i code_length ( i ) = ∑ i p i log 2 ( 1피

$피$

$P$큐

$큐$

$Q$
인크로스 엔트로피보다 크면,Σ의난의페이지나기록(2)(1

$$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$$ .∑나는피나는로그2( 1피나는)

$\sum _{\mathrm{나는}}{피}_{\mathrm{나는}}{\mathrm{로그}}_2(\frac{1}{{피}_{\mathrm{나는}}})$

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

피= ( 12, 12, 0 , 0 )

$피=(\frac{1}{2},\frac{1}{2},0,0)$

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

그런 다음 최적으로 인코딩하려면 A를 0으로, B를 1로 인코딩하므로 한 문자 당 1 비트의 인코딩 된 메시지를 얻습니다. (그리고 그것은 우리의 확률 분포의 Shannon Shannon 엔트로피입니다.)

피

$피$

$P$Q = ( 14, 14, 14, 14)

$큐=(\frac{1}{4},\frac{1}{4},\frac{1}{4},\frac{1}{4})$

$Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$그런 다음 문자 당 2 비트를 얻습니다 (예 : A는 00, B는 01, C는 10, D는 11로 인코딩합니다).

---

답변