probability-theory Archives - Page 6 of 8

나는 최근에 Expectation Maximization을 스스로 연구했고 그 과정에서 몇 가지 간단한 예를 들었습니다.

에서 여기에 세 동전이 있습니다 $c_{0}$

씨0

, $c_{1}$

씨1

과 $c_{2}$

씨2

와 $p_{0}$

피0

, $p_{1}$

피1

과 $p_{2}$

피2

던져 머리에 착륙 각각의 확률. 던 $c_{0}$

씨0

졌습니다. 결과가 Head이면 $c_{1}$

씨1

3 번 던지거나 그렇지 않으면 $c_{2}$

씨2

3 번 던지십시오 . $c_{1}$

씨1

및 의해 생성 된 관찰 된 데이터는 $c_{2}$

씨2

HHH, TTT, HHH, TTT, HHH와 같습니다. 숨겨진 데이터는 의 결과입니다 $c_{0}$

씨0

. 추정 $p_{0}$

피0

, $p_{1}$

피1

및 $p_{2}$

피2

그리고에서 여기 : 두 개의 동전이 있습니다 $c_{A}$

씨ㅏ

와 $c_{B}$

와 $p_{A}$

및 $p_{B}$

던져 때 머리에 착륙 각각의 확률 인가. 각 라운드마다 동전 하나를 무작위로 골라 10 번 던집니다. 결과를 기록하십시오. 관찰 된 데이터는이 두 코인이 제공 한 던지기 결과입니다. 그러나 특정 라운드에 어떤 동전이 선택되었는지는 알 수 없습니다. $p_{A}$

와 추정합니다 $p_{B}$

p비

계산을 할 수는 있지만 해결 방법을 원래 EM 이론과 연관시킬 수는 없습니다. 특히, 두 예제의 M-Step 중에는 어떻게 최대화하는지 알 수 없습니다. 매개 변수를 다시 계산하는 것처럼 보이며 어쨌든 새 매개 변수가 이전 매개 변수보다 낫습니다. 더욱이, 두 개의 E- 단계는 원래 이론의 E- 단계를 언급하지 않고 서로 비슷해 보이지 않습니다.

그렇다면이 예제들은 정확히 어떻게 작동합니까?

답변

(이 답변은 귀하가 제공 한 두 번째 링크를 사용합니다.)

L [θ | X] = Pr [X | θ] = \sum Z Pr [X, Z | θ]

$θ = (θ_{A}, θ_{B})$

θ=(θA,θB)

$X = (X_{1}, \dots, X_{5})$

X=(X1,…,X5)

$X_{i}$

$Z = (Z_{1}, \dots, Z_{5})$

Z=(Z1,…,Z5)

우리는 최대 우도 추정기 찾으려면 . 기대치 – 최대화 (EM) 알고리즘 (최소 발견하는 하나의 이러한 방법 . 조건부 기대 값을 찾아서 작동하며 를 최대화하는 데 사용됩니다 . 아이디어는
각 반복에서 더 가능성이 높은 (즉, 더 가능성이 높은) 를 지속적으로 찾아서 $\hat{θ}$

θ^

$\hat{θ}$

θ^

$θ$

는 우도 함수를 증가시킵니다. EM 기반 알고리즘을 설계하기 전에 수행해야 할 세 가지가 있습니다. $Pr [X, Z | θ]$

홍보[엑스,지|θ]

모델 구성
모델 하의 조건부 기대 계산 (E-Step)
현재 추정치를 업데이트하여 가능성을 극대화 (M-Step) $θ$

모델 구성

EM을 계속 진행하기 전에 정확히 그것이 무엇인지 계산해야합니다. E- 단계에서는 . 이 값은 무엇입니까? 그
$\log Pr [X, Z | θ]$

로그⁡홍보[엑스,지|θ]

로그 Pr [X, Z | θ] = \sum 나는 = 1 5 로그 \sum 씨 \in {A, B} Pr [X 나는, Z 나는 = C | θ] = \sum 나는 = 1 5 로그 \sum 씨 \in {A, B} 홍보 [Z 나는 = C | 엑스 나는, θ] \cdot Pr [ X 나는 , Z 나는 = C | θ ] 홍보 [ Z 나는 = C | 엑스 나는 , θ ] \geq \sum 나는 = 1 5 \sum 씨 \in {A, B} Pr [Z 나는 = C | 엑스 나는, θ] \cdot 로그 Pr [ X 나는 , Z 나는 = C | θ ] Pr [ Z 나는 = C | 엑스 나는 , θ ] .

그 이유는 5 가지 실험이 있고 각 동전에 어떤 동전이 사용되었는지 모르기 때문입니다. 불평등은 가 오목하고 Jensen의 불평등을 적용 하기 때문 입니다. 하한이 필요한 이유는 원래 방정식에 대한 arg max를 직접 계산할 수 없기 때문입니다. 그러나 최종 하한값을 계산할 수 있습니다. $\log$

로그

이제 ? 실험 및 주어지면 코인 볼 확률입니다 . 조건부 확률을 사용하여 $Pr [Z_{i} = C | X_{i}, θ]$

홍보[지나는=씨|엑스나는,θ]

$C$

씨

$X_{i}$

엑스나는

$θ$

Pr [Z 나는 = C | 엑스 나는, θ] = Pr [ X 나는 , Z 나는 = C | θ ] Pr [ X 나는 | θ ] .

우리는 약간의 진전을 이루었지만 아직 모델을 완성하지 못했습니다. 주어진 코인이 시퀀스 뒤집었을 확률은 얼마입니까? 시키는 $X_{i}$

엑스나는

$h_{i} = # heads in X_{i}$

h나는=#머리 엑스나는

이제는또는의 두 가지 가능성 모두에서 확률 일뿐입니다. 이후

Pr [X 나는, Z 나는 = C | θ] = 1 2 \cdot θ h 나는 씨 (1 - θ 씨) 10 - 시간 나는, 대 C \in {, B} .

$Pr [X_{i} | θ]$

홍보[엑스나는|θ]

$Z_{i} = A$

지나는=ㅏ

$Z_{i} = B$

지나는=비

우리가,
$Pr [Z_{i} = A] = Pr [Z_{i} = B] = 1 / 2$

홍보[지나는=ㅏ]=홍보[지나는=비]=1/2

Pr [X 나는 | θ] = 1 / 2 \cdot (잠 [X를 나는 | 지 나는 = A, θ] + Pr [X 나는 | 지 나는 = B, θ]) .

전자 단계

알았어 .. 재미 있지는 않았지만 이제 EM 작업을 시작할 수 있습니다. EM 알고리즘은 대해 임의의 추측을하는 것으로 시작합니다 . 이 예에서는 입니다. 우리는
$θ$

$θ^{0} = (0.6, 0.5)$

θ0=(0.6,0.5)

이 값은 논문의 내용과 일치합니다. 이제동전,
에서에서예상 헤드 수를 계산할 수 있습니다

Pr [Z 1 = A | 엑스 1, θ] = 1 / 2 \cdot ( 0.6 5 \cdot 0.4 5 ) 1 / 2 \cdot ( ( 0.6 5 \cdot 0.4 5 ) + ( 0.5 5 \cdot 0.5 5 ) ) \approx 0.45.

$X_{1} = (H, T, T, T, H, H, T, H, T, H)$

엑스1=(H,티,티,티,H,H,티,H,티,H)

$A$

ㅏ

우리가 얻는
동전 대해 똑같은 일을한다.

E [# 동전 A로 머리 | 엑스 1, θ] = h 1 \cdot Pr [Z 1 = A | 엑스 1, θ] = 5 \cdot 0.45 \approx 2.2.

$B$

비

을
로 대체하여 꼬리 수에 대해 동일하게 계산할 수 있습니다. 이것은 및 다른 모든 값에 대해 계속됩니다. 기대의 선형성 덕분에 우리는 알아낼 수 있습니다

E [# 동전 B로 머리 | 엑스 1, θ] = h 1 \cdot Pr [Z 1 = B | 엑스 1, θ] = 5 \cdot 0.55 \approx 2.8.

$h_{1}$

$10 - h_{1}$

10−h1

$X_{i}$

엑스나는

$h_{i}$

h나는

$1 \leq i \leq 5$

1≤나는≤5

E [# 동전 A로 머리 | 엑스, θ] = \sum 나는 = 1 5 E [# 동전 A로 머리 | 엑스 나는, θ]

M 단계

$θ$

θ 1 ㅏ = E [ # 는 X 보다 앞서 동전 A | 엑스 , θ ] 이자형 [ #의 머리 이상 꼬리 X 동전 A | 엑스 , θ ] = 21.3 21.3 + 9.6 \approx 0.71.

$B$

비

$θ^{1}$

θ1

$θ$

$\hat{θ} = θ^{10} = (0.8, 0.52)$

θ^=θ10=(0.8,0.52)

$Pr [X, Z | θ]$

홍보[엑스,지|θ]

$θ$

$\hat{θ}$

θ^

How IT

언제든지 물어보세요.

태그 보관물: probability-theory

코인 토스 예제에 기대 극대화 적용 있습니다 c0씨0c_0 , c1씨1c_1

답변

답변