νƒœκ·Έ 보관물: probability

probability

κ°€λŠ₯성에 λŒ€ν•œ μœ„ν‚€ λ°±κ³Ό μž…μž₯은 λͺ¨ν˜Έν•΄ 보인닀 뢄포λ₯Ό 가진 ν™•λ₯  λ³€μˆ˜ 일 수

β€œμ‘°κ±΄λΆ€ ν™•λ₯ β€κ³Ό β€œκ°€λŠ₯성”에 κ΄€ν•œ κ°„λ‹¨ν•œ 질문이 μžˆμŠ΅λ‹ˆλ‹€. (λ‚˜λŠ” 이미이 μ§ˆλ¬Έμ„ μ‘°μ‚¬ν–ˆλ‹€ μ—¬κΈ° μ§€λ§Œ 아무 μ†Œμš©μ—.)

Wikipedia νŽ˜μ΄μ§€μ—μ„œ μ‹œμž‘ν•©λ‹ˆλ‹€ . 그듀은 μ΄λ ‡κ²Œ λ§ν•©λ‹ˆλ‹€.

κ°€λŠ₯μ„± νŒŒλΌλ―Έν„° κ°’λ“€μ˜ μ„ΈνŠΈλŠ” , μ†Œμ •μ˜ κ²°κ³Ό 이며, μ΄λŸ¬ν•œ νŒŒλΌλ―Έν„° κ°’ 주어진 μ΄λŸ¬ν•œ κ΄€μ°° 결과의 ν™•λ₯  κ°™λ‹€

ΞΈ

x

L(θ∣x)=P(x∣θ)

큰! λ”°λΌμ„œ μ˜μ–΄, I 같이 μˆ™μ§€ β€œμ„Ένƒ€ κ°™κ²Œ λ³€μˆ˜μ˜ μš°λ„ 데이터 X = X (쒌츑면) λΆ€μ—¬, X와 λ™μΌν•˜κ³ , 데이터 X의 ν™•λ₯ λ‘œ λ™μΌν•œ νŠΉμ • 맀개 λ³€μˆ˜ κ·Έ 세타와 κ°™μŠ΅λ‹ˆλ‹€ ” ( ꡡ은 κΈ€μ”¨λŠ” κ°•μ‘°ν•˜κΈ°μœ„ν•œ κ²ƒμž…λ‹ˆλ‹€ ).

κ·ΈλŸ¬λ‚˜ 같은 νŽ˜μ΄μ§€μ—μ„œ 3 쀄 이상을 μ§€λ‚˜λ©΄ Wikipedia ν•­λͺ©μ€ λ‹€μŒκ³Ό 같이 λ§ν•©λ‹ˆλ‹€.

ν•˜μž 이산 ν™•λ₯  뢄포λ₯Ό 가진 ν™•λ₯  λ³€μˆ˜ 일 수
νŒŒλΌλ―Έν„°μ— 따라 . 그런 λ‹€μŒ κΈ°λŠ₯

X

p

ΞΈ

L(θ∣x)=pθ(x)=Pθ(X=x),

의 ν•¨μˆ˜λ‘œ κ°„μ£Όλ˜λŠ” ν™•λ₯  ν•¨μˆ˜ ( μž„μ˜ λ³€μˆ˜ 의 κ²°κ³Ό κ°€
주어지면 의 ν•¨μˆ˜)λΌκ³ ν•©λ‹ˆλ‹€ . λ•Œλ•Œλ‘œ κ°’μ˜ ν™•λ₯  의 νŒŒλΌλ―Έν„° κ°’ 둜 κΈ°λ‘λœλ‹€ ; 이것은 μ’…μ’… 둜 μž‘μ„±λ˜μ–΄ 이것이 쑰건뢀 ν™•λ₯ μ΄ μ•„λ‹Œ κ³Ό λ‹€λ₯΄λ‹€λŠ”
것을 κ°•μ‘°ν•˜κΈ° μœ„ν•΄ μž…λ‹ˆλ‹€. λŠ” μž„μ˜μ˜ λ³€μˆ˜κ°€ μ•„λ‹ˆλΌ 맀개 λ³€μˆ˜ 이기 λ•Œλ¬Έ μž…λ‹ˆλ‹€.

ΞΈ

ΞΈ

x

X

x

X

ΞΈ

P(X=x∣θ)

P(X=x;ΞΈ)

L(θ∣x)

ΞΈ

( ꡡ은 κΈ€μ”¨λŠ” κ°•μ‘°ν•˜κΈ°μœ„ν•œ κ²ƒμž…λ‹ˆλ‹€ ). κ·Έλž˜μ„œ 첫 번째 μΈμš©μ—μ„œ, μš°λ¦¬λŠ” 문자 κ·ΈλŒ€λ‘œ 의 쑰건뢀 ν™•λ₯ μ— λŒ€ν•΄ λ§ν•˜μ§€λ§Œ, κ·Έ μ§ν›„μ—λŠ” 이것이 μ‹€μ œλ‘œ 쑰건뢀 ν™•λ₯ μ΄ μ•„λ‹ˆλ©° μ‹€μ œλ‘œ ?

P(x∣θ)

P(X=x;ΞΈ)

κ·Έλž˜μ„œ μ–΄λŠ μͺ½μž…λ‹ˆκΉŒ? κ°€λŠ₯성은 μ‹€μ œλ‘œ 첫 번째 인용문 인 쑰건뢀 ν™•λ₯ μ„ μ˜λ―Έν•©λ‹ˆκΉŒ? μ•„λ‹ˆλ©΄ 두 번째 인용문과 λΉ„μŠ·ν•œ λ‹¨μˆœν•œ ν™•λ₯ μ„ μ˜λ―Έν•©λ‹ˆκΉŒ?

νŽΈμ§‘ν•˜λ‹€:

μ§€κΈˆκΉŒμ§€λ°›μ€ λͺ¨λ“  λ„μ›€μ΄λ˜κ³  톡찰λ ₯μžˆλŠ” 닡변을 λ°”νƒ•μœΌλ‘œ λ‚΄ 질문과 λ‚΄ 이해λ₯Ό μš”μ•½ν–ˆμŠ΅λ‹ˆλ‹€.

  • μ—μ„œ μ˜μ–΄ β€œκ°€λŠ₯성이 κ΄€μΈ‘ 된 데이터을 λΆ€μ—¬ν•œ 맀개 λ³€μˆ˜μ˜ ν•¨μˆ˜μ΄λ‹€.β€μš°λ¦¬λŠ” 말 μ—μ„œλŠ” μˆ˜ν•™ : 우리 λ‹€ μ“°κ³  .
    L(Θ=θ∣X=x)

  • κ°€λŠ₯성은 ν™•λ₯ μ΄ μ•„λ‹™λ‹ˆλ‹€.
  • κ°€λŠ₯성은 ν™•λ₯  뢄포가 μ•„λ‹™λ‹ˆλ‹€.
  • κ°€λŠ₯성은 ν™•λ₯  μ§ˆλŸ‰μ΄ μ•„λ‹™λ‹ˆλ‹€.
  • μš°λ„ κ·ΈλŸ¬λ‚˜μ΄λ‹€ μ˜μ–΄ β€œμ–΄λ””μ—μ„œ ν™•λ₯  λΆ„ν¬μ˜ κ³± (연속 μΌ€μ΄μŠ€) λ˜λŠ” ν™•λ₯  μ§ˆλŸ‰μ˜ κ³± (이산 경우) 및 νŒŒλΌλ―Έν„° 둜 . ” μ—μ„œλŠ” μˆ˜ν•™ , μš°λ¦¬λŠ” λ‹€μŒκ³Ό 같은 것이 ν•΄μ£ΌκΈ° (연속적인 경우, λŠ” PDF μž„) 및 (이 경우 λŠ” ν™•λ₯  μ§ˆλŸ‰ μž„) μ—¬κΈ°μ„œμ˜ ν…Œμ΄ν¬ 아웃은 μ–΄λ–€ μ‹œμ μ—μ„œλ„Ξ˜ = ΞΈ L ( Θ = ΞΈ ∣ X = x ) = f ( X = x ; Θ = ΞΈ ) f L ( Θ = ΞΈ ∣ X = x ) = P ( X = x ; Θ = ΞΈ ) P
    X=x

    Θ=θ

    L(Θ=θ∣X=x)=f(X=x;Θ=θ)

    f


    L(Θ=θ∣X=x)=P(X=x;Θ=θ)

    P

    쑰건뢀 ν™•λ₯ μ€ μ „ν˜€ μž‘μš©ν•˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€.
  • 베이 즈 μ •λ¦¬μ—μ„œ, μš°λ¦¬λŠ” : . κ΅¬μ–΄μ²΄λ‘œ, μš°λ¦¬λŠ” μ΄μ•ΌκΈ°λ˜λŠ” ” κ°€λŠ₯성이닀”, κ·ΈλŸ¬λ‚˜ 이것은 사싀이 μ•„λ‹ˆλ‹€ 이후, 될 κ°€λŠ₯μ„±μ΄μžˆλŠ” μ‹€μ œ 랜덀 λ³€μˆ˜. κ·ΈλŸ¬λ‚˜ μš°λ¦¬κ°€ μ˜¬λ°”λ₯΄κ²Œ 말할 μˆ˜μžˆλŠ” 것은이 μš©μ–΄ λŠ” λ‹¨μˆœνžˆ κ°€λŠ₯μ„±κ³Ό β€œμœ μ‚¬ν•˜λ‹€β€λŠ” κ²ƒμž…λ‹ˆλ‹€. (?) [이건 ν™•μ‹€ν•˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€.] P(X=x∣Θ=ΞΈ)ΘP(X=x∣Θ=ΞΈ)
    P(Θ=θ∣X=x)=P(X=x∣Θ=θ) P(Θ=θ)P(X=x)

    P(X=x∣Θ=θ)

    Θ

    P(X=x∣Θ=θ)

νŽΈμ§‘ II :

@amoebas 닡변을 λ°”νƒ•μœΌλ‘œ 그의 λ§ˆμ§€λ§‰ μ˜κ²¬μ„ μž‘μ„±ν–ˆμŠ΅λ‹ˆλ‹€. λ‚˜λŠ” 그것이 λΆ„λͺ…νžˆ μ„€λͺ…ν•˜κ³  μžˆλ‹€κ³  μƒκ°ν•˜λ©°, λ‚΄κ°€ 가지고 μžˆμ—ˆλ˜ μ£Όμš” λ…ΌμŸμ„ ν•΄κ²°ν•œλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€. (이미지에 λŒ€ν•œ 의견).

여기에 이미지 μ„€λͺ…을 μž…λ ₯ν•˜μ‹­μ‹œμ˜€

νŽΈμ§‘ III :

@amoebas μ˜κ²¬μ„ Bayesian μ‚¬λ‘€λ‘œ ν™•μž₯ν–ˆμŠ΅λ‹ˆλ‹€.



λ‹΅λ³€

λ‚˜λŠ” 이것이 λΆˆν•„μš”ν•˜κ²Œ ν—€μ–΄λ₯Ό λΆ„ν• ν•œλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€.

쑰건뢀 ν™•λ₯  의 주어진 두 개의 랜덀 λ³€μˆ˜μ˜ μ •μ˜ 및 값을 가지고 및 . κ·ΈλŸ¬λ‚˜ μš°λ¦¬λŠ” λ˜ν•œ ν™•λ₯ μ— λŒ€ν•΄ 이야기 ν•  수 의 주어진 κ³³ ν•˜μ§€ μž„μ˜μ˜ λ³€μˆ˜ 만 맀개 λ³€μˆ˜μž…λ‹ˆλ‹€.x y X Y x y P ( x ∣ ΞΈ ) x ΞΈ ΞΈ

P(x∣y)≑P(X=x∣Y=y)

x

y

X

Y

x

y

P(x∣θ)

x

ΞΈ

ΞΈ

두 경우 λͺ¨λ‘ λ™μΌν•œ μš©μ–΄ β€œμ£Όμ–΄μ§„β€λ° λ™μΌν•œ ν‘œκΈ°λ²• μ‚¬μš©ν•  수 μžˆμŠ΅λ‹ˆλ‹€. λ‹€λ₯Έ ν‘œκΈ°λ²•μ„ 발λͺ… ν•  ν•„μš”κ°€ μ—†μŠ΅λ‹ˆλ‹€. λ˜ν•œ β€œλ§€κ°œ λ³€μˆ˜β€μ™€ β€œλ¬΄μž‘μœ„ λ³€μˆ˜β€λŠ” 철학에 따라 λ‹¬λΌμ§ˆ 수 μžˆμ§€λ§Œ μˆ˜ν•™μ€ λ°”λ€Œμ§€ μ•ŠμŠ΅λ‹ˆλ‹€.

P(β‹…βˆ£β‹…)

Wikipedia의 첫 번째 μΈμš©λ¬Έμ€ 둜 μ •μ˜λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. μ—¬κΈ°μ„œ λŠ” 맀개 λ³€μˆ˜ 라고 κ°€μ •ν•©λ‹ˆλ‹€ . 두 번째 μΈμš©λ¬Έμ€ 이 쑰건뢀 ν™•λ₯  이 μ•„λ‹ˆλΌκ³  λ§ν•©λ‹ˆλ‹€ . 이것은 주어진 의 쑰건뢀 ν™•λ₯ μ΄ μ•„λ‹˜μ„ μ˜λ―Έν•©λ‹ˆλ‹€ . λŠ” μ—¬κΈ°μ„œ 맀개 λ³€μˆ˜λ‘œ κ°„μ£Ό 되기 λ•Œλ¬Έμ— μ‹€μ œλ‘œλŠ” λΆˆκ°€λŠ₯ν•©λ‹ˆλ‹€ .ΞΈ L ( ΞΈ ∣ x ) ΞΈ x ΞΈ

L(θ∣x)=P(x∣θ)

ΞΈ

L(θ∣x)

ΞΈ

x

ΞΈ

베이 즈 정리 ν•˜μ—¬ 와 λŠ” λͺ¨λ‘ 랜덀 λ³€μˆ˜μž…λ‹ˆλ‹€. κ·ΈλŸ¬λ‚˜ μš°λ¦¬λŠ” μ—¬μ „νžˆ 호좜 ν•  수 μžˆμŠ΅λ‹ˆλ‹€ (의 β€œκ°€λŠ₯성” ), μ§€κΈˆμ€ λ˜ν•œμ΄λ‹€ μ„ μ˜ (의 쑰건뢀 ν™•λ₯  ). 이 μš©μ–΄λŠ” λ² μ΄μ§€μ•ˆ ν†΅κ³„μ—μ„œ ν‘œμ€€μž…λ‹ˆλ‹€. 아무도 그것이 κ°€λŠ₯성에 β€œμœ μ‚¬ν•œβ€κ²ƒμ΄λΌκ³  λ§ν•˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€. μ‚¬λžŒλ“€μ€ λ‹¨μˆœνžˆ 그것을 κ°€λŠ₯성이라고 λΆ€λ¦…λ‹ˆλ‹€.abP(b∣a)ab

P(a∣b)=P(b∣a)P(a)P(b),

a

b

P(b∣a)

a

b

μ°Έκ³  1 : λ§ˆμ§€λ§‰ λ‹¨λ½μ—μ„œ λŠ” λΆ„λͺ…νžˆ 의 쑰건뢀 ν™•λ₯ μž…λ‹ˆλ‹€ . κ°€λŠ₯μ„± λ‘œμ„œ ; ν•˜μ§€λ§Œμ˜ ν™•λ₯  뢄포 (λ˜λŠ” 쑰건뢀 ν™•λ₯ )ν•˜μ§€ ! 이상 μžμ‚¬μ˜ 톡합 λ°˜λ“œμ‹œ λ™μΌν•˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€ . ( 보닀 μ λΆ„μ΄μžˆλŠ” 반면 )b L ( a ∣ b ) a a a 1 b

P(b∣a)

b

L(a∣b)

a

a

a

1

b

μ°Έκ³  2 : λ•Œλ•Œλ‘œ κ°€λŠ₯성은 @MichaelLew에 μ˜ν•΄ κ°•μ‘°λ˜λŠ” κ²ƒμ²˜λŸΌ μž„μ˜μ˜ λΉ„λ‘€ μƒμˆ˜κΉŒμ§€ μ •μ˜λ©λ‹ˆλ‹€ (λŒ€λΆ€λΆ„ μ‚¬λžŒλ“€μ΄ κ°€λŠ₯μ„± λΉ„μœ¨μ— 관심이 있기 λ•Œλ¬Έμ— ). 이것은 유용 ν•  수 μžˆμ§€λ§Œ 항상 μˆ˜ν–‰λ˜λŠ” 것은 μ•„λ‹ˆλ©° ν•„μˆ˜μ μΈ 것은 μ•„λ‹™λ‹ˆλ‹€.


μ°Έμ‘° β€œκ°€λŠ₯성”과 β€œκ°€λŠ₯μ„±β€μ˜ 차이점은 λ¬΄μ—‡μž…λ‹ˆκΉŒ? 특히 @whuber의 닡변이 μžˆμŠ΅λ‹ˆλ‹€.

이 μŠ€λ ˆλ“œμ—μ„œ @Tim의 닡변에 μ™„μ „νžˆ λ™μ˜ν•©λ‹ˆλ‹€ (+1).


λ‹΅λ³€

당신은 이미 두 가지 쒋은 닡변을 μ–»μ—ˆμ§€λ§Œ μ—¬μ „νžˆ λͺ…ν™•ν•˜μ§€ μ•ŠκΈ° λ•Œλ¬Έμ— ν•˜λ‚˜λ₯Ό μ œκ³΅ν•΄ λ“œλ¦¬κ² μŠ΅λ‹ˆλ‹€. κ°€λŠ₯μ„± 은 λ‹€μŒκ³Ό 같이 μ •μ˜λ©λ‹ˆλ‹€

L(θ|X)=P(X|θ)=∏ifθ(xi)

데이터 주어지면 맀개 λ³€μˆ˜ κ°’ κ°€μžˆμ„ κ°€λŠ₯μ„± 이 μžˆμŠ΅λ‹ˆλ‹€ . 그것은 ν™•λ₯  μ§ˆλŸ‰ (뢄리 된 경우), λ˜λŠ” 밀도 (연속 μΌ€μ΄μŠ€)의 μ œν’ˆ κΈ°λŠ₯κ³Ό λ™μΌν•˜λ‹€ 의 에 μ˜ν•΄ 맀개 λ³€μˆ˜ν™” . κ°€λŠ₯성은 데이터가 주어진 맀개 λ³€μˆ˜μ˜ ν•¨μˆ˜μž…λ‹ˆλ‹€. 곡지 사항 것을 μš°λ¦¬κ°€ μ΅œμ ν™”λ˜μ–΄μžˆλŠ” 맀개 λ³€μˆ˜μž…λ‹ˆλ‹€ ν•˜μ§€ 그것에 ν• λ‹Ή 된 ν™•λ₯ μ΄μ—†λŠ”, κ·Έλž˜μ„œ μž„μ˜μ˜ λ³€μˆ˜μž…λ‹ˆλ‹€. 이것이 Wikipediaκ°€ 쑰건뢀 ν™•λ₯  ν‘œκΈ°λ²•μ„ μ‚¬μš©ν•˜λŠ” 것이 μž„μ˜μ˜ λ³€μˆ˜μ— μ˜μ‘΄ν•˜μ§€ μ•ŠκΈ° λ•Œλ¬Έμ— λͺ¨ν˜Έ ν•  수 μžˆλ‹€κ³  λ§ν•˜λŠ” μ΄μœ μž…λ‹ˆλ‹€. λ‹€λ₯Έ ν•œνŽΈμœΌλ‘œλŠ”, λ² μ΄μ§€μ•ˆμ—μ„œ μ„€μ • ISX f X ΞΈ ΞΈ ΞΈ

ΞΈ

X

f

X

ΞΈ

ΞΈ

ΞΈ

μž„μ˜μ˜ λ³€μˆ˜μ— 뢄포가 μžˆμœΌλ―€λ‘œ λ‹€λ₯Έ μž„μ˜μ˜ λ³€μˆ˜μ™€ λ§ˆμ°¬κ°€μ§€λ‘œ λ³€μˆ˜λ₯Ό μ‚¬μš©ν•  수 있으며 Bayes 정리λ₯Ό μ‚¬μš©ν•˜μ—¬ 사후 ν™•λ₯ μ„ 계산할 수 μžˆμŠ΅λ‹ˆλ‹€. λ² μ΄μ§€μ•ˆ μš°λ„λŠ” λͺ¨μˆ˜μ— λŒ€ν•œ λ°μ΄ν„°μ˜ μš°λ„μ— λŒ€ν•΄ μ•Œλ €μ£ΌκΈ° λ•Œλ¬Έμ— μ—¬μ „νžˆ μš°λ„μž…λ‹ˆλ‹€. μœ μΌν•œ 차이점은 λͺ¨μˆ˜κ°€ μž„μ˜ λ³€μˆ˜λ‘œ κ°„μ£Όλœλ‹€λŠ” κ²ƒμž…λ‹ˆλ‹€.

ν”„λ‘œκ·Έλž˜λ°μ„ μ•Œκ³  μžˆλ‹€λ©΄ ν”„λ‘œκ·Έλž˜λ°μ—μ„œ μ˜€λ²„λ‘œλ“œ 된 ν•¨μˆ˜ 둜 μš°λ„ ν•¨μˆ˜λ₯Ό 생각할 수 μžˆμŠ΅λ‹ˆλ‹€ . 일뢀 ν”„λ‘œκ·Έλž˜λ° μ–Έμ–΄λ₯Ό μ‚¬μš©ν•˜λ©΄ λ‹€λ₯Έ 맀개 λ³€μˆ˜ μœ ν˜•μ„ μ‚¬μš©ν•˜μ—¬ 호좜 ν•  λ•Œ λ‹€λ₯΄κ²Œ μž‘λ™ν•˜λŠ” κΈ°λŠ₯을 κ°€μ§ˆ 수 μžˆμŠ΅λ‹ˆλ‹€. 이와 같은 κ°€λŠ₯성을 μƒκ°ν•˜λ©΄ 기본적으둜 ifλŠ” 일뢀 맀개 λ³€μˆ˜ 값을 인수둜 μ‚¬μš© ν•˜κ³ μ΄ 맀개 λ³€μˆ˜κ°€ 주어진 λ°μ΄ν„°μ˜ κ°€λŠ₯성을 λ°˜ν™˜ν•©λ‹ˆλ‹€. λ‹€λ₯Έ ν•œνŽΈμœΌλ‘œ, 맀개 λ³€μˆ˜κ°€ μž„μ˜ λ³€μˆ˜ 인 베이 μ§€μ•ˆ μ„€μ •μ—μ„œ μ΄λŸ¬ν•œ κΈ°λŠ₯을 μ‚¬μš©ν•  수 μžˆμŠ΅λ‹ˆλ‹€. μ΄λŠ” 기본적으둜 λ™μΌν•œ 좜λ ₯으둜 이어지지 만 μž„μ˜ λ³€μˆ˜λ₯Ό μ‘°κ±΄ν™”ν•˜κΈ° λ•Œλ¬Έμ— 쑰건뢀 ν™•λ₯ λ‘œ 이해할 수 μžˆμŠ΅λ‹ˆλ‹€. 두 경우 λͺ¨λ‘ κΈ°λŠ₯이 λ™μΌν•˜κ²Œ μž‘λ™ν•˜λ―€λ‘œ μ‚¬μš©ν•˜κ³  쑰금 λ‹€λ₯΄κ²Œ μ΄ν•΄ν•˜λ©΄λ©λ‹ˆλ‹€.

// likelihood "as" overloaded function
Default Likelihood(Numeric theta, Data X) {
    return f(X, theta); // returns likelihood, not probability
}

Bayesian Likelihood(RandomVariable theta, Data X) {
    return f(X, theta); // since theta is r.v., the output can be
                        // understood as conditional probability
}

κ²Œλ‹€κ°€ 베이 즈 정리λ₯Ό λ‹€μŒκ³Ό 같이 μ“°λŠ” λ² μ΄μ§€μ•ˆμ„ 찾지 λͺ»ν•  κ²ƒμž…λ‹ˆλ‹€.

P(θ|X)∝L(θ|X)P(θ)

… 이것은 맀우 ν˜Όλž€ 슀러울 것 μž…λ‹ˆλ‹€. 첫째, λ°©μ •μ‹μ˜ μ–‘μͺ½μ— κ°€ 있고 μ˜λ―Έκ°€ μ—†μŠ΅λ‹ˆλ‹€. λ‘˜μ§Έ, μš°λ¦¬λŠ” 주어진 λ°μ΄ν„°μ˜ 주어진 ν™•λ₯ μ— λŒ€ν•΄ μ•Œ 수 μžˆλŠ” 사후 ν™•λ₯  μ§‘λ‹ˆλ‹€ (즉, κ°€λŠ₯μ„± λ‘  ν”„λ ˆμž„ μ›Œν¬μ—μ„œ μ•Œκ³  싢은 κ²ƒμ΄μ§€λ§Œ, κ°€ 랜덀 λ³€μˆ˜κ°€ μ•„λ‹Œ κ²½μš°λŠ” μ•„λ‹™λ‹ˆλ‹€). μ…‹μ§Έ, λŠ” 랜덀 λ³€μˆ˜μ΄λ―€λ‘œ 쑰건뢀 ν™•λ₯ λ‘œ μž‘μ„±ν•©λ‹ˆλ‹€. ΞΈ ΞΈ

ΞΈ|X

ΞΈ

ΞΈ

L

ΞΈ

L

-ν‘œκΈ°λŠ” 일반적으둜 κ°€λŠ₯μ„± 섀정을 μœ„ν•΄ μ˜ˆμ•½λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. 이름 κ°€λŠ₯성은 두 가지 μ ‘κ·Ό 방식 λͺ¨λ‘μ—μ„œ 관둀에 따라 λΉ„μŠ·ν•œ 것을 λ‚˜νƒ€λƒ…λ‹ˆλ‹€. λͺ¨λΈκ³Ό 맀개 λ³€μˆ˜μ—μ„œ μ΄λŸ¬ν•œ 데이터 변경을 κ΄€μ°°ν•˜λŠ” ν™•λ₯ .


λ‹΅λ³€

ν˜Όλ™μ„ μœ λ°œν•˜λŠ” λ°©μ‹μœΌλ‘œ μ„ΈλΆ€ 사항이 λΆ€μ •ν™•ν•˜κ±°λ‚˜ μƒλž΅ 된 κ°€λŠ₯성에 λŒ€ν•œ 일반적인 μ„€λͺ…μ—λŠ” λͺ‡ 가지 츑면이 μžˆμŠ΅λ‹ˆλ‹€. Wikipedia ν•­λͺ©μ΄ 쒋은 μ˜ˆμž…λ‹ˆλ‹€.

첫째, μš°λ„λŠ” λΉ„λ‘€ μƒμˆ˜κΉŒμ§€λ§Œ μ •μ˜λ˜λ―€λ‘œ λͺ¨μˆ˜λŠ” 일반적으둜 λͺ¨μˆ˜ 값이 주어진 λ°μ΄ν„°μ˜ ν™•λ₯  κ³Ό 같을 수 μ—†μŠ΅λ‹ˆλ‹€ . ν”Όμ…”λŠ” 처음 κ°€λŠ₯성을 κ³΅μ‹ν™”ν–ˆμ„ λ•Œ κ·Έ 점에 λŒ€ν•΄ λͺ…λ°±ν–ˆλ‹€ (Fisher, 1922). κ·Έ μ΄μœ λŠ” μš°λ„ ν•¨μˆ˜μ˜ 적뢄 (λ˜λŠ” ν•©)에 λŒ€ν•œ μ œν•œμ΄ μ—†μœΌλ©°, λͺ¨μˆ˜μ˜ 값이 주어지면 톡계 λͺ¨λΈ λ‚΄μ—μ„œ 데이터 λ₯Ό κ΄€μΈ‘ ν•  ν™•λ₯  이 크게 영ν–₯을 λ°›κΈ° λ•Œλ¬Έμž…λ‹ˆλ‹€. 데이터 κ°’μ˜ 정밀도 및 맀개 λ³€μˆ˜ κ°’ μ§€μ •μ˜ μž…λ„

x

λ‘˜μ§Έ, κ°œλ³„ κ°€λŠ₯성보닀 κ°€λŠ₯μ„± κΈ°λŠ₯에 λŒ€ν•΄ μƒκ°ν•˜λŠ” 것이 더 λ„μ›€μ΄λ©λ‹ˆλ‹€. μš°λ„ ν•¨μˆ˜λŠ” μš°λ„ ν•¨μˆ˜μ˜ κ·Έλž˜ν”„μ—μ„œ μ•Œ 수 μžˆλ“―μ΄ λͺ¨ν˜• λͺ¨μˆ˜ κ°’μ˜ ν•¨μˆ˜μž…λ‹ˆλ‹€. μ΄λŸ¬ν•œ κ·Έλž˜ν”„λŠ” λ˜ν•œ κ°€λŠ₯성이 λͺ¨λΈμ΄ 맀개 λ³€μˆ˜ κ°’μœΌλ‘œ μ„€μ • 될 λ•Œ λͺ¨λΈμ΄ 데이터λ₯Ό μ–Όλ§ˆλ‚˜ 잘 μ˜ˆμΈ‘ν•˜λŠ”μ§€μ— 따라 맀개 λ³€μˆ˜μ˜ λ‹€μ–‘ν•œ κ°’μ˜ μˆœμœ„λ₯Ό 맀길 수 μžˆμŒμ„ μ‰½κ²Œ μ•Œ μˆ˜μžˆκ²Œν•©λ‹ˆλ‹€. κ°€λŠ₯μ„± ν•¨μˆ˜μ˜ νƒκ΅¬λŠ” μ›λž˜μ˜ μ§ˆλ¬Έμ— 주어진 λ‹€μ–‘ν•œ κ³΅μ‹μ˜ λ™μš”λ³΄λ‹€ λ°μ΄ν„°μ˜ μ—­ν• κ³Ό 맀개 λ³€μˆ˜ 값을 훨씬 더 λͺ…ν™•ν•˜κ²Œ λ§Œλ“­λ‹ˆλ‹€.

λͺ¨μˆ˜ κ°’ (λͺ¨ν˜• λ‚΄)에 λŒ€ν•΄ κ΄€μΈ‘ 된 데이터가 μ œκ³΅ν•˜λŠ” μƒλŒ€μ μΈ μ§€μ§€λ„λŠ” λΉ„μœ¨μ΄ μƒμ‡„λ˜λ―€λ‘œ μ•Œ μˆ˜μ—†λŠ” λΉ„λ‘€ μƒμˆ˜μ˜ 문제λ₯Ό ν•΄κ²°ν•  수 μžˆμœΌλ―€λ‘œ μš°λ„ ν•¨μˆ˜ λ‚΄μ—μ„œ μš°λ„ 쌍의 λΉ„μœ¨μ„ μ‚¬μš©ν•˜μ‹­μ‹œμ˜€. μƒμˆ˜κ°€ λ³„λ„μ˜ μš°λ„ ν•¨μˆ˜ (예 : λ‹€λ₯Έ 톡계 λͺ¨λΈ)μ—μ„œ λΉ„λ‘―λœ μš°λ„ λΉ„μœ¨μ—μ„œ λ°˜λ“œμ‹œ μ·¨μ†Œλ˜λŠ” 것은 μ•„λ‹ˆλΌλŠ” 점에 μœ μ˜ν•΄μ•Όν•©λ‹ˆλ‹€.

λ§ˆμ§€λ§‰μœΌλ‘œ, κ°€λŠ₯성은 톡계 λͺ¨λΈκ³Ό 데이터에 μ˜ν•΄ κ²°μ •λ˜λ―€λ‘œ 톡계 λͺ¨λΈμ˜ 역할에 λŒ€ν•΄ λͺ…μ‹œ 적으둜 μ„€λͺ…ν•˜λŠ” 것이 μœ μš©ν•©λ‹ˆλ‹€. λ‹€λ₯Έ λͺ¨ν˜•μ„ μ„ νƒν•˜λ©΄ λ‹€λ₯Έ μš°λ„ ν•¨μˆ˜λ₯Ό μ–»κ²Œλ˜λ©° λ‹€λ₯Έ μ•Œλ €μ§€μ§€ μ•Šμ€ λΉ„λ‘€ μƒμˆ˜λ₯Ό 얻을 수 μžˆμŠ΅λ‹ˆλ‹€.

λ”°λΌμ„œ, μ›λž˜μ˜ μ§ˆλ¬Έμ— λŒ€λ‹΅ν•˜κΈ° μœ„ν•΄, κ°€λŠ₯성은 μ–΄λ–€ μ’…λ₯˜μ˜ κ°€λŠ₯성도 μ•„λ‹ˆλ‹€. 그듀은 Kolmogorov의 ν™•λ₯  곡리에 μˆœμ’…ν•˜μ§€ μ•ŠμœΌλ©° λ‹€μ–‘ν•œ μœ ν˜•μ˜ ν™•λ₯ μ— μ˜ν•΄ μˆ˜ν–‰λ˜λŠ” μ—­ν• κ³Ό 좔둠을 ν†΅κ³„μ μœΌλ‘œ λ’·λ°›μΉ¨ν•˜λŠ” 데 λ‹€λ₯Έ μ—­ν• μ„ν•©λ‹ˆλ‹€.

  1. Fisher (1922) ν†΅κ³„μ˜ μˆ˜ν•™μ  기초 http://rsta.royalsocietypublishing.org/content/222/594-604/309

λ‹΅λ³€

μœ„ν‚€κ°€ μžˆλ‹€κ³ ν•΄μ•Ό 의 쑰건뢀 ν™•λ₯  μ•„λ‹ˆλ‹€ 일뢀 μ§€μ •λœ μ„ΈνŠΈμ—μžˆλŠ”,λ„μ˜ ν™•λ₯  밀도 . λ¬΄ν•œνžˆ λ§Žμ€ κ°’μ΄μžˆλŠ” 경우 μ‹€μ œλ‘œ νŒŒλΌλ―Έν„° κ³΅κ°„μ—μ„œ μ‚¬μš©μžκ°€ κ°€μ§ˆ 수

κ°€μ§μœΌλ‘œμ¨, 예λ₯Ό λ“€μ–΄ 의 값에 관계없이 맀개 λ³€μˆ˜ 곡간 에 ν‘œμ€€ μΈ‘μ • κ°’ κ°€μžˆλŠ” κ²½μš°μ™€ λ™μΌν•œ λ°©μ‹μœΌλ‘œ κ°€μ§ˆ 수 μžˆμŠ΅λ‹ˆλ‹€

이 κΈ°μ‚¬μ—μ„œ κ°•μ‘°ν•΄μ•Ό ν•  핡심은

L(ΞΈ)

ΞΈ

ΞΈ

ΞΈ

βˆ‘ΞΈL(ΞΈ)=∞,

L(ΞΈ)=1

ΞΈ

dΞΈ

Θ

∫ΘL(θ)dθ=∞.

L

ν•¨μˆ˜

θ↦P(x∣θ)Β and NOTΒ x↦P(x∣θ).


λ‹΅λ³€

β€œλ‚˜λŠ” 이것을 λ‹€μŒκ³Ό 같이 μ½μ—ˆλ‹€ :”데이터 X = x, (μ™Όμͺ½)의 세타와 같은 νŒŒλΌλ―Έν„°μ˜ κ°€λŠ₯성은 데이터 Xκ°€ x와 같을 κ°€λŠ₯성이 κ°™λ‹€. 세타 β€œ(ꡡ게 κ°•μ‘°)

그것은 κ΄€μ°° μ„ΈνŠΈμ˜ ν™•λ₯ μ΄λ‹€ 주어진 맀개 λ³€μˆ˜ μ„Ένƒ€μž…λ‹ˆλ‹€. λ₯Ό μ“΄ λ‹€μŒ 을 μž‘μ„±ν•˜κΈ° λ•Œλ¬Έμ— ν˜Όλž€ 슀러울 수 μžˆμŠ΅λ‹ˆλ‹€.

P(x|ΞΈ)

L(ΞΈ|x)

객관적인 μ„€λͺ…은 κ°€ μž„μ˜μ˜ λ³€μˆ˜κ°€ μ•„λ‹ˆλΌλŠ” 것을 μ•”μ‹œ ν•©λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄, λ² μ΄μ§€μ•ˆ μ„€μ •μ—μ„œ 사전 λΆ„ν¬κ°€μžˆλŠ” μž„μ˜ λ³€μˆ˜ 일 수 μžˆμŠ΅λ‹ˆλ‹€. κ·ΈλŸ¬λ‚˜ μš”μ  은 ꡬ체적인 κ°€μΉ˜ 인 κ°€μ • ν•œ λ‹€μŒ κ΄€μΈ‘ κ°€λŠ₯성에 λŒ€ν•΄ μ§„μˆ ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. μš°λ¦¬κ°€ κ΄€μ‹¬μžˆλŠ” μ‹œμŠ€ν…œ μ—λŠ” 값이 ν•˜λ‚˜λΏμ΄κΈ° λ•Œλ¬Έ μž…λ‹ˆλ‹€.

ΞΈ

ΞΈ=ΞΈ

ΞΈ

λ‹΅λ³€