최대 우도 추정을 사용합니까? 개념을 배우지 만 그것이 실제로 어떻게 사용되는지

최대 우도 추정이 통계에 사용되었는지 궁금합니다. 우리는 그것의 개념을 배우지 만 그것이 실제로 어떻게 사용되는지 궁금합니다. 데이터 분포를 가정하면 평균과 분산에 대한 두 개의 매개 변수를 찾을 수 있지만 실제로 실제 상황에서 사용합니까?

누군가가 그것이 사용되는 간단한 사례를 말해 줄 수 있습니까?

답변

최대 우도 추정이 통계에 사용되었는지 궁금합니다.

확실히! 실제로는 많지만 항상 그런 것은 아닙니다.

우리는 그것의 개념을 배우지 만 그것이 실제로 어떻게 사용되는지 궁금합니다.

사람들이 모수 분포 모델을 가지고있을 때, 종종 최대 우도 추정을 사용하도록 선택합니다. 모형이 올 바르면 최대 우도 추정기의 편리한 특성이 많이 있습니다.

예를 들어 일반화 선형 모형의 사용이 널리 퍼져 있으며,이 경우 평균을 설명하는 모수는 최대 가능성으로 추정됩니다.

일부 매개 변수는 최대 가능성으로 추정되고 다른 매개 변수는 그렇지 않을 수 있습니다. 예를 들어, 과도하게 분산 된 포아송 GLM을 고려하십시오. 분산 모수는 최대 가능성으로 추정되지 않습니다.이 경우 MLE가 유용하지 않기 때문입니다.

데이터 분포를 가정하면 두 가지 매개 변수를 찾습니다.

글쎄, 때로는 두 개가있을 수도 있지만 때로는 세 개 또는 네 개 이상의 매개 변수가 있습니다.

하나는 평균에 대한 것이고 하나는 분산에 대한 것입니다.

아마도 특정 모델을 생각하고 있습니까? 항상 그런 것은 아닙니다. 지수 분포, 포아송 분포 또는 이항 분포의 모수를 추정하십시오. 각각의 경우에 하나의 매개 변수가 있으며 분산은 평균을 설명하는 매개 변수의 함수입니다.

또는 세 가지 매개 변수가 있는 일반화 된 감마 분포를 고려하십시오 . 또는 4 개의 매개 변수 베타 분포로 , 아마도 4 개의 매개 변수가있을 것입니다. (특정 매개 변수화에 따라) 평균 또는 분산 또는 둘 다 단일 매개 변수로 표시되지 않고 여러 매개 변수의 함수로 표시 될 수 있습니다.

예를 들어, 감마 분포는 상당히 일반적인 용도로 사용되는 세 가지 매개 변수화가 있습니다. 가장 일반적인 두 가지 매개 변수는 평균과 분산이 두 매개 변수의 함수입니다.

일반적으로 회귀 모델 또는 GLM 또는 생존 모델 (많은 다른 모델 유형 중)에서 모델은 여러 예측 변수에 의존 할 수 있으며,이 경우 모델 아래의 각 관측치와 연관된 분포에는 고유 한 모수 중 하나가있을 수 있습니다 (또는 많은 예측 변수 ( “독립 변수”)와 관련된 여러 매개 변수).

답변

데이터 분포에 대한 가정을 고려할 때 가능성 추정을 최대화 할 수 있지만 Quasi Maximum Likelihood Estimators가 종종 사용됩니다. 이 개념은 분포를 가정하고 MLE을 풀고 나서 명시적인 분포 가정을 제거하고 대신 더 일반적인 조건에서 추정기가 어떻게 수행되는지 살펴 보는 것입니다. 따라서 Quasi MLE는 추정기를 얻는 현명한 방법이되었으며, 작업의 대부분은 추정기의 특성을 도출하는 것입니다. 분포 가정이 삭제되었으므로 준 MLE에는 일반적으로 좋은 효율 특성이 없습니다.

장난감 예제로 iid 샘플 가 있다고 가정합니다 이고 의 분산에 대한 추정치를 원합니다 . 당신은 가정에서 시작할 수 , 일반 PDF를 사용하여 가능성을 작성하고 얻을 수있는 argmax에 대한 해결 . 그런 다음 어떤 조건에서와 같은 질문을 할 수 있습니다 $x_{1}, x_{2}, . . ., x_{n}$

{엑스}_{1}, {엑스}_{2}, . . ., {엑스}_{엔}

$x_1, x_2, ..., x_n$ $X$

엑스

$X$ $X \sim N (μ, σ^{2})$

엑스 \sim 엔 (μ, σ^{2})

$X \sim N (\mu, \sigma^2)$ ${\hat{σ}}^{2} = n^{- 1} \sum (x_{i} - \bar{x})^{2}$

{\hat{σ}}^{2} = 엔^{- 1} \sum ({엑스}_{나는} - \bar{엑스})^{2}

$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$ , 일관된 추정입니다 그것 (그렇지) 등이 그것의 asypmtotic 분포 무엇 루트 n은 일관성이다 편견 ${\hat{σ}}^{2}$

{\hat{σ}}^{2}

$\hat\sigma^2$

답변

최대 가능성 추정은 종종 기계 학습에서 훈련을 위해 사용됩니다.

신경망, 예를 들어 신경망 가중치를 추정하기 위해 MLE을 사용할 수 있습니까?
선형, 로지스틱 회귀 및 멀티 클래스 로지스틱 회귀, 예. 왜 동일한 방법으로 선형 및 로지스틱 회귀 계수를 추정 할 수 없습니까?
조건부 랜덤 필드 (CRF), 예 : https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
숨겨진 Markov 모델 (HMM) (예 : https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

어떤 경우에는 때때로 정규화를 추가하는 것을 선호하는데, 이는 때때로 사후 추정 최대치에 해당합니다 . 예를 들어 왜 올가미 페널티가 이전에 두 배 지수 (Laplace)에 해당합니까? .

답변

누군가가 그것이 사용되는 간단한 사례를 말해 줄 수 있습니까?

가장 일반적인 경우는 로지스틱 회귀 분석입니다. 로지스틱 회귀는 기계 학습에서 데이터 포인트를 분류하기 위해 자주 사용되는 기술입니다. 예를 들어, 로지스틱 회귀를 사용하면 전자 메일이 스팸인지 아닌지 분류하거나 사람이 질병이 있는지 여부를 분류 할 수 있습니다.

$x_{i}$

{엑스}_{나는}

$x_i$ $h_{θ} (x_{i}) = P [y_{i} = 1] = \frac{1}{1 + e^{- θ^{T} x_{i}}}$

h_{θ} ({엑스}_{나는}) = 피 [{와이}_{나는} = 1] = \frac{1}{1 + {이자형}^{- θ^{티} {엑스}_{나는}}}

$h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

$θ$

θ

$\theta$

$\hat{θ}$

\hat{θ}

$\hat\theta$ $- \sum_{i = 1}^{n} y_{i} \log (h_{\hat{θ}} (x_{i})) + (1 - y_{i}) \log (1 - h_{\hat{θ}} (x_{i}))$

- \sum_{나는 = 1}^{엔} {와이}_{나는} 로그 (h_{\hat{θ}} ({엑스}_{나는})) + (1 - {와이}_{나는}) 로그 (1 - h_{\hat{θ}} ({엑스}_{나는}))

$-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$

답변

우리는 항상 MLE을 사용하고 있지만 느끼지 못할 수도 있습니다. 보여줄 간단한 두 가지 예를 들어 보겠습니다.

실시 예 1

$8$

8

$8$ $10$

10

$10$ $θ$

θ

$\theta$ $θ = 0.8$

θ = 0.8

$\theta=0.8$

왜 카운팅을 사용합니까? 이것은 실제로 암시 적으로 MLE을 사용하고 있습니다! 문제가있는 곳

\underset{θ}{최대화} θ^{8} (1 - θ)^{2}

$\underset \theta {\text{Maximize}}~~~\theta^{8}(1-\theta)^{2}$

방정식을 풀려면 미적분학이 필요하지만 결론은 세는 것입니다.

실시 예 2

데이터에서 가우스 분포 모수를 어떻게 추정합니까? 우리는 경험적 평균을 추정 된 평균으로 사용하고 경험적 분산을 추정 된 분산으로 사용하며, 이는 또한 MLE에서 나옵니다.

답변

무선 통신에서 사용할 수있는 최대 가능성 :

중복 코드 유무에 관계없이 잡음이 많은 수신 신호에서 디지털 데이터를 디코딩합니다.
수신기에서의 시간, 위상 및 주파수 오프셋 추정.
전파 채널의 (파라미터) 추정.
지연, 도착 각도 및 도플러 편이 추정 (예 : 레이더).
이동 위치 추정 (예 : GPS).
모든 종류의 분산 설정 동기화를위한 클록 오프셋 추정.
다양한 교정 절차.

How IT

언제든지 물어보세요.

최대 우도 추정을 사용합니까? 개념을 배우지 만 그것이 실제로 어떻게 사용되는지

답변

답변

답변

답변

답변

답변

답변