누군가가 말했다면
“이 방법은 MLE를 사용 하여 을 최대화하는 매개 변수에 대한 점 추정치를 사용 하므로 빈번하고 더 이상 베이지안이 아닙니다.”
동의하겠습니까?
- 배경에 대한 업데이트 : 최근에 빈번하다고 주장하는 논문을 읽었습니다. 나는 그들의 주장에 동의하지 않는다. 기껏해야 그것이 모호하다고 느낀다. 이 논문은 MLE (또는 그 문제에 대한 MAP )를 명시 적으로 언급하지 않습니다 . 그들은 단지 포인트를 추정하고,이 포인트 추정이 사실 인 것처럼 진행합니다. 그들은하지 않습니다이 추정기의 샘플링 분포 또는 이와 유사한 것을 분석합니다. 모델은 매우 복잡하므로 이러한 분석은 불가능할 수 있습니다. 그들은 어느 시점에서도 ‘posterior’라는 단어를 사용하지 않습니다. 그들은이 포인트 추정치를 액면가로 취하고 주요 관심 주제 인 누락 된 데이터를 유추합니다. 나는 그들의 철학이 무엇인지 제안하는 접근법이 없다고 생각합니다. 그들은 자신의 철학을 자신의 소매에 착용해야한다고 느끼기 때문에 자주주의를하고자했을 수도 있지만, 실제 접근 방식은 매우 단순하고 편리하며 게으르고 모호합니다. 나는 그 연구가 실제로 그 뒤에 철학을 가지고 있지 않다고 말하고 싶다; 대신 나는 그들의 태도가 더 실용적이거나 편리하다고 생각한다.
“데이터 관찰 했으며 누락 된 데이터 를 추정하고 싶습니다 . 와 사이의 관계를 제어 하는 매개 변수 가 있습니다 . 끝까지의 수단을 제외하고 는 신경 쓰지 않습니다. 대한 추정치가 있으면 에서 를 더 쉽게 예측할 수 있습니다. 의 점 추정치를 선택하는 것이 편리하기 때문에 특히 을 최대화 하는 를 선택합니다. . “, Z θ의 Z X θ θ Z X θ θ P ( X | θ )
xz
θ
z
x
θ
θ
z
x
θ
θ^
P(x|θ)
의 아이디어 불편 추정기는 분명히 빈도주의 개념이다. 이는 데이터를 조건으로하지 않기 때문에 매개 변수의 모든 값에 대해 좋은 속성 (편견 없음)을 설명하기 때문입니다.
베이지안 방법에서 데이터의 역할과 매개 변수는 역전됩니다. 특히, 우리는 이제 관측 된 데이터를 조건화하고 매개 변수 값에 대해 추론을 진행합니다. 이를 위해서는 사전이 필요합니다.
지금까지는 좋지만 MLE (Maximum Likelihood Estimate)는이 모든 것에 어디에 적합합니까? 나는 많은 사람들이 그것이 빈번 주의자 (또는 더 정확하게는 베이지안이 아니라고) 느낀다는 인상을받습니다. 그러나 관찰 된 데이터를 취한 다음 를 최대화하는 매개 변수를 찾는 것이 베이지안이라고 생각합니다 . MLE은 암시 적으로 데이터에 대해 균일 한 사전 및 컨디셔닝을 사용하고 최대화 합니다. MLE가 Frequentist와 Bayesian 둘 다 보인다고 말하는 것이 공정합니까? 아니면 모든 간단한 도구가 정확히이 두 범주 중 하나에 속해야합니까?P ( p a r a m e t e r | d a t a )
P(data|parameter)P(parameter|data)
MLE는 일관성이 있지만 일관성을 베이지안 아이디어로 제시 할 수 있다고 생각합니다. 임의로 큰 표본이 주어지면 추정값이 정답에 수렴됩니다. 매개 변수의 모든 값에 대해 “추정값이 실제 값과 같습니다”라는 문구가 적용됩니다. 흥미로운 점은 관찰 된 데이터를 조건으로하면이 문장이 그대로 유지된다는 것입니다. 이 흥미로운 점은 MLE에게는 있지만 편견이없는 견적자는 아닙니다.
이것이 바로 MLE가 Frequentist로 묘사 될 수있는 방법 중 가장 많은 베이지안이라고 생각하는 이유입니다.
어쨌든 유한 샘플 크기를 포함하여 모든 경우에 편향성과 같은 대부분의 빈번한 특성이 적용됩니다. 일관성이 불가능한 시나리오 (한 실험 내에서 무한한 샘플)에서만 유지된다는 사실은 일관성이 유용한 속성이 아니라는 것을 암시합니다.
사실적인 (즉, 유한 한) 샘플이 주어지면 MLE에 적용되는 Frequentist 속성이 있습니까? 그렇지 않은 경우 MLE은 실제로 상용자가 아닙니다.
답변
아니면 모든 간단한 도구가 정확히이 두 범주 중 하나에 속해야합니까?
아닙니다. 간단한 도구 (그리고 간단한 도구는 아님)는 여러 가지 관점에서 연구 할 수 있습니다. 우도 기능 자체는 베이지안 및 잦은 통계 모두에서 초석이며 두 가지 관점에서 연구 할 수 있습니다! 원하는 경우 MLE를 대략적인 Bayes 솔루션으로 연구하거나 점근 론적 이론을 사용하여 MLE를 빈번한 방식으로 연구 할 수 있습니다.
답변
최대 우도 추정을 수행 하는 경우 신뢰 구간으로 표현 된 추정의 불확실성을 설정하기 위해 추정치의 값 과 추정기의 샘플링 특성 을 고려하십시오 . 나는 신뢰 구간이 일반적으로 관찰되지 않은 샘플 포인트에 의존하기 때문에 이것이 질문과 관련하여 중요하다고 생각합니다.
추신 이것은 최대 우도 추정 (Point + Interval)이 우도 원칙 을 만족시키지 못하고 전체 ( ” Savage style”) 베이지안 분석이 수행 하는보다 일반적인 사실과 관련 이 있습니다.
답변
우도 함수는 데이터 및 알려지지 않은 모수를 포함하는 함수입니다. 모수의 값이 주어지면 관측 된 데이터의 확률 밀도로 볼 수 있습니다. 매개 변수는 고정되어 있습니다. 따라서 그 자체로 가능성은 빈번한 개념입니다. 가능성을 최대화하는 것은 가능성이 최대 값을 갖도록하는 매개 변수의 특정 값을 찾는 것입니다. 따라서 최대 우도 추정은 데이터와 데이터를 생성하는 것으로 추정되는 모델의 형태만을 기반으로하는 빈번한 방법입니다. 베이지안 추정은 파라미터 (들)에 사전 분포가 배치되고 베이 즈 공식이 사전과 가능성을 조합하여 파라미터 (들)에 대한 어포 스티 어리 분포를 얻기 위해 사용되는 경우에만 입력된다.
답변
“Bayesian”에 의해 당신은 주관적인 Bayes (일명 명료 한 Bayes, De-Finetti Bayes)를 말하고 현재 경험적인 Bayes 의미가 아니라고 가정합니다. 그것은 사소한 것이 아닙니다. 한편으로, 당신은 당신의 데이터만을 기반으로 추론합니다. 주관적인 신념이 없습니다. 피셔 자신 (엄격한 비 (주관적인) 베이지안)에서도 표현 된 비판은 데이터 주관성의 샘플링 분포를 선택할 때 크롤링된다는 것입니다. 데이터 생성 프로세스의 신념.
결론적으로 저는 MLE가 “빈번 주의자”와 “바이아 식”을 어떻게 정의 하느냐에 달려 있기는하지만 일반적으로 빈번한 개념으로 간주됩니다.
답변
(자신의 질문에 답변)
추정기는 일부 데이터를 취하고 번호 (또는 숫자의 범위)를 생성하는 기능이다. 견적자는 그 자체로 실제로 ‘베이지안’또는 ‘빈번 주의자’가 아닙니다. 숫자가 들어가고 숫자가 나오는 블랙 박스로 생각할 수 있습니다. 동일한 견적자를 잦은 주의자와 베이지안에게 제시 할 수 있으며 견적 자에 대해 다른 말을 할 것입니다.
(나는 빈번주의와 베이지안의 단순한 구별에 만족하지 않는다-고려해야 할 다른 문제가있다. 그러나 단순성을 위해, 단지 잘 정의 된 두 개의 철학적 캠프 인 척하자.)
연구원이 선택한 추정량에 따라 베이지안의 빈번한 지 여부는 알 수 없습니다. 중요한 것은 추정기에서 수행하는 분석과 추정기 선택에 대한 이유를 듣는 것입니다.
를 최대화하는 값을 찾는 소프트웨어를 작성한다고 상상해보십시오 . 이 소프트웨어를 자주 사용하는 사람에게 제시하고 프레젠테이션을 요청하십시오. 그들은 아마도 샘플링 분포를 분석하고 추정기가 바이어스 되었는지 테스트함으로써 진행될 것입니다 . 그리고 그들은 일관성 이 있는지 확인합니다 . 이들은 이와 같은 특성을 기반으로 견적 도구를 승인하거나 승인하지 않습니다. 이들은 잦은 관심사가 관심을 갖는 유형의 속성입니다.P ( x | θ )
θP(x|θ)
동일한 소프트웨어가 베이지안에게 제공 될 때, 베이지안은 빈번한 분석의 많은 부분에 만족할 것입니다. 예, 다른 모든 것들은 같고 편견은 좋지 않으며 일관성은 좋습니다. 그러나 베이지안은 다른 것들에 더 관심이있을 것입니다. 베이지안은 추정자가 사후 분포의 일부 기능의 형태를 취하는 지 확인하려고합니다. 그렇다면 어떤 이전을 사용 했습니까? 추정자가 사후에 기초한 경우, 베이지안은 이전이 좋은지 궁금합니다. 그들이 이전에 만족하고, 추정자가 사후의 평균과는 반대로 사후의 모드를보고한다면, 그들은이 해석을 추정에 적용하게되어 기쁘다 : “이 추정은 요점이다 “올바른 가능성이 가장 높은 것으로 추정하십시오.”
나는 종종 빈번한 사람들과 베이지안이 관련된 숫자가 동일하더라도 상황을 다르게 해석한다고 들었다. 이것은 약간 혼란 스러울 수 있으며 그것이 사실이라고 생각하지 않습니다. 그들의 해석은 서로 충돌하지 않습니다. 그들은 단순히 시스템의 다른 측면에 대해 진술합니다. 모멘트에 대한 포인트 추정치를 따로두고 대신 간격을 고려해 봅시다. 특히, 빈번한 신뢰 구간 과 베이지안 신뢰 구간이 있습니다. 그들은 보통 다른 대답을 할 것입니다. 그러나 특정 모델에서는 특정 사전에 두 가지 유형의 간격이 동일한 수치 응답을 제공합니다.
구간이 같으면 어떻게 다르게 해석 할 수 있습니까? 잦은 주의자는 구간 추정기에 대해 다음과 같이 말합니다.
데이터 또는 해당 구간을보기 전에 실제 매개 변수가 구간 내에 포함될 확률이 95 % 이상이라고 말할 수 있습니다.
반면 베이지안은 구간 추정에 대해 말할 것입니다.
이후 I 데이터 또는 해당 구간을 참조 I 진정한 파라미터 구간 내에 포함되어있는 95 %의 확률은 적어도있다 말할 수있다.
이 두 문장은 ‘전’과 ‘후’라는 단어를 제외하고 동일합니다. 베이지안은 이전의 진술을 이해하고 동의 할 것이며 또한 그 진실이 이전과 무관하다는 것을 인정하여 ‘더 강하게’만들 것입니다. 그러나 베이지안으로 말하면, 나는 이전의 진술이 그다지 유용 하지 않을 것이라고 걱정할 것 입니다. 잦은 주의자는 후자의 진술을 좋아하지 않지만, 잦은 이의 제기에 대한 적절한 설명을 제공 할만큼 충분히 이해하지 못합니다.
데이터를 본 후에도 잦은 주의자가 실제 값이 구간 내에 포함되어 있다고 낙관합니까? 아마. 이것은 반 직관적이지만 샘플링 분포에 기반한 신뢰 구간과 다른 개념을 진정으로 이해하는 것이 중요합니다. 잦은 주의자가 여전히 “데이터를 제공해도 여전히 실제 값이이 간격 내에있을 확률은 95 %입니다”라고 말할 것입니다. 잦은 주의자는 그 진술이 사실인지 아닌지에 대해 질문 할뿐만 아니라, 이런 방식으로 확률을 나타내는 것이 의미 가 있는지에 대해서도 의문을 갖습니다 . 이것에 대해 더 많은 질문이 있으면 묻지 마십시오.이 문제는 나에게 너무 많습니다!
Bayesian은 다음과 같이 말합니다. “방금 본 데이터에 따라 실제 값이이 범위에있을 확률은 95 %입니다.”
나는 한 가지 마지막 요점에 약간 혼란스러워한다는 것을 인정해야한다. 데이터를보기 전에 잦은 주의자가 작성한 진술을 이해하고 동의합니다 . 데이터가 확인 된 후 베이지안의 진술에 대해 이해하고 동의합니다 . 그러나 데이터를 본 후 잦은 주의자가 무엇을 말할지 잘 모르겠습니다 . 세상에 대한 그들의 믿음이 바뀌었을까요? 나는 여기서 자주주의 철학을 이해할 수있는 입장에 있지 않다.
답변
를 최대화하는 포인트 추정기 는 MLE입니다. 이것은 잦은 통계에서 일반적으로 사용되는 포인트 추정기이지만 베이지안 통계에서는 덜 일반적으로 사용됩니다. 베이지안 통계에서는 일반적으로 사후 예상 값이거나 의사 결정 문제에서 예상 손실 (위험)을 최소화하는 값인 포인트 추정기를 사용하는 것이 일반적입니다. 베이지안 추정기가 MLE과 일치하는 경우가있을 수 있지만 (예를 들어, 사전에 통일이 있거나 손실을 최소화하는 특별한 경우), 이는 흔한 일이 아닙니다. 따라서 일반적으로 MLE은 빈번한 견적 자입니다.
P(x|θ)