Firth 로지스틱 회귀 분석 (로지스틱 회귀 분석에서 완전 / 완전 또는 준-완전 분리를 처리하는 방법)을 이해하려고하므로 다른 사람들에게 단순화 된 용어로 설명 할 수 있습니다. 누구든지 Firth 추정이 MLE에 어떤 수정을했는지에 대한 간단한 설명이 있습니까?
나는 최선을 다해 Firth (1993)를 읽었으며 점수 함수에 수정이 적용되고 있음을 이해합니다. 나는 교정의 기원과 정당화 및 MLE에서 점수 기능이 어떤 역할을하는지에 대해 애매합니다.
이것이 기초 지식이라면 죄송합니다. 내가 검토 한 문헌은 내가 소유 한 것보다 MLE에 대한 더 깊은 이해가 필요한 것 같습니다.
답변
Firth의 수정은 Jeffrey의 이전을 지정하고 사후 분포의 모드를 찾는 것과 같습니다. 대략 회귀 모수의 실제 값이 0이라고 가정하면 관측치의 절반을 데이터 세트에 추가합니다.
Firth의 논문은 고차원 무증상의 예입니다. 예를 들어, 널 순서는 많은 수의 법칙에 의해 제공됩니다. 큰 샘플에서 여기서 은 실제 값입니다. MLE은 대략 iid 변수 (점수)의 합계에 대한 비선형 변환을 기반으로하기 때문에 무증상 적으로 정상이라는 것을 알게 될 것입니다. 이것은 1 차 근사치입니다. 여기서 은 평균이 0이고 분산이 (또는 var-cov 행렬) 인 단일 변동에 대한 Fisher 정보의 역수 인 정규 변량입니다 . 우도 비 검정 통계량은 무증상입니다.
θ^n≈θ0θ0
θn=θ0+O(n−1/2)=θ0+v1n−1/2+o(n−1/2)
v1
σ12
n(θ^n−θ0)2/σ12∼χ12
또는 내부 곱 및 역 공분산 행렬에 대한 다변량 확장.
높은 주문 근성의 시도는 다음 용어에 대해 뭔가 배울 수 , 일반적으로 다음 학기에 밖으로 괴롭 히고으로 . 이렇게하면 추정치 및 검정 통계량에 정도의 작은 표본 편향이 포함될 수 있습니다 ( “편견없는 MLE이 있습니다”라는 논문이 보이면이 사람들은 자신이 무엇을 말하는지 모를 것입니다). 이러한 종류의 가장 잘 알려진 수정은 가능성 비율 테스트에 대한 Bartlett의 수정입니다. Firth의 수정도 그 순서입니다. 고정 수량 (p. 30의 상단)을 가능성에 추가하고 큰 샘플에서 해당 수량의 상대적 기여도가 속도에서 사라집니다 의 샘플 정보에 의해 위축.
o(n−1/2)O(n−1)
1/n
12lndetI(θ)
1/n