Andrew Gelman은 Bayesian AB 테스트에 다중 가설 수정이 필요하지 않은 이유에 대한 광범위한 기사를 작성했습니다. 왜 우리는 (일반적으로) 다중 비교에 대해 걱정할 필요가 없는가 , 2012.
잘 모르겠습니다 : 왜 베이지안 방법이 여러 번의 테스트 수정이 필요하지 않습니까?
A ~ Distribution1 + Common Distribution
B ~ Distribution2 + Common Distribution
C ~ Distribution3 + Common Distribution
Common Distribution ~ Normal
필자의 이해는 위에서 보여준 베이지안 접근 방식은 (가장 빈번한 Bonferroni 수정과는 달리) 모든 가설에 의해 공유 된 기본 분포를 설명한다는 것입니다. 내 추론이 맞습니까?
답변
이 질문에 대답하는 한 가지 이상한 방법은 베이지안 방법이 허용되는 증거 규칙과 일치하고 잦은 방법이 종종 상충되기 때문에이를 수행하는 방법을 제공하지 않는다는 것입니다. 예 :
- 빈번한 통계로, 치료법 A와 B를 비교하는 것은 가족 별 유형 I 오류 고려 사항으로 인해 치료 C와 D를 비교하기 위해 처벌해야합니다. Bayesian을 사용하면 AB 비교 자체가 가능합니다.
- 순차적 빈번한 테스트의 경우 일반적으로 데이터를 여러 번 살펴보면 처벌이 필요합니다. 그룹 순차 설정에서 아직 수행되지 않은 나중에 비교하려면 A와 B에 대한 초기 비교에 불이익을 가해 야하며, 이전 비교가 진행 과정을 변경하지 않더라도 나중에 비교하려면 나중에 비교에 불이익을 받아야합니다. 연구.
문제는 잦은 주의자들이 시간과 정보의 흐름을 역전시키는 것에서 비롯되며, 잦은 주의자 들은 일어난 일 대신에 일어날 수있는 일 을 고려해야 한다 . 대조적으로, 베이지안 평가는 모든 평가를 이전 분포에 고정시켜 증거를 교정합니다. 예를 들어, AB 차이에 대한 사전 분포는 AB의 모든 향후 평가를 교정하며 CD를 고려할 필요는 없습니다.
순차적 테스트에서는 잦은 유추를 사용하여 실험을 조기에 종료 할 때 점 추정치를 조정하는 방법에 대해 혼동이 있습니다. 베이지안 세계에서, 임의의 포인트 추정치에 대한 이전 “풀백”및 업데이트 된 사후 분포는 언제든지 추론에 적용되며 복잡한 샘플 공간 고려가 필요하지 않습니다.
답변
이러한 유형의 계층 적 모델은 추정치를 축소하고 중소 규모의 가설에 대해 허위 주장의 수를 합리적인 정도로 줄입니다. 특정 유형 I 오류율을 보장합니까? 아니.
Gelman 의이 제안은 (너무 많은 다른 것들을보고 문제를 인정하고 너무 쉽게 잘못 결론을 내립니다. 실제로 그의 애완 동물 주제 중 하나는 블로그에서 애완 동물 주제 중 하나입니다) 극단적 인 대안과는 다릅니다. 베이지안 방법이 다중성을 설명 할 필요가 없다는 관점은 모든 것이 당신의 가능성 (그리고 당신의 이전)이기 때문에 다중성을 설명 할 필요는 없다.
답변
매우 흥미로운 질문입니다. 여기에 제가 가지고 있습니다.
정보를 인코딩 한 다음 베이지안 크랭크를 돌립니다. 사실이 너무 좋아 보이지만 둘 다 생각보다 어렵습니다.
질문을 시작합니다
다중 비교에 대해 걱정할 때 어떤 정보가 사용되고 있습니까?
나는 몇 가지를 생각할 수 있습니다-첫 번째는 “데이터 준설”입니다-충분한 합격 / 불합격을 얻을 때까지 “모든 것”을 테스트하십시오 (교육을받은 거의 모든 통계가이 문제에 노출 될 것이라고 생각합니다). 당신은 또한 불길한 것이지만 본질적으로 동일합니다. “실행할 테스트가 너무 많습니다. 반드시 모든 것이 정확할 수는 없습니다.”
이것에 대해 생각한 후에, 내가 알고있는 한 가지는 특정 가설이나 비교에 대해 많이 듣지 않는 것입니다. 그것은 “수집”에 관한 것입니다-이것은 교환 가능성에 대한 나의 생각을 유발합니다. 비교되는 가설은 어떤 방식 으로든 서로 “유사”합니다. 그리고 교환 성을 베이지안 분석으로 어떻게 인코딩합니까? -하이퍼-프라이어, 혼합 모델, 랜덤 효과 등 !!!
그러나 교환 가능성은 그 길의 일부일뿐입니다. 모든 것이 교환 가능합니까? 또는 많은 후보 풀이있는 0이 아닌 회귀 계수와 같은 “스파 스”가 있습니까? 혼합 모델과 정규 분포 무작위 효과는 여기서 작동하지 않습니다. 스 쿼싱 노이즈와 신호를 건드리지 않은 상태로 “고정”됩니다 (예 : locationB와 locationC “true”매개 변수를 동일하게 유지하고 locationA “true”매개 변수를 임의로 크거나 작게 설정하고 표준 선형 혼합 모델이 실패한 것을 확인하십시오.) . 그러나 예를 들어 “스파이크 및 슬래브”이전 또는 “말 구두”이전과 같이 고정 될 수 있습니다.
따라서 실제로 어떤 종류의 가설을 이야기하고 이전과 가능성에 알려진 많은 기능을 반영하는지 설명합니다. Andrew Gelman의 접근 방식은 광범위한 다중 비교를 암시 적으로 처리하는 방법 일뿐입니다. 최소 제곱 및 정규 분포와 마찬가지로 대부분의 경우 잘 작동하는 경향이 있습니다 (모두는 아님).
이것이 어떻게 수행되는지에 관해서는 다음과 같이 추론하는 사람을 생각할 수 있습니다-그룹 A와 그룹 B는 같은 평균을 가질 수 있습니다-나는 데이터를 보았고 평균은 “가까이”입니다-따라서 더 나은 추정치를 얻으려면 두 가지 모두 초기 생각이 동일한 의미를 가졌기 때문에 데이터를 모아야합니다. -동일하지 않은 데이터는 데이터가 “가까웠다”는 증거를 제공하므로 “가끔”풀링해도 내 가설이 잘못되어도 나쁘게 해치지 않습니다 (일부 모델이 모두 잘못되었거나 일부는 유용함)
위의 모든 사항은 초기 전제에 달려 있습니다. 그것을 빼앗아 풀링에 대한 정당성이 없습니다. 테스트에 대한 “정규 분포”사고 방식을 볼 수도 있습니다. “영점이 가장 많을 것”, “0이 아니라면 0에 가까울 것”, “극단 값은 없을 것” 이 대안을 고려하십시오.
- 그룹 A와 그룹 B는 같을 수도 있지만, 크게 다를 수도 있음을 의미합니다.
그렇다면 “조금”풀링에 대한 논쟁은 매우 나쁜 생각입니다. 총 풀링 또는 제로 풀링을 선택하는 것이 좋습니다. Cauchy, spike & slab, 상황 유형 (0에 대한 많은 질량 및 극단적 인 값에 대한 많은 질량)과 훨씬 유사합니다.
베이지안 접근법은 우리를 이전 및 / 또는 가능성에 대해 걱정하게 하는 정보를 통합하기 때문에 전체 다중 비교를 다룰 필요는 없습니다 . 어떤 정보를 사용할 수 있는지에 대해 올바르게 생각하고 분석에 포함했는지 확인하는 것이 더 중요합니다.
답변
먼저, 제시 한 모델을 이해하면서 Gelman 제안과 약간 다른 것으로 생각합니다.
A ~ Distribution(locationA)
B ~ Distribution(locationB)
C ~ Distribution(locationC)
locationA ~ Normal(commonLocation)
locationB ~ Normal(commonLocation)
locationC ~ Normal(commonLocation)
commonLocation ~ hyperPrior
commonLocation실제로이 모수 를 추가하면 모수 3 분포 (여기서 위치 1, 2 및 3)에 대한 추론은 더 이상 서로 독립적이지 않습니다. 더욱이, commonLocation매개 변수의 기대 값을 중심 (일반적으로 추정 된)쪽으로 축소하는 경향이있다. 어떤 의미에서, 그것은 다중 보정에 대한 보정이 필요하지 않은 모든 추론에 대한 정규화로 작동합니다 (실제로 우리는 모델을 사용하여 각각의 상호 작용에서 하나의 다변량 추정 회계를 수행하므로).
다른 답변에서 지적 했듯이이 수정은 유형 I 오류에 대한 제어를 제공하지 않지만 대부분의 경우 베이지안 방법은 단일 추론 척도에서도 그러한 제어를 제공하지 않으며 다중 비교에 대한 수정은 베이지 안에서 다르게 생각해야합니다 환경.