가족 별 오류 경계 : 독립적 인 질문에 대한 다른 연구에서 데이터 세트를 재사용하면 여러 테스트 문제가 발생합니까? 가지 (가설) 테스트를 수행하는 경우 테스트가 독립적

연구팀이 주어진 데이터 세트에 대해 여러 가지 (가설) 테스트를 수행하는 경우 테스트가 독립적 인 경우에도 여러 테스트 (Bonferroni 등)에 대해 일종의 수정을 사용해야한다고 주장하는 문헌이 많이 있습니다. 내 질문은 이것입니다 : 동일한 논리가 동일한 데이터 세트에서 가설을 테스트하는 여러 팀에 적용됩니까? 다른 방법으로, 가족 별 오류 계산의 장벽은 무엇입니까? 연구원들이 탐사 목적으로 만 데이터 세트를 재사용하도록 제한해야합니까?



답변

나는 @fcoppens가 한 번의 조사에서 다중 가설 교정의 중요성을 한 번의 조사로 인식하는 데 “동일한 추론으로 여러 팀이 이러한 테스트를 수행해도 동일하게 유지된다”는 주장에 강력하게 동의하지 않습니다.

더 많은 연구가 수행되고 더 많은 가설이 테스트 될수록 더 많은 유형 I 오류가 발생한다는 데에는 의문의 여지가 없습니다. 그러나 나는 “가족 현명한 오류”비율의 의미와 그것이 실제 과학 작업에 어떻게 적용되는지에 대해 혼동이 있다고 생각합니다.

첫째, 다중 테스트 보정은 일반적으로 사전에 공식화 된 가설이없는 사후 비교 에서 발생했음을 기억하십시오 . 미리 정의 된 작은 가설이있을 때 동일한 수정이 필요하다는 것은 분명하지 않습니다.

둘째, 개별 간행물의 “과학적 진실”은 간행물 내의 각 개별 진술의 진실에 의존하지 않습니다. 잘 설계된 연구 는 여러 관점에서 전체적인 과학적 가설에 접근 하고 과학적 가설 을 평가하기 위해 다양한 유형의 결과를 모 읍니다. 각 개별 결과는 통계 테스트로 평가할 수 있습니다.

그러나 @fcoppens의 주장에 따르면, 이러한 개별 통계 테스트 중 하나 라도 Type I 오류를 발생시키는 경우 ” ‘과학적 진실’에 대한 허위 신념”으로 이어집니다. 이것은 단순히 잘못입니다.

개별 통계 테스트의 유효성과 반대되는 출판물에서 과학적 가설 의 “과학적 진실”은 일반적으로 다양한 유형의 증거의 조합에서 비롯됩니다. 여러 유형의 증거에 대한 주장은 필연적으로 발생하는 개별 실수 에 대해 과학적 가설 의 유효성을 강력 하게 만듭니다 . 나는 다시 내 50 정도 과학 출판물에 보면, 열심히 찾아 누를 것 하나를 남아 @fcoppens 등 모든 세부 사항에 흠이을 주장하는 것 그래서. 그러나 나는 유사 열심히 찾아 누를하고 있는과학을가설은 완전히 틀렸다. 아마도 불완전하다. 물론,이 분야의 후반의 발전으로 인해 관련이 없습니다. 그러나 당시의 과학적 지식의 상황에서 “잘못된”것은 아니다.

셋째,이 주장은 유형 II 오류를 유발하는 비용을 무시한다. 유형 II 오류는 유망한 과학적 탐구 분야를 모두 폐쇄 할 수 있습니다. @fcoppens의 권장 사항을 준수하면 유형 II 오류율이 과학 기업에 해를 끼칠 정도로 크게 증가 할 것입니다.

마지막으로 권장 사항을 실제로 따르는 것은 불가능합니다. 공개적으로 사용 가능한 데이터 세트를 분석하면 다른 사람이 데이터를 사용했는지 또는 어떤 목적으로 사용했는지 알 방법이 없을 수 있습니다. 다른 사람의 가설 검정을 수정할 방법이 없습니다. 그리고 위에서 말한 것처럼, 나는 할 필요가 없습니다.


답변

“다중 테스트 ”수정은 ‘유형 I 오류’를 늘릴 때마다 필요합니다. 예를 들어 각각 신뢰 수준 에서 두 가지 테스트를 수행 하고 첫 번째 테스트에서는 null H ( 1 ) 0 대안 H ( 1 ) 1 과 두 번째 가설 H ( 2 ) 0H ( 2 ) 1에 대하여 .

α=5%

H0(1)

H1(1)

H0(2)

H1(2)

H0(1)

α=5%

1(1α)2

α=5%

9.75%

통계적 가설 검정에서 귀무를 기각함으로써 대립 가설에 대한 통계적 증거 만 찾을 수 있습니다. 귀무를 기각하면 대립 가설에 찬성하는 증거있다는 결론을 내릴 수 있습니다 . ( 우리가 귀무 가설을 기각하지 못하면 어떻게됩니까? ).

따라서 널을 허위로 거부하면“과학적 진실 ”에 대한 거짓 믿음이 거짓 증거로 나타납니다. 그렇기 때문에이 유형 I 인플레이션 (유형 I 오류의 거의 두 배)을 피해야합니다. 유형 I 오류가 높을수록 과학적으로 입증 된 사실이 더 많다는 것을 암시 합니다. 따라서 사람들은 가족 수준에서 유형 오류를“통제 ”합니다.

5%

동일한 추론으로 여러 팀이 동일한 데이터에서 이러한 테스트를 수행하는 경우에도 마찬가지입니다.

위의 결과는 우리 팀 이 동일한 데이터를 처리하는 경우에만 적용됩니다 . 다른 샘플에서 작업 할 때 다른 점은 무엇입니까?

σ

H0:μ=0

H1:μ0

α=5%

영형

1.96σ

1.96σ

5%

H0

H0

μ=0

H0

영형[1.96σ;1.96σ

H0

따라서 동일한 데이터를 사용하는 경우 테스트의 결론은“나쁜 기회 ”로 추출한 샘플을 기반으로 할 수 있습니다. 다른 샘플에서는 컨텍스트가 다릅니다.


답변