몇 가지 사항을 추가하겠습니다.

• 우선, 가설 생성은 과학의 중요한 부분입니다. 그리고 비 예측 (탐사 / 설명) 결과 를 게시 할 수 있습니다.

• IMHO 문제는 데이터 탐색이 데이터 세트에서 사용되고 그 결과의 일부만 공개되는 것이 아닙니다. 문제는

  • 시도한 금액을 설명하지 않음
  • 연구가 일부 예측 모델 / 가설 테스트 연구에 대한 검증 연구 인 것처럼 결론을 도출

• 과학 및 방법 개발은 단순한 가설 생성-테스트-새로운 가설 생성-테스트보다 훨씬 일반적인 방식으로 반복적 인 프로세스입니다. IMHO 어떤 단계에서 어떤 종류의 적절한 행동이 필요한지 전문가 판단의 문제입니다 (예제 참조) 이하).

내가하는 일 :

• 사람들에게 결과에 대한 낙관적 편견을 알리도록 노력하십시오
  . 기회가있을 때 사람들에게 차이가 얼마나 있는지 보여 줍니다 (주로 동일한 문제의 낮은 수준에서 가능함). 예를 들어 환자 독립적으로 검증 된 데이터를 내부 성능과 비교 SVM 매개 변수에 대한 그리드 검색, PCA-LDA와 같은 “복합 모델”등과 같은 하이퍼 파라미터 최적화 루틴의 추정치 실제 데이터 준설에는 적합하지 않습니다. 현명한 규모의 연구의 실제 복제 …)
• 내가 공동 저자 인 논문의 경우 : 결론의 한계에 대한 논의를 주장한다. 결론이 연구가 허용하는 것보다 더 일반적인 방식으로 공식화되지 않았는지 확인하십시오.
• 동료가 연구 주제와 데이터 생성 프로세스에 대한 전문 지식을 사용 하여 비용이 많이 드는 (샘플 크기의 관점에서) 최적화를 수행하는 대신 데이터를 처리하는 방법을 결정 하도록 권장 합니다. 모델- “하이퍼”-파라미터 (사용할 전처리의 종류 등)
• 병행하여 : Beleites, C. 및 Neugebauer와 같이이 최적화 비즈니스가 제대로 수행되면 (비용이 많이 들지 않는지 여부와 상관없이, 데이터 준설과 같은 유사한 결과를 얻을 수 있음),이 최적화 비즈니스가 얼마나 비용이 많이 드는지 사람들에게 알리십시오. , U. 및 Bocklitz, T. 및 Krafft, C. 및 Popp, J .: 분류 모델의 표본 크기 계획. Anal Chim Acta, 2013, 760, 25-33. DOI : 10.1016 / j.aca.2012.11.007
  arXiv에 허용되는 원고 : 1211.1323

• 다음은이 시각 장애인이 주변도 시도 발견 한 연구는 예를 들어, 쓸데 자주의
  사전 처리 동향 속보? : J. 엥겔, J. Gerretzen, E. Szymańska, JJ 얀센, G. 다우니, L. BLANCHET, LMC Buydens 분석 화학에서의 TrAC 동향, 2013, 50, 96-106. DOI : 10.1016 / j.trac.2013.04.015
  (수많은 전처리 단계 조합을 시도했지만 전처리가없는 것보다 더 나은 모델로 이어지는 것이 거의 없음을 발견했습니다)

• : 나는 필요 이상으로 내 데이터 고문 아니에요 강조
  예 :

  모든 전처리는 분광 지식을 사용하여 독점적으로 결정되었으며, 데이터 중심 전처리는 수행되지 않았습니다.

  후속 용지 (다른)이 이론 개발 판독 예제와 같은 데이터를 사용하여

  모든 전처리는 분광 지식에 의해 결정되었고, 데이터 구동 단계는 포함되지 않았으며 파라미터 최적화는 수행되지 않았다. 그러나, 우리는 LR 훈련을위한 전처리 과정에서 25 개의 잠재 변수에 대한 스펙트럼의 PLS 투영 [45]이 예측에서 약간의 변화를 야기하지 않았 음을 확인했다 (보충 그림 S.2 참조).

  그 동안 나는 (CILS 저널 편집자에 의한 회의에서) 모델을 PLS 전처리와 비교하도록 명시 적으로 요청 받았다.

• 실용적 관점을 취하십시오 : 예를 들어 위에 링크 된 성상 세포종 연구에서 데이터를보고 난 후에도 여전히 몇 가지 사항을 결정했습니다 (예 : 강도 임계 값이 샘플 외부에서 측정 한 측정 값에 해당하는 경우). 내가 결정적이지 않은 다른 결정 (선형 대 이차 기준선 : 해당 유형의 데이터에 대한 나의 경험은 이것이 실제로 크게 변하지 않음을 시사합니다. 이는 Jasper Engel이 유사한 유형의 다른 데이터에서 찾은 것과 완벽하게 일치합니다. 데이터를 살펴보면서 기준선 유형을 결정하는 데 큰 편견이 없을 것으로 예상합니다 (논문은 그것이 합리적인 이유에 대한 논쟁을 제시합니다).
  우리가 수행 한 연구를 바탕으로 이제 다음에 해결해야 할 것과 변경해야 할 것을 말할 수 있습니다. 그리고 우리는 여전히 분석법 개발의 초기 단계 ( 생체 외 샘플을 보며 )에 있기 때문에, 실험법이 생체 내 에서 사용되기 전에 궁극적으로 필요할 모든 숙제를 거치는 것은 가치 가 없습니다 . 예를 들어, 성상 세포종 등급의 현재 단계에서 리샘플링 유효성 검사는 외부 테스트 세트보다 현명한 선택입니다. 일부 성능 특성은 그런 방식으로 만 측정 할 수 있기 때문에 어느 시점에서 진정한 외부 검증 연구가 필요하다고 강조합니다. 하지만 지금 우리가 여전히 ex-vivo를 가지고 노는 동안표본과 큰 문제의 다른 부분을 해결하고 있습니다 (관련 논문에서 : 경계선 사례를 다루는 방법), 적절한 생체 외 검증 연구 에서 유용한 지식을 얻는 것은 노력하는 동안 가치가 너무 낮습니다 (IMHO : 데이터 준설로 인한 바이어스를 측정하기 위해 수행되었습니다).

• 나는 통계 및보고 표준에 대한 논쟁을 읽었고, 저를 설득 한 저널 (필요한 것을 기억하지 마십시오)에 필요한지 결정해야하는지 여부를 읽었습니다. 그 아이디어는 편집자들이 시도 할 필요가 없다고 표현했습니다. 다음과 같은 이유로 일부 표준에 동의하고이를 시행합니다.

  • 적절한 기술을 사용하는 사람은 일반적으로 그 사실을 잘 알고 / 자신감있게 행동하며, 따라서 무엇을했는지 상세하게보고해야합니다.
  • 특정 시점 (예 : 데이터 준설, 환자 수준과 무관 한 검증)이 명확하게 설명되어 있지 않은 경우 검토 자 / 독자에 대한 기본 가정은 연구가 해당 질문의 올바른 원칙을 준수하지 않았다는 것입니다. 더 잘 알고)

답변

Y <- replicate(1000, {
    y1 <- rnorm(10)
    while(var(y1) < 0.9 | var(y1) > 1.1) y1 <- c(y1, rnorm(1))
    y2 <- rnorm(10)
    while(var(y2) < 0.9 | var(y2) > 1.1) y2 <- c(y2, rnorm(1))
    c( t.test(y1, y2, var.equal = TRUE)$p.value, length(y1), length(y2) )
    })
range(Y[2,]) #range of N's in group 1
[1]   10 1173
range(Y[3,]) #range of N's in group 2
[1]   10 1283
sum(Y[1,] < 0.05) / ncol(Y)
[1] 0.045

se <- function(x) sqrt(var(x) / length(x))
Y <- replicate(1000, {
        y1 <- rnorm(10)
        y2 <- rnorm(10)
        while(se(y1) > 0.2 | se(y2) > 0.2) {
            y1 <- c(y1, rnorm(1)); y2 <- c(y2, rnorm(1))
        }
        c( t.test(y1, y2, var.equal = TRUE)$p.value, length(y1) )
        })
range(Y[2,]) #range of N's in group 1 and 2 (they're equal now)
[1] 10 46
sum(Y[1,] < 0.05) / ncol(Y)
[1] 0.053