최소 설명 길이 (예 : 정규화 된 최대 가능성, Fisher 정보 근사) 의 다양한 측정 외에 언급 할만한 두 가지 다른 방법이 있습니다.

1. 파라 메트릭 부트 스트랩 . 까다로운 MDL 측정보다 구현이 훨씬 쉽습니다. 좋은 논문은 Wagenmaker와 동료들에 의해 작성되었습니다 :
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P. & Iverson, GJ (2004). 파라 메트릭 부트 스트랩을 사용하여 모델 모방을 평가합니다 . 수학 심리학 저널 , 48, 28-50.
   초록 :

   우리는 경쟁 모델에 의해 생성 된 데이터를 설명하는 모델의 능력으로 정의 된 모델 모방을 정량화하기위한 일반적인 샘플링 절차를 제시한다. 파라 메트릭 부트 스트랩 교차 피팅 방법 (PBCM; cf. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23) 참조)이라고하는이 샘플링 절차는 적합도 차이의 분포를 생성합니다. 각 경쟁 모델에서 예상됩니다. PBCM의 데이터 정보 버전에서, 생성 모델은 실험 데이터를 고려하여 얻은 특정 파라미터 값을 갖는다. 데이터에 따른 차이 분포는 모델 적합성의 정량화를 위해 적합도의 관측 된 차이와 비교 될 수 있습니다. PBCM의 정보가없는 버전의 데이터에서 생성 모델은 사전 지식에 기초하여 비교적 광범위한 파라미터 값을 갖는다. 정보가 제공되는 데이터와 정보가없는 PBCM이 모두 적용되는 예는 몇 가지 예와 함께 설명됩니다.

   업데이트 : 일반 영어로 모델 흉내를 평가합니다. 경쟁하는 두 가지 모델 중 하나를 선택하고 해당 모델에 대한 매개 변수 세트를 임의로 선택합니다 (정보 제공 여부). 그런 다음 선택한 매개 변수 세트를 사용하여이 모델에서 데이터를 생성합니다. 다음으로 두 모델이 생성 된 데이터를 맞추고 두 후보 모델 중 어느 것이 더 잘 맞는지 확인하십시오. 두 모델이 모두 유연하거나 복잡한 경우 데이터를 생성 한 모델이 더 적합해야합니다. 그러나 다른 모델이 더 복잡한 경우 데이터가 다른 모델에서 생성되었지만 더 적합 할 수 있습니다. 두 모델 모두에서이 작업을 여러 번 반복합니다 (즉, 두 모델 모두 데이터를 생성하고 두 모델 중 어느 것이 더 적합한 지 확인하십시오). 다른 모델에서 생성 된 데이터를 “과적 합”하는 모델이 더 복잡합니다.

2. 교차 검증 : 구현하기도 쉽습니다. 이 질문에 대한 답변을 참조하십시오 . 그러나 문제는 샘플 절단 규칙 (leave-one-out, K-fold 등) 중에서 선택할 수없는 규칙입니다.

답변