여기서 암시적인 질문은 모델이 “적합한 크기”이고 과적 합 / 부적합하지 않도록 신경망 또는 기계 학습 모델의 토폴로지 / 구조를 어떻게 결정할 수 있는지입니다.

캐스케이드 상관 관계는 1990 년으로 거슬러 올라간 이후로이를 수행하기위한 수많은 방법이 있었으며, 그 중 많은 방법이 훨씬 더 나은 통계 또는 계산 속성을 가지고 있습니다.

• 부스팅 : 한 번에 약한 학습자를 훈련 시키십시오. 각 약한 학습자는 강화 된 훈련 세트를 제공하여 과거 학습자가 배우지 않은 것을 배울 수 있습니다.
• 올가미 또는 자동 관련성 결정과 같은 정규화를 유발하는 희소성 : 큰 모델 / 네트워크로 시작하고 불필요한 장치가 “끄기”되도록하는 정규화기를 사용하여 유용한 장치를 활성화하십시오.
• 베이지안 비모수 : “올바른”모델 크기를 찾는 것을 잊지 마십시오. 하나의 큰 모델을 사용하고 Bayesian 정규화 / 준수에주의하십시오. 예를 들어, 무한한 수의 단위와 가우시안 이전의 신경망은 가우시안 프로세스로 도출 될 수 있으며, 이는 훈련하기가 훨씬 더 간단하다는 것이 밝혀졌습니다.
• 딥 러닝 : 다른 답변에서 언급했듯이 한 번에 한 계층 씩 딥 네트워크를 훈련시킵니다. 이것은 실제로 레이어 당 단위 수를 결정하는 문제를 해결하지 못합니다. 종종 이것은 여전히 ​​수작업 또는 교차 검증에 의해 설정됩니다.

답변