내가 줄 조언은 다음과 같습니다.

1. 신경망으로 가기 전에 선형 모형 (예 : 로지스틱 회귀)의 가능성을 소진하십시오. 특히 관측치가 많거나 많지 않은 경우 특히 그렇습니다. 많은 문제에서 신경망은 단순한 선형 분류기를 능가하지 않으며, 문제가이 범주에 속하는지 알아내는 유일한 방법은 시도하고 보는 것입니다.

2. 커널 방법 (예 : SVM (Support Vector Machine), 커널 로지스틱 회귀), 가우시안 프로세스 모델을 먼저 조사하십시오. 두 경우 모두 소수의 하이퍼 파라미터를 튜닝하여 과적 합을 효과적으로 제어 할 수 있습니다. 커널 방법의 경우 이것은 종종 교차 검증에 의해 수행되며, 가우시안 프로세스 모델의 경우 한계 우도 (모델의 베이지안 “증거”라고도 함)를 최대화하여 수행됩니다. 과도한 피팅을 피하는 방법이 훨씬 간단하기 때문에 신경망보다 이러한 방법을 사용하여 합리적인 모델을 얻는 것이 훨씬 쉽다는 것을 알았습니다.

3. 신경망을 실제로 사용하려면 피드 포워드 MLP (Multilayer Perceptron) 유형 네트워크가 아닌 (정규화 된) 방사형 기본 함수 네트워크로 시작하십시오.

4. MLP를 사용하는 경우 정규화를 사용하십시오. 그렇다면 숨겨진 단위 수 최적화와 같은 아키텍처 선택에 덜 민감합니다. 대신, 정규화 매개 변수에 적합한 값을 선택하기 만하면됩니다. MacKay의 베이지안 “증거 프레임 워크”는 정규화 매개 변수를 설정하는 좋은 방법을 제공합니다. 정규화를 사용하면 관측 수와 변수 수가 훨씬 덜 문제가됩니다.

과적 합을 탐지하려면 단순히 교차 검증을 수행하여 일반화 성능을 테스트하십시오.

주파수가 같은 클래스의 경우 균형 훈련 세트를 사용하여 모델을 학습하지만 운영 데이터에서 클래스가 균형을 이루지 않으면 모델이 소수 클래스를 과소 평가할 가능성이 높다는 점을 기억해야합니다. 로지스틱 회귀 또는 신경망과 같은 확률 분류기를 사용하는 경우 훈련 후이를 추정하기 위해 추정 된 확률을 항상 수정할 수 있습니다. 데이터 세트가 매우 불균형 인 경우 교차 검증으로 선택한 가중치 요소를 사용하여 양수 클래스와 음수 클래스의 패턴에 대한 차등 가중치를 사용하는 것이 좋습니다.

그러나 수업의 균형이 매우 불균형 인 경우, 일반적으로 위음성 오류와 위양성 오류에 차이 비용이 발생하는 경우가 있습니다 (예 : 의료 검진 테스트에서 위 음수는 위양성보다 훨씬 나쁩니다). 네트워크를 훈련시키는 데 사용되는 오류 함수에 오 분류 비용을 포함시키기 만하면됩니다.

MATLAB 사용자 인 경우 (나 같은) NETLAB 소프트웨어 (Ian Nabney 및 Chris Bishop) 또는 Rasmussen and Williams의 Gaussian Process for Machine Learning 책과 함께 제공되는 소프트웨어를 강력히 추천 할 수 있습니다. 신경망을 시작하는 사람이라면 Chris Bishop의 “패턴 인식을위한 신경망”이라는 책을 강력히 추천 할 수 있습니다. 이 책은 훌륭한 책이며, 실제로 무엇을하고 있는지 이해하는 데 필요한 명료하고 최소한의 수학으로 자료를 다루며 대부분은 NETLAB 소프트웨어 (옥타브에서 실행될 수 있음)로 구현됩니다.

HTH

PS 신경망으로 모델링하는 가장 좋은 방법은 Radford Neal이 개발 한 하이브리드 몬테카를로 (HMC)에 기반한 베이지안 접근법을 사용하는 것입니다. 일반적으로 일부 매개 변수를 시도하고 최적화 할 때 모델링에서 문제가 시작되어 과적 합이 발생합니다. 가장 좋은 솔루션은 아무것도 최적화하지 않고 대신 매개 변수를 제한 (통합)하는 것입니다. 안타깝게도이 통합은 분석적으로 수행 될 수 없으므로 대신 샘플링 기반 접근 방식을 사용해야합니다. 그러나 이것은 (a) 계산적으로 비싸고 (b) 약간의 “흑인 예술”이며 깊은 이해와 경험이 필요했습니다.

답변