대부분의 경우, 더 많은 데이터는 것이 더 좋습니다 . 과적 합은 본질적으로 실제 데이터가 아닌 훈련 데이터에서 발생하는 가짜 상관 관계를 학습하는 것입니다. 예를 들어, 내 동료 만 고려했다면 “명명 된 매트”와 “수염이 있음”을 연결하는 방법을 배울 수 있습니다. 100 % 유효합니다 ( , 짝수!). 그러나 일반적으로 사실이 아닙니다. 데이터 집합의 크기를 늘리면 (예 : 건물 또는 도시 전체) 이러한 의사 상관 관계가 줄어들고 학습자의 성과가 향상됩니다.n = 4

$n=4$

즉, 더 많은 데이터가 도움이되지 않고 심지어 상처를 입을 수있는 상황은 추가 교육 데이터에 노이즈가 있거나 예측하려는 내용과 일치하지 않는 경우입니다. 한 번은 다른 언어 모델 [*]을 음성 인식 식당 예약 시스템에 연결하는 실험을했습니다. 나는 훈련 데이터의 양과 관련성도 다양하게 변화시켰다. 극단적으로, 작고 신중하게 선별 된 사람들 예약 테이블을 가졌다. 다른 한편으로, 나는 더 정확한 언어 모델이지만, 응용 프로그램과 훨씬 더 나쁜 고전 문학의 거대한 컬렉션으로 추정되는 모델을 가지고있었습니다 . 놀랍게도, 작지만 관련성이 높은 모델은 관련성 이 높고 덜 중요한 모델보다 훨씬 뛰어 났습니다 .

훈련 세트의 크기가 모델 매개 변수의 수에 가까울 때 double-descent
라는 놀라운 상황이 발생합니다. 이 경우 훈련 세트의 크기가 증가하면 테스트 위험이 먼저 감소하고 훈련 데이터가 추가되면 일시적으로 증가 하며 훈련 세트가 계속 증가함에 따라 다시 감소하기 시작합니다. 이 현상은 신경 네트워크 문헌에서 25 년 동안보고되었지만 (Opper, 1995 참조), 현대 네트워크에서도 발생합니다 ( Advani and Saxe, 2017 ). 흥미롭게도, 이것은 SGD에 적합하지만 선형 회귀에서도 발생합니다 ( Nakkiran, 2019). 이 현상은 아직 완전히 이해되지 않았고 이론적으로 관심이 많습니다. 더 많은 데이터를 수집하지 않는 이유로 사용하지 않을 것입니다 (n == p이면 훈련 세트 크기를 피하고 성능이 예기치 않게 나빠질 수는 있지만) ).

[*] 언어 모델은 같이 주어진 단어 시퀀스를 볼 확률입니다. 입니다. 중간 정도의 음성 / 문자 인식기를 구축하는 데 중요합니다.피( 승엔= ‘빠른’,  wn + 1= ‘갈색’,  승n + 2= ‘fox’ )

$P(w_n = \textrm{'quick', } w_{n+1} = \textrm{'brown', } w_{n+2} = \textrm{'fox'})$

답변