나는 딥 러닝으로 시작하여, 내가 찾을 수없는 질문이 있습니다. 어쩌면 제대로 검색하지 않았을 수도 있습니다. 내가 본 이 대답을 하지만 체중 부패 손실이 무엇인지 아직 명확하지 않다 그리고 그것은 손실 함수에 어떻게 관련이있다.
답변
무게 감퇴는 신경망에서 정규화를 지정합니다.
훈련하는 동안 정규 전파 용어가 네트워크 손실에 추가되어 역 전파 기울기를 계산합니다. weight decay값이 정규화 용어 그레디언트 계산에 얼마나 우세 판정한다.
경험상, 더 많은 훈련 예제가있을수록이 용어는 약해집니다. 이 용어가 많을수록 더 많은 매개 변수를 사용해야합니다.
따라서 무게 감소는 큰 무게를 가하는 정규화 용어입니다. 중량 감쇄 계수가 크면 큰 중량에 대한 페널티도 커지며, 작은 중량 일 경우 자유롭게 커질 수 있습니다.
이제 질문에 링크 된 답변 을 읽으면 이제 완전히 이해됩니다.