힌지 손실을 이용하여 정의 될 수있는 및 로그 손실로 정의 될 수 로그 ( 1 + EXP ( – Y I w T는 X I를 ) )
max(0,1−yiwTxi)log(1+exp(−yiwTxi))
다음과 같은 질문이 있습니다.
-
힌지 손실의 단점이 있습니까 (예 : http://www.unc.edu/~yfliu/papers/rsvm.pdf에 언급 된 특이 치에 민감 함 )?
-
하나와 다른 것의 차이점, 장점, 단점은 무엇입니까?
답변
대수 손실 최소화는 잘 동작하는 확률 적 결과물로 이어집니다.
힌지 손실은 이중에서 일부 보장되지는 않지만 희소성을 유발하지만 확률 추정에는 도움이되지 않습니다. 대신, 그것은 오 분류를 처벌합니다 (따라서 마진을 결정하는 것이 매우 유용합니다) : 힌지 손실을 줄이면 마진 오 분류가 감소합니다.
따라서 요약하면 다음과 같습니다.
-
대수 손실은 정확도 비용으로 더 나은 확률 추정으로 이어집니다
-
힌지 손실은 확률과 관련하여 훨씬 적은 감도로 인해 정확도가 향상되고 희소성이 향상됩니다.
답변
@Firebug는 좋은 대답을 얻었습니다 (+1). 사실, 나는 비슷한 질문을했습니다.
분류에서 다른 손실 함수를 선택하면 대략 0-1 손실에 미치는 영향은 무엇입니까?
로지스틱 손실의 또 다른 큰 장점 인 확률 론적 해석에 더 추가하고 싶습니다. 예를 들어 여기 에서 찾을 수 있습니다
특히 로지스틱 회귀는 통계 문헌에서 고전적인 모델입니다. (참조는 어떤 이름 평균 “로지스틱 회귀는?”수행 명명을 위해.) 같은 이항에 최대화 로그 우도 추정, 우도 비 테스트뿐만 아니라, 가정 등의 물류 손실에 관련된 많은 중요한 개념이있다. 다음은 관련 토론입니다.
답변
@ hxd1011은 교차 엔트로피의 이점을 추가했기 때문에 하나의 단점을 추가 할 것입니다.
교차 엔트로피 오차는 확률 분포 사이의 많은 거리 측정 중 하나이지만, 그 중 하나의 단점은 긴 꼬리를 갖는 분포가 거의 일어날 수없는 사건에 대해 너무 많은 가중치로 잘못 모델링 될 수 있다는 것입니다.