태그 보관물: loss-functions

loss-functions

힌지 손실 대 물류 손실의 장단점 손실로 정의

힌지 손실을 이용하여 정의 될 수있는 및 로그 손실로 정의 될 수 로그 ( 1 + EXP ( – Y I w T는 X I를 ) )

max(0,1−yiwTxi)

log(1+exp⁡(−yiwTxi))

다음과 같은 질문이 있습니다.

  1. 힌지 손실의 단점이 있습니까 (예 : http://www.unc.edu/~yfliu/papers/rsvm.pdf에 언급 된 특이 치에 민감 함 )?

  2. 하나와 다른 것의 차이점, 장점, 단점은 무엇입니까?

답변

대수 손실 최소화는 잘 동작하는 확률 적 결과물로 이어집니다.

힌지 손실은 이중에서 일부 보장되지는 않지만 희소성을 유발하지만 확률 추정에는 도움이되지 않습니다. 대신, 그것은 오 분류를 처벌합니다 (따라서 마진을 결정하는 것이 매우 유용합니다) : 힌지 손실을 줄이면 마진 오 분류가 감소합니다.

따라서 요약하면 다음과 같습니다.

  • 대수 손실은 정확도 비용으로 더 나은 확률 추정으로 이어집니다

  • 힌지 손실은 확률과 관련하여 훨씬 적은 감도로 인해 정확도가 향상되고 희소성이 향상됩니다.

답변

@Firebug는 좋은 대답을 얻었습니다 (+1). 사실, 나는 비슷한 질문을했습니다.

분류에서 다른 손실 함수를 선택하면 대략 0-1 손실에 미치는 영향은 무엇입니까?

로지스틱 손실의 또 다른 큰 장점 인 확률 론적 해석에 더 추가하고 싶습니다. 예를 들어 여기 에서 찾을 수 있습니다

특히 로지스틱 회귀는 통계 문헌에서 고전적인 모델입니다. (참조는 어떤 이름 평균 “로지스틱 회귀는?”수행 명명을 위해.) 같은 이항에 최대화 로그 우도 추정, 우도 비 테스트뿐만 아니라, 가정 등의 물류 손실에 관련된 많은 중요한 개념이있다. 다음은 관련 토론입니다.

R의 우도 비 검정

왜 로지스틱 회귀가 로지스틱 분류라고하지 않습니까?

로지스틱 회귀 분석에 대한 iid 가정이 있습니까?

로짓과 프로 빗 모델의 차이점

답변

@ hxd1011은 교차 엔트로피의 이점을 추가했기 때문에 하나의 단점을 추가 할 것입니다.

교차 엔트로피 오차는 확률 분포 사이의 많은 거리 측정 중 하나이지만, 그 중 하나의 단점은 긴 꼬리를 갖는 분포가 거의 일어날 수없는 사건에 대해 너무 많은 가중치로 잘못 모델링 될 수 있다는 것입니다.

답변