현재 세 가지 방법을 비교하고 있으며 정확도, auROC 및 auPR을 메트릭으로 사용하고 있습니다. 그리고 나는 다음과 같은 결과를 얻었습니다.
방법 A-acc : 0.75, auROC : 0.75, auPR : 0.45
방법 B-acc : 0.65, auROC : 0.55, auPR : 0.40
방법 C-acc : 0.55, auROC : 0.70, auPR : 0.65
나는 정확성과 auROC에 대해 잘 이해하고있다. 나는 이전에 auPR 데이터를 본 적이 없으며 그것이 어떻게 구축되는지 이해하는 동안 그 뒤에 “느낌”을 얻을 수 없습니다.
사실 나는 왜 방법 C가 auPR에 대해 엄청나게 높은 점수를 받았지만 정확성과 auPR에 대해서는 나쁜 / 평균이되는지 이해하지 못했습니다.
누군가가 내가 정말 대단한 간단한 설명으로 조금 더 잘 이해하도록 도울 수 있다면. 감사합니다.
답변
ROC 및 PR 곡선의 한 축은 동일합니다. 즉 TPR입니다. 데이터의 모든 긍정적 인 사례에서 올바르게 분류 된 긍정적 인 사례 수입니다.
다른 축은 다릅니다. ROC는 FPR을 사용하는데, 이는 데이터의 모든 부정에서 실수로 긍정적으로 선언 된 사람의 수입니다. PR 곡선은 정밀도를 사용합니다. 양수로 예측 된 모든 것 중에서 몇 개의 진 양성인지. 따라서 두 번째 축의 기준이 다릅니다. ROC는 데이터의 내용을 사용하고 PR은 예측의 내용을 기준으로 사용합니다.
데이터에 높은 수준의 불균형이있을 때 PR 곡선이보다 유익한 것으로 생각됩니다 ( http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf 참조) .