오래된 항목과 새로운 항목을 감지하는 메모리 작업의 기본 값을 계산하고 싶습니다 . 내가 가진 문제는 일부 대상의 적중률이 1이고 / 또는 잘못된 경고 율이 0이므로 확률이 각각 100 % 및 0 %라는 것입니다.
d 프라임 의 공식 은입니다 d' = z(H) - z(F). 여기서 z(H), z(F)적중률과 오경보의 z 변환은 각각입니다.
z 변환을 계산하기 위해 Excel 함수 NORMSINV (즉, z(H)=NORMSINV(hit rate))를 사용합니다. 그러나 적중률 또는 잘못된 경보 비율이 각각 1 또는 0 인 경우, 함수는 오류를 리턴합니다. 내가 알고 있듯이 z transform은 ROC 곡선 아래 면적을 나타 내기 때문에 수학적으로 100 % 또는 0 % 확률을 허용하지 않습니다. 이 경우, 천장 성능이있는 피사체의 d ‘를 계산하는 방법을 잘 모르겠습니다.
한 웹 사이트 에서는 1과 0의 비율을 1-1 / (2N)로 바꾸고 1 / 2N을 최대 적중 횟수와 잘못된 경보로 N으로 바꾸라고 제안합니다. 다른 웹 사이트 에서는 “H 또는 F가 0 또는 1 일 수 없습니다 (있는 경우 약간 위 또는 아래로 조정)”고 말합니다. 이것은 임의적 인 것 같습니다. 누구든지 이것에 대한 의견이 있거나 올바른 리소스를 알려주기를 원합니까?
답변
Stanislaw & Todorov (1999) 는 Hit and False-Alarm Rates of Zero or One 이라는 제목으로 이에 대해 잘 논의했다 .
이들은 다음과 같은 극단적 인 가치를 다루기위한 몇 가지 방법의 장단점을 논의합니다.
-
d ‘ 대신 와 같은 비모수 통계량을 사용하십시오 (Craig, 1979)
ㅏ‘디‘
-
통계를 계산하기 전에 여러 주제의 데이터를 집계하십시오 (Macmillan & Kaplan, 1985)
-
적중 횟수와 허위 경보 수 모두에 0.5를 추가하고 신호 시행 횟수와 소음 시행 횟수에 1을 추가합니다. loglinear 방식 이라고 불렀다 (1995)
-
0의 비율을 으로 바꾸고 1의 비율을 ( n −
0.5/엔여기서 n 은 신호 또는 노이즈 시도 횟수입니다 (Macmillan & Kaplan, 1985).
(엔−0.5)/엔엔
선택은 궁극적으로 당신에게 달려 있습니다. 개인적으로 나는 세 번째 접근법을 선호합니다. 첫 번째 접근법은
ㅏ‘훨씬 더 익숙한 독자들에게 가 해석하기 있습니다. 단일 대상 동작에 관심이있는 경우 두 번째 방법은 적합하지 않을 수 있습니다. 네 번째 접근법은 데이터 포인트를 동등하게 취급하지 않기 때문에 편향됩니다.
디‘답변
두 사이트 모두 동일한 것을 제안하지만 하나는 조정 량을 일관되게 선택하는 방법을 제시하고 있습니다. 이것은 많은 사람들에 의한 것이지만, 누가 먼저 그것을 생각해 냈는지 아무도 모른다고 생각합니다. 각기 다른 필드에는 신호 감지에 대한 다른 책이나 저자가 있습니다. 중요한 것은 선택한 방법이 합리적이라는 것입니다.
일반적으로 게시 한 방법은 훨씬 더 큰 항목 세트 (2N)가 있으면 적어도 하나의 오류를 감지 할 수 있음을 의미합니다. 이것이 문제에 대해 생각하는 합리적인 방법이라면 완료된 것입니다. 나는 그것이 메모리 테스트를위한 것인지 의심합니다. 앞으로는 이것이 일어날 가능성을 줄이기 위해 N을 높이고 싶을 수도 있습니다. 그럼에도 불구하고 다른 방법으로 생각하면이 방법은 복구 할 수 있습니다. 동일한 수의 메모리 항목에 대해 두 번의 가상 실행 평균을 조정하고 있습니다. 이 경우 실험의 또 다른 실행에서 (새 항목이 있거나 이전 항목을 모두 잊었다 고 가정) 오류가 발생했을 것입니다. 또는 더 간단히 말하면 측정 할 수있는 최고 불완전 점수와 완벽한 점수 사이의 절반을 선택하는 것입니다.
이것은 단순한 범용 솔루션이없는 문제입니다. 가장 먼저 물어봐야 할 질문은 당신이 진정으로 완벽한 분류를 가지고 있는지의 여부입니다. 이 경우 데이터는 데이터입니다. 그렇지 않은 경우 샘플의 변동성만으로도 적중률이 100 %가된다고 생각합니다. 그것이 사실이라고 결론을 내렸다면, 당신이 생각하는 것을 추정 할 수있는 합리적인 방법을 고려해야합니다. 그래서 당신은 그것이 실제로 무엇인지 스스로에게 물어야합니다.
d ‘를 결정하는 가장 쉬운 방법은 동일한 조건에서 다른 데이터를 보는 것입니다. 이 한 명의 참가자에 대한 정확성이 현재 보유하고있는 다음 최고 가치와 100 % 사이의 절반이라고 생각할 수 있습니다 (이는 찾은 값과 정확히 동일 할 수 있음). 또는 아주 적은 양일 수도 있습니다. 또는 최상의 값과 같을 수도 있습니다. 데이터를 기반으로 최고의 답변이라고 생각하는 것을 선택해야합니다. 보다 구체적인 질문을 게시하면 여기에 도움이 될 수 있습니다.
가능한 한 기준에 거의 영향을 미치지 않도록해야합니다. 귀하의 경우 적중과 FA를 조정하면 기준이 전혀 이동하지 않습니다. 그러나 FAs = 0.2라고 말할 때 적중을 조정하면 해당 조정이 기준 해석에 어떤 영향을 미치는지주의해야합니다. 이 경우 조회수가 매우 높은지 확인해야합니다.