d pierwsza ze 100% prawdopodobieństwem trafienia i 0% prawdopodobieństwa fałszywego alarmu

Chciałbym obliczyć liczbę pierwszą dla zadania pamięci, które polega na wykrywaniu starych i nowych elementów. Problemem jest to, że niektórzy badani mają współczynnik trafień 1 i / lub wskaźnik fałszywych alarmów 0, co czyni prawdopodobieństwa odpowiednio 100% i 0%.

Wzór na d prime to d' = z(H) - z(F), gdzie z(H)i gdzie z(F)są odpowiednio transformaty trafności i fałszywego alarmu.

Aby obliczyć transformację z, używam funkcji Excel NORMSINV (tj z(H)=NORMSINV(hit rate).). Jeśli jednak częstość trafień lub częstość fałszywych alarmów wynosi odpowiednio 1 lub 0, funkcja zwraca błąd. Wynika to z tego, że transformacja z, jak rozumiem, wskazuje obszar pod krzywą ROC, co nie pozwala matematycznie na 100% lub 0% prawdopodobieństwa. W tym przypadku nie jestem pewien, jak obliczyć wartość d 'dla pacjentów z wydajnością na suficie.

Jedna strona internetowa sugeruje zastąpienie stawki 1 i 0 wartością 1 - 1 / (2N) i 1 / 2N, gdzie N jest maksymalną liczbą trafień i fałszywych alarmów. Inna strona internetowa mówi: „ani H, ani F nie mogą być równe 0 ani 1 (jeśli tak, dostosuj nieznacznie w górę lub w dół)”. To wydaje się arbitralne. Czy ktoś ma na ten temat opinię lub chciałby wskazać mi odpowiednie zasoby?

Stanisław i Todorov (1999) dobrze dyskutują na ten temat pod nagłówkiem Wskaźniki trafień i fałszywych alarmów wynoszące zero lub jeden .

Omawiają zalety i wady kilku metod radzenia sobie z tymi ekstremalnymi wartościami, w tym:

• Użyj statystyki nieparametrycznej, takiej jak zamiast (Craig, 1979)$A'$$d'$

• Agreguj dane od wielu podmiotów przed obliczeniem statystyki (Macmillan i Kaplan, 1985)

• dodać 0,5 zarówno do liczby trafień, jak i liczby fałszywych alarmów, i dodać 1 zarówno do liczby prób sygnału, jak i liczby prób hałasu; nazwany loglinearnym podejściem (Hautus, 1995)

• Dostosuj tylko wartości ekstremalne, zastępując wartości 0 a wartości 1 gdzie jest liczbą prób sygnału lub szumu (Macmillan i Kaplan, 1985)$0.5/n$$(n-0.5)/n$$n$

Wybór należy do ciebie. Osobiście wolę trzecie podejście. Pierwsze podejście ma tę wadę, że$A'$$d'$

Obie strony sugerują to samo, ale jedna z nich stanowi sposób na konsekwentne wybranie stopnia dostosowania. Zostało to przypisane wielu osobom, ale nie sądzę, żeby ktokolwiek wiedział, kto naprawdę wymyślił to jako pierwsze. Różne pola mają inną książkę z przełomem lub autora na temat wykrywania sygnału. Ważne jest, aby wybrana metoda była rozsądna.

Jedna metoda, którą opublikowałeś, zwykle zakłada, że ​​gdybyś miał znacznie większy zestaw elementów (2N), byłbyś w stanie wykryć co najmniej jeden błąd. Jeśli jest to rozsądny sposób, aby pomyśleć o problemie, to koniec. Wątpię, żeby to był test pamięci. W przyszłości możesz chcieć podnieść N, aby mieć pewność, że tak się stanie. Niemniej jednak metoda jest możliwa do odzyskania, jeśli spojrzysz na to z innej strony. Dostosowujesz się do hipotetycznej średniej z dwóch przebiegów o tej samej liczbie elementów pamięci. W takim przypadku mówisz, że w innym przebiegu eksperymentu (zakładając nowe przedmioty lub zapomnieli wszystkie stare) wystąpiłby błąd. Lub prościej, wybierasz tylko połowę między najwyższym niedoskonałym wynikiem, jaki możesz zmierzyć, a doskonałym wynikiem.

Jest to problem bez prostego uniwersalnego rozwiązania. Pierwszym pytaniem, które musisz zadać, jest to, czy uważasz, że w twoim przypadku masz naprawdę idealną klasyfikację. W takim przypadku Twoje dane są Twoimi danymi. Jeśli nie, to uważasz, że to tylko zmienność w próbce, która powoduje, że liczba trafień wynosi 100%. Kiedy do tego dojdziesz, musisz rozważyć rozsądne sposoby wygenerowania oszacowania tego, co według ciebie jest. Musisz więc zadać sobie pytanie, co to właściwie jest.

Najłatwiejszym sposobem ustalenia, co powinno być, jest sprawdzenie innych danych w tym samym stanie. Być może możesz oszacować, że dokładność dla tego jednego uczestnika jest w połowie drogi między następną najlepszą wartością, którą posiadasz, a 100% (która może okazać się dokładnie taka sama jak znaleziona wartość). Lub może to być bardzo niewielka ilość większa. Lub może po prostu być równy najlepszym wartościom. Musisz wybrać najlepszą odpowiedź na podstawie swoich danych. Bardziej szczegółowe opublikowane pytanie może ci w tym pomóc.

Powinieneś postarać się, aby twoje ubezpieczenie miało jak najmniejszy wpływ na to kryterium. W twoim przypadku dostosowanie do trafień i FA spowoduje, że kryterium w ogóle się nie zmieni. Jeśli jednak dostosujesz trafienia, gdy powiesz, FA = 0,2, musisz być ostrożny, jak to dostosowanie wpłynęłoby na interpretację kryterium. W takim przypadku masz obowiązek upewnić się, że liczba trafień jest bardzo wysoka.