Mam zestaw testowy 100 przypadków i dwa klasyfikatory.

Wygenerowałem prognozy i obliczyłem AUC ROC, czułość i swoistość dla obu klasyfikatorów.

Pytanie 1: Jak obliczyć wartość p, aby sprawdzić, czy jedna jest znacznie lepsza od drugiej pod względem wszystkich wyników (AOC ROC, czułość, swoistość)?

Teraz, dla tego samego zestawu testowego 100 przypadków, mam różne i niezależne przypisania funkcji dla każdego przypadku. Wynika to z faktu, że moje funkcje są stałe, ale subiektywne i dostarczane przez wiele (5) podmiotów.

Tak więc ponownie oceniłem moje dwa klasyfikatory dla 5 „wersji” mojego zestawu testowego i uzyskałem 5 AUC ROC, 5 czułości i 5 swoistości dla obu klasyfikatorów. Następnie obliczyłem średnią z każdej miary wydajności dla 5 osób (średnia ROC AUC, średnia czułość i średnia swoistość) dla obu klasyfikatorów.

Pytanie 2: Jak obliczyć wartość p, aby sprawdzić, czy jedna jest znacznie lepsza od drugiej pod względem średnich wyników (średnia AUC ROC, średnia czułość, średnia swoistość)?

Odpowiedzi za pomocą przykładowego kodu python (najlepiej) lub kodu MatLab są mile widziane.

— kostek
źródło

Czy bezpośrednie porównanie precyzji, dokładności, AuC, aby uzyskać najlepszy klasyfikator wśród tych dwóch. Wartość p nie ma tutaj sensu. Wartość p jest stosowany w ramach oceny, czy model jest w lepszej niż losowe / 50-50 przyporządkowania (jako zerowy / alternatywnym teście hipotezy)

— Nishad

Po pierwsze, nie zgadzam się, że porównanie dwóch miar wydajności przy użyciu wartości p nie ma tutaj sensu. Widzę, że jeden klasyfikator ma AUC 0,80, a drugi 0,85. Moja hipoteza zerowa byłaby taka, że nie ma różnicy w wydajności obu ogłoszeń. Chcę wiedzieć, czy różnica jest istotna statystycznie.

— kostek

Po drugie, nie tworzę 5 wersji mojego modelu. Mam dwa modele przeszkolone na oddzielnym zestawie treningowym i teraz oceniam je na 5 różnych „wersjach” mojego zestawu testowego. Mam średnią wydajność dla obu klasyfikatorów (np. 0,81 AUC i 0,84 AUC) i chcę sprawdzić, czy różnica jest istotna statystycznie.

— kostek

Nie powiedziałbym, że to, co robię, jest bliskie weryfikacji krzyżowej. W moim przypadku wartości funkcji zależą od podmiotu, który je udostępnia. Wiem, że AUC można wykorzystać do porównania modeli, ale chcę wiedzieć, czy w moim otoczeniu wynik mojego porównania jest statystycznie istotny. Jestem pewien, że da się to zrobić i że ma to sens. Moje pytanie brzmi: jak to zrobić?

— kostek

Nie jestem pewien, do czego zmierza @Nishad, możesz i powinieneś użyć testu hipotez, aby ustalić, czy twoje modele różnią się znacznie od siebie. Standardowe odchylenia Twoich danych istnieją i stają się mniejsze wraz ze wzrostem wielkości próby (wszystkie inne rzeczy są równe). Różnica AUC między 0,8 a 0,9 może nie być znacząca, jeśli masz tylko 10 próbek, ale może być bardzo znacząca, jeśli masz 10M próbek. Nie widzę też żadnego związku z walidacją krzyżową. Głosowałbym w dół za komentarzami, gdybym mógł.

— Nuclear Wang

Wojtek J. Krzanowski i David J. Hand Krzywe ROC dla danych ciągłych (2009) to świetne odniesienie do wszystkich rzeczy związanych z krzywymi ROC. Gromadzi razem szereg wyników w frustrująco szerokiej bazie literatury, która często wykorzystuje inną terminologię do omawiania tego samego tematu.

Ponadto książka ta zawiera komentarze i porównania metod alternatywnych, które zostały uzyskane w celu oszacowania tych samych wielkości, i wskazuje, że niektóre metody przyjmują założenia, które mogą być nie do utrzymania w określonych kontekstach. To jest jeden z takich kontekstów; inne odpowiedzi podają metodę Hanleya i McNeila, która zakłada dwumianowy model rozkładów wyników, co może być nieodpowiednie w przypadkach, w których rozkład wyników klas nie jest (zbliżony) do normy. Założenie normalnie rozłożonych wyników wydaje się szczególnie nieodpowiednie w nowoczesnych kontekstach uczenia maszynowego , typowe powszechne modele, takie jak xgboost, mają tendencję do tworzenia wyników z rozkładem „wanny” dla zadań klasyfikacyjnych (to znaczy rozkładów o dużej gęstości w skrajnościach bliskich 0 i 1 ).

Pytanie 1 - AUC

W sekcji 6.3 omówiono porównania AUC ROC dla dwóch krzywych ROC (str. 113–114). W szczególności rozumiem, że te dwa modele są ze sobą skorelowane, więc informacja o tym, jak obliczyć jest tutaj niezwykle ważna; w przeciwnym razie statystyki testowe będą tendencyjne, ponieważ nie uwzględniają udziału korelacji. $r$

W przypadku nieskorelowanych krzywych ROC, które nie są oparte na żadnych parametrycznych założeniach dystrybucyjnych, statystyki dla tets i przedziały ufności porównujące AUC mogą być bezpośrednio oparte na szacunkach i wartości AUC oraz szacunkach ich odchyleń standardowych i , jak podano w sekcji 3.5.1: $\widehat{\text{AUC}}_1$ $\widehat{\text{AUC}}_2$ $S_1$ $S_2$

$Z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2}}}$ $Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$
Aby rozszerzyć takie testy na przypadek, w którym te same dane są wykorzystywane dla obu klasyfikatorów, musimy wziąć pod uwagę korelację między szacunkami AUC:
$z = \frac{{\hat{AUC}}_{1} - {\hat{AUC}}_{2}}{\sqrt{S_{1}^{2} + S_{2}^{2} - r S_{1} S_{2}}}$ $z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$
gdzie jest oszacowaniem tej korelacji. Hanley i McNeil (1983) wykonane takiego rozszerzenia, opierając swoją analizę na razie binormal, ale tylko dał tabelę pokazującą jak obliczyć szacunkowy współczynnik korelacji z korelacji dwóch klasyfikatorów do klasy P i korelację dwóch klasyfikatorów w klasie N, mówiąc, że wyprowadzenie matematyczne było dostępne na żądanie. Różni inni autorzy (np. Zou, 2001) opracowali testy w oparciu o model dwumianowy, zakładając, że można znaleźć odpowiednią transformację, która jednocześnie przekształci rozkłady wyników klas P i N do normalnych. $r$ $r$ $r_P$ $r_n$

DeLong i wsp. (1988) wykorzystali tożsamość między AUC a statystyką testową Manna-Whitneya, wraz z wynikami teorii ogólnej statystyki według Sen (1960), aby uzyskać estiamte korelacji między AUC, które nie opiera się na dwumianowym założeniu. DeLong i wsp. (1988) przedstawili następujące wyniki porównań między klasyfikatorami. $U$ $k\ge 2$

W sekcji 3.5.1 pokazaliśmy, że powierzchnia pod empiryczną krzywą ROC była równa statystyce Manna-Whitneya i została podana przez $U$

gdziesą wynikiem dlaobiektówklasyasą wynikami dlaobiektyklasyw próbce. Załóżmy, że mamyklasyfikatorów, dających wyniki
$\hat{A U C} = \frac{1}{n_{N} n_{P}} \sum_{i = 1}^{n_{N}} \sum_{j = 1}^{n_{P}} [I (s_{P_{j}} > s_{N_{i}}) + \frac{1}{2} I (s_{P_{j}} = s_{N_{i}})]$ $\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$ $s_{P_i}, i = 1, \dots,n_P$ $P$ $s_{N_j}, j = 1, \dots,n_N$ $N$ $k$ i [Poprawiłem błąd indeksowania w tej części - Sycorax], i . Definiować $s^r_{N_j}, j=1\dots n_N$ $s_{P_i}^r, j = 1, \dots,n_P$ $\widehat{AUC}_r, r = 1, \dots, k$
i
$V_{10}^{r} = \frac{1}{n_{N}} \sum_{j = 1}^{n_{N}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], i = 1, \dots, n_{P}$ $V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$ $V_{01}^{r} = \frac{1}{n_{P}} \sum_{i = 1}^{n_{P}} [I (s_{P_{i}}^{r} > s_{N_{j}}^{r}) + \frac{1}{2} I (s_{P_{i}}^{r} = s_{N_{j}}^{r})], j = 1, \dots, n_{N}$ $V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$
następnie zdefiniuj macierz pomocą tego elementu $k \times k$ $\mathbf{W}_{10}$ $(r,s)$ imacierzzelementem
$w_{10}^{r, s} = \frac{1}{n_{P} - 1} \sum_{i = 1}^{n_{P}} [V_{10}^{r} (s_{P_{i}}) - {\hat{A U C}}_{r}] [V_{10}^{s} (s_{P_{i}}) - {\hat{A U C}}_{s}]$ $w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$ $k \times k$ $\mathbf{W}_{01}$ $(r,s)$ Następnie estiamowana macierz kowariancji dla wektora $w_{01}^{r, s} = \frac{1}{n_{N} - 1} \sum_{i = 1}^{n_{N}} [V_{01}^{r} (s_{N_{i}}) - {\hat{A U C}}_{r}] [V_{01}^{s} (s_{N_{i}}) - {\hat{A U C}}_{s}]$ $w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$ szacowanych obszarów pod krzywymi wynosi $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ z elementami. Jest to uogólnienie wyniku dla szacowanej wariancji pojedynczego oszacowanego AUC, również podanego w sekcji 3.5.1. W przypadku dwóch klasyfikatorów oszacowaną korelacjępomiędzy szacowanymi AUCs podaje zatem $W = \frac{1}{n_{P}} W_{10} + \frac{1}{n_{N}} W_{01}$ $\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$ $w^{r,s}$ $r$ które można zastosować wpowyżej. $\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$ $z$

Ponieważ inne odpowiedzi podają wyrażenia Hanleya i McNeila dla estymatorów wariancji AUC, tutaj odtworzę estymator DeLong z p. 68:

Alternatywne podejście przedstawione przez DeLonga i in. (1988) i zilustrowane przez Pepe (2003) daje być może prostsze oszacowanie, i takie, które wprowadza dodatkową użyteczną koncepcję wartości umieszczenia. Wartość umieszczenia wyniku w odniesieniu do określonej populacji jest funkcją przetrwania tej populacji w . Ta wartość umieszczenia dla populacji N wynosi a dla populacji P wynosi . Empiryczne oszacowania wartości umieszczenia są podane w oczywistych proporcjach. Zatem wartość umiejscowienia obserwacji $s$ $s$ $s$ $1 - F(s)$ $s$ $1 - G(s)$ w populacji P oznaczonej , to odsetek wartości próbki z P, który przekracza , ato wariancja wartości umiejscowienia każdej obserwacji z N w stosunku do populacji P. .. $s_{N_i}$ $s^P_{N_i}$ $s_{N_i}$ $\text{var}(s_{P_i}^N)$

Szacunek DeLong i wsp. (1988) wariancji podano w kategoriach tych wariancji: $\widehat{AUC}$
$s^{2} (\hat{A U C}) = \frac{1}{n_{P}} var (s_{P_{i}}^{N}) + \frac{1}{n_{N}} var (s_{N_{i}}^{P})$ $s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$

Zauważ, że to funkcja rozkładu skumulowanego wyników w populacji N, a to funkcja rozkładu skumulowanego wyników w populacji P. Standardowym sposobem oszacowania i jest użycie pliku ecdf . Książka zawiera również alternatywne metody szacowania ekdf, takie jak szacowanie gęstości jądra, ale to nie jest objęte zakresem tej odpowiedzi. $F$ $G$ $F$ $G$

Statystyki i można uznać za standardowe odchylenia normalne, a testy statystyczne hipotezy zerowej przebiegają w zwykły sposób. (Zobacz także: testowanie hipotez ) $Z$ $z$

Jest to uproszczony, ogólny zarys działania testowania hipotez:

Testując, twoimi słowami, „czy jeden klasyfikator jest znacznie lepszy od drugiego”, można sformułować inaczej, testując hipotezę zerową, że oba modele mają statystycznie równe AUC względem alternatywnej hipotezy, że statystyki są nierówne.
To jest test dwustronny.
Odrzucamy hipotezę zerową, jeśli statystyka testowa znajduje się w obszarze krytycznym rozkładu odniesienia, który jest w tym przypadku standardowym rozkładem normalnym.
$\alpha$ $z > 1.96$ $z < -1.96$ $\alpha/2$ $1 - \alpha/2$

Pytanie 1 - Wrażliwość i swoistość

$t$

\begin{aligned} sensitivity = t p & = P (s_{P} > t) \\ 1 - specificity = f p & = P (s_{N} > t) \end{aligned}

$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$

Głównym punktem spornym jest opracowanie odpowiedniego testu, biorąc pod uwagę, że dwie proporcje próbki będą skorelowane (ponieważ zastosowałeś dwa modele do tych samych danych testowych). Jest to adresowane na str. 111.

$tp$ $fp$ $t$ $(tp_1 - tp_2) / s_{12}$ $tp_i$ $i$ $s_{12}^2$ $tp_1$ $tp_2$

$tp_1$ $tp_2$

$N$

$tp_1 = tp_2$ $tp_1 \neq tp_2$

\begin{array}{ccc} Model 1 Positive at t & Model 1 Negative at t \\ Model 2 Positive at t & a & b \\ Model 2 Negative at t & c & d \end{array}

$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$

\begin{aligned} a & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} > t) \\ b & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} > t) \\ c & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} > t) \cdot I (s_{P_{i}}^{2} \leq t) \\ d & = \sum_{i = 1}^{n_{P}} I (s_{P_{i}}^{1} \leq t) \cdot I (s_{P_{i}}^{2} \leq t) \end{aligned}

$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$

M = \frac{(b - c)^{2}}{b + c}

$M = \frac{(b-c)^2}{b + c}$

χ_{1}^{2}

$\chi^2_1$

α = 95 %

$\alpha=95\%$

M > 3.841459

$M > 3.841459$

$s^r_{P_i}$ $s^r_{N_j}$

pytanie 2

Wydaje się, że wystarczy scalić wyniki poprzez uśrednienie wartości prognozy dla każdego respondenta, tak że dla każdego modelu masz 1 wektor 100 uśrednionych wartości prognozowanych. Następnie jak zwykle oblicz AUC ROC, czułość i statystyki specyficzności, tak jakby oryginalne modele nie istniały. Odzwierciedla to strategię modelowania, która traktuje każdy z 5 modeli respondentów jako jeden z „komitetów” modeli, coś w rodzaju zespołu.

— Sycorax mówi Przywróć Monikę
źródło

Dziękujemy za odpowiedź i podane referencje. Co z wartościami p dla czułości i swoistości?

— kostek

Czy w przypadku pierwszego kwartału oznacza to, że nie ma różnicy między obliczaniem wartości p dla czułości i swoistości oraz że oba mają zawsze tę samą wartość p, a ja po prostu tworzę tabelę zdarzeń i przeprowadzam na niej test McNemara?

— kostek

Nie, zrobiłbyś jeden test dla każdego.

— Sycorax mówi Przywróć Monikę

a, b, c, d

$a,b,c,d$

@Drey Nie mają proporcji; oni się liczą. Wyrażam to wyraźnie w wersji.

— Sycorax mówi Przywróć Monikę

Pozwól, że udzielę krótkiej odpowiedzi, ponieważ ten przewodnik wyjaśnia znacznie więcej i lepiej .

$nTP$ $nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$ $Q_2 = 2A^2 / (1 + A)$

Aby porównać dwa AUC, musisz obliczyć SE dla obu przy użyciu:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$ $r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Stamtąd można obliczyć wartość p przy użyciu gęstości prawdopodobieństwa standardowego rozkładu normalnego. Lub po prostu użyj tego kalkulatora.

Mam nadzieję, że to odpowiada na pytanie 1 . - przynajmniej część porównująca AUC. Sens / Spec jest już w jakiś sposób objęty ROC / AUC. W przeciwnym razie odpowiedź, jak sądzę, leży w pytaniu 2.

Co do pytania 2 , centralne twierdzenie graniczne mówi nam, że twoja statystyka podsumowująca byłaby zgodna z rozkładem normalnym. Dlatego sądzę, że wystarczyłby prosty test t (5 miar jednego klasyfikatora na 5 miar drugiego klasyfikatora, gdzie miarami mogłyby być AUC, sens, spec)

$\texttt{SE}$ $\ldots - 2r \ldots$

— Dziupla
źródło

Dzięki za dostarczone linki. W przypadku pytania 1, jeśli ustawię A na czułość lub swoistość, czy równania dla SE i Z-score będą się utrzymywać?

— kostek

\hat{p}

$\hat{p}$

Na pytanie 1 @Sycorax udzielił wyczerpującej odpowiedzi.

W przypadku pytania 2, o ile mi wiadomo, uśrednianie prognoz z badanych jest nieprawidłowe. Zdecydowałem się użyć ładowania początkowego do obliczenia wartości p i porównania modeli.

W takim przypadku procedura jest następująca:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Ta procedura wykonuje jednostronny test i zakłada, że średnia wydajność M1> średnia wydajność M2.

W tym repozytorium GitHub można znaleźć implementację ładowania początkowego Pythona do obliczania wartości p porównujących wiele czytników: https://github.com/mateuszbuda/ml-stat-util

— kostek
źródło

Istotność statystyczna (wartość p) dla porównania dwóch klasyfikatorów w odniesieniu do (średniej) AUC ROC, czułości i swoistości

Pytanie 1 - AUC

Pytanie 1 - Wrażliwość i swoistość

pytanie 2