Jak uzyskać probabilistyczną interpretację AUC?

14

Dlaczego obszar pod krzywą ROC to prawdopodobieństwo, że klasyfikator uszereguje losowo wybraną „pozytywną” instancję (na podstawie uzyskanych prognoz) wyższą niż przypadkowo wybrana „pozytywna” instancja (z oryginalnej pozytywnej klasy)? W jaki sposób można udowodnić matematycznie to stwierdzenie za pomocą całki, podając CDF i PDF prawdziwie dodatnie i ujemne rozkłady klas?

probability roc auc

— ffff
źródło

2

Napisałem tutaj bardzo elementarny dowód: madrury.github.io/jekyll/update/statistics/2017/06/21/…

— Matthew Drury,

10

Po pierwsze, spróbujmy formalnie zdefiniować obszar pod krzywą ROC. Niektóre założenia i definicje:

Mamy klasyfikator probabilistyczny, który wyprowadza „wynik” s (x), gdzie x są cechami, a s jest ogólną rosnącą funkcją monotoniczną szacowanego prawdopodobieństwa p (klasa = 1 | x).
$f_{k}(s)$ , z : = pdf wyników dla klasy k, z CDF $k = \{0, 1\}$ $F_{k}(s)$
Klasyfikację nowej obserwacji uzyskuje się, porównując wynik s do progu t

Ponadto, dla wygody matematycznej, rozważmy klasę dodatnią (wykryte zdarzenie) k = 0 i ujemną k = 1. W tym ustawieniu możemy zdefiniować:

Przypomnij (aka Wrażliwość, aka TPR) : (odsetek przypadków pozytywnych sklasyfikowanych jako pozytywne) $F_{0}(t)$
Swoistość (inaczej TNR) : (odsetek przypadków negatywnych zaklasyfikowanych jako negatywne) $1 - F_{1}(t)$
FPR (aka Fall-out) : 1 - TNR = $F_{1}(t)$

Krzywa ROC jest wówczas wykresem stosunku do . Ustawiając , możemy formalnie zdefiniować obszar pod krzywą ROC jako: Zmiana zmiennej ( ): $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

A U C = \int_{0}^{1} F_{0} (F_{1}^{- 1} (v)) d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$

A U C = \int_{- \infty}^{\infty} F_{0} (s) f_{1} (s) d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

Ta formuła może być łatwo postrzegana jako prawdopodobieństwo, że losowo wybrany członek klasy 0 da wynik niższy niż wynik losowo losowanego członka klasy 1.

Ten dowód pochodzi z: https://pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— alebu
źródło

5

Odpowiedź @ alebu jest świetna. Ale jego notacja jest niestandardowa i używa 0 dla klasy dodatniej i 1 dla klasy ujemnej. Poniżej znajdują się wyniki standardowej notacji (0 dla klasy ujemnej i 1 dla klasy dodatniej):

Pdf i cdf wyniku dla klasy negatywnej: i $f_0(s)$ $F_0(s)$

Pdf i cdf wyniku dla klasy pozytywnej: i $f_1(s)$ $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1} y (x) d x \\ = \int_{0}^{1} y (x (τ)) d x (τ) \\ = \int_{+ \infty}^{- \infty} y (τ) x^{'} (τ) d τ \\ = \int_{+ \infty}^{- \infty} (1 - F_{1} (τ)) (- f_{0} (τ)) d τ \\ = \int_{- \infty}^{+ \infty} (1 - F_{1} (τ)) f_{0} (τ) d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

gdzie oznacza próg. Interpretację można zastosować w odpowiedzi @ alebu do ostatniego wyrażenia. $\tau$

— Lei Huang
źródło

1

Metodą obliczania AUC-ROC jest wykreślenie TPR i FPR jako progu, jest zmienione i obliczenie pola pod tą krzywą. Ale dlaczego ten obszar pod krzywą jest taki sam jak to prawdopodobieństwo? Załóżmy, że: $\tau$

$A$ jest rozkładem wyników, które model wytwarza dla punktów danych, które faktycznie należą do klasy dodatniej.
$B$ jest rozkładem wyników, które model wytwarza dla punktów danych, które faktycznie znajdują się w klasie ujemnej (chcemy, aby było to na lewo od ). $A$
$\tau$ to próg odcięcia. Jeśli punkt danych uzyska wynik większy niż ten, przewiduje się, że należy do klasy dodatniej. W przeciwnym razie przewiduje się, że będzie w klasie negatywnej.

Zauważ, że TPR (przywołanie) jest podane przez: a FPR (opadanie) to: . $P(A>\tau)$ $P(B>\tau)$

Teraz wykreślamy TPR na osi y i FPR na osi x, rysujemy krzywą dla różnych i obliczamy pole pod tą krzywą ( ). $\tau$ $AUC$

Otrzymujemy:

A U C = \int_{0}^{1} T P R (x) d x = \int_{0}^{1} P (A > τ (x)) d x

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$ gdzie jest FPR. Jednym ze sposobów obliczenia tej całki jest uznanie za należącą do rozkładu równomiernego. W takim przypadku staje się po prostu oczekiwaniem .

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} (1) & A U C = E_{x} [P (A > τ (x))] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$ jeśli weźmiemy pod uwagę .

x \sim U [0, 1)

$x \sim U[0,1)$

Teraz tutaj był tylko $x$ $FPR$

x = F P R = P (B > τ (x))

$x=FPR = P(B>\tau(x))$ Ponieważ uważaliśmy, że pochodzi z rozkładu jednolitego,

x

$x$

P (B > τ (x)) \sim U

$P(B>\tau(x)) \sim U$

=> P (B < τ (x)) \sim (1 - U) \sim U

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} (2) & => F_{B} (τ (x)) \sim U \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

Ale wiemy z odwrotnej transformacji prawa , że dla każdej zmiennej losowej , jeśli następnie . Wynika to z faktu, że pobranie dowolnej zmiennej losowej i zastosowanie do niej własnego CDF prowadzi do uzyskania munduru. $X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} (X) = P (F_{X} (x) < X) = P (X < F_{X}^{- 1} (X)) = F_{X} F_{X}^{- 1} (X) = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$ i dotyczy to tylko munduru.

Wykorzystanie tego faktu w równaniu (2) daje nam:

τ (x) \sim B

$\tau(x) \sim B$

Podstawiając to do równania (1) otrzymujemy:

A U C = E_{x} (P (A > B)) = P (A > B)

$AUC=E_x(P(A>B))=P(A>B)$

Innymi słowy, pole pod krzywą to prawdopodobieństwo, że losowa próbka dodatnia będzie miała wyższy wynik niż losowa próbka ujemna.

— ryu576
źródło