Test proporcji i binarny klasyfikator

Mam prototypową maszynę do produkcji części.

W pierwszym teście maszyna produkuje części a binarny klasyfikator mówi mi, że części są wadliwe ( , zwykle i ) oraz części są dobre. $N_1$ $d_1$ $d_1 < N_1$ $d_1/N_1<0.01$ $N_1\approx10^4$ $N_1-d_1$

Następnie technik dokonuje zmian w maszynie, aby zmniejszyć liczbę wadliwych części.

W drugim i kolejnym teście zmodyfikowana maszyna wytwarza części a ten sam binarny klasyfikator (nietknięty) mówi mi, że części są wadliwe, w każdym razie jest dość podobne do . $N_2$ $d_2$ $d_2/N_2$ $d_1/N_1$

Technik chciałby wiedzieć, czy jego zmiany są skuteczne.

Zakładając, że klasyfikatory są idealne (jego czułość wynosi 100%, a swoistość wynosi 100%), mogę wykonać test proporcji (z R, po prostu piszę prop.test(c(d1,d2),c(N1,N2))).

Ale klasyfikator nie jest doskonały, więc jak mogę wziąć pod uwagę czułość i specyficzność, zarówno nieznaną, jak i klasyfikatora, aby właściwie odpowiedzieć technikowi?

— Alessandro Jacopson
źródło

Czy potrafisz potwierdzić wskaźnik dokładności klasyfikatora?

— Michelle,

@Michelle Wiem bez błędu

, ale nie wiem ile wadliwe części zostały błędnie sklasyfikowane jako dobra.

d_{1}

$d_1$

d_{2}

$d_2$

— Alessandro Jacopson,

Witaj ponownie. Czy możesz zrobić losową próbkę dobrych części z N1 i N2 oddzielnie, aby oszacować współczynnik fałszywie dodatnich?

— Michelle,

Czy mając te informacje, możesz użyć tej metody do porównania zmian? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract również zobaczyć tutaj ncbi.nlm.nih.gov/pubmed/18224558 i inny pomysł tutaj pełny tekst: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf

— Michelle,

(+1) to świetne pytanie!

— steffen

Czerpię to z pierwszych zasad i dlatego nie jestem pewien, czy to prawda. Oto moje przemyślenia:

EDYCJA: To nie było wcześniej. Zaktualizowałem to.

Niech oznacza oczekiwaną różnicę między rzeczywistą liczbą prawdziwie dodatnich wartości a liczbą wyprowadzoną przez binarny klasyfikator, który nazwiemy $\alpha$ $d_1$ $\hat{d_1}$ $N$ $\alpha$
$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$
$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$
A teraz zróbmy test rekwizytów. W standardowym teście rekwizytów najpierw obliczamy współczynnik sumaryczny zastosowany jako wartość zerową: . Więc tutaj podajemy nasze oszacowania punktowe $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ i $\hat{\frac{d_1}{N_1}}$ $\hat{\frac{d_2}{N_2}}$ $p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$
$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$
$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Kilka uwag na temat interpretacji:

Model może wygenerować wyimaginowane wartości standardowego błędu. Stanie się to, kiedy $p < 0$
Innym sposobem myślenia o tym jest to, że jeśli liczba wadliwych części mieści się w granicach błędu dla klasyfikatora, to oczywiście nie możemy stwierdzić, czy istnieje różnica: nie możemy nawet stwierdzić, czy jakieś części są wadliwe!

Włączenie błędów w oszacowaniu $\alpha$

$\alpha$ $\alpha$

Załóżmy, że chcemy obliczyć przedział ufności z pewnością $h$

Oblicz empirycznie $\frac{h}{2}$ $\alpha$ $\alpha$ $\frac{h}{2}$ $low_l, low_r)$ $(high_l, high_r)$ $\alpha$ $(high_l,low_r)$ (który zawiera oba wcześniejsze przedziały) powinien wynosić (1-h) * 100% CI dla różnicy proporcji ... Myślę, że ...

$\alpha$

— John Doucette
źródło

+1, dziękuję. Czy w 6 napisałeś „statyczny”, czy miałeś na myśli „statystykę”?

— Alessandro Jacopson

p < 0

$p<0$

0 < p < 1

$0<p<1$

0 < p < 1

$0<p<1$

0.01 (N 1 - d 1) \approx 100

$0.01(N1−d1)\approx100$

β = \frac{7}{100}

$\beta=\frac{7}{100}$

β

$\beta$

β

$\beta$ prop.test(7,100)

@uvts_cvs Tak, to powinna być „statystyka”. Zaraz to naprawię. W obliczeniach jest też literówka dla standardowego błędu, który zamiast tego powinien być p * (1-p). P powinno zawsze wynosić <1, chyba że twój klasyfikator jest naprawdę zły, a d jest duży. W przypadku twojego trzeciego komentarza, tak, to jest pomysł. Po prostu nie jestem pewien, jak włączyć tę ocenę do modelu. Może ktoś tu wie?

— John Doucette,

α

$\alpha$

β

$\beta$