Jaka jest reguła .632+ podczas ładowania?

Tutaj @gung odnosi się do reguły .632+. Szybkie wyszukiwanie w Google nie daje łatwej do zrozumienia odpowiedzi na pytanie, co oznacza ta reguła i do jakiego celu jest używana. Czy ktoś mógłby wyjaśnić zasadę .632+?

Przejdę do estymatora 0.632, ale będzie to nieco długi rozwój:

Załóżmy, że chcemy przewidzieć z za pomocą funkcji , gdzie może zależeć od niektórych parametrów, które są szacowane przy użyciu danych , np.X f f ( Y , X$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Naiwnym oszacowaniem błędu prognozowania jest gdzie jest pewną funkcją straty, np. Kwadratową utratą błędu. Jest to często nazywane błędem treningowym. Efron i in. nazywa to pozornym poziomem błędu lub wskaźnikiem ponownego podstawienia. Nie jest to zbyt dobre, ponieważ wykorzystujemy nasze dane do dopasowania . Powoduje to, że jest tendencyjny w dół. Chcesz wiedzieć, jak dobrze twój model radzi sobie z przewidywaniem nowych wartości.

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Często używamy walidacji krzyżowej jako prostego sposobu oszacowania oczekiwanego błędu prognozowania poza próbą (jak dobrze nasz model radzi sobie z danymi, których nie ma w naszym zestawie szkoleniowym?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Popularnym sposobem na to jest przeprowadzanie krzyżowej weryfikacji -fold. Podziel swoje dane na grup (np. 10). Dla każdej grupy dopasuj swój model do pozostałych grup i przetestuj go na tej grupie. Nasz zweryfikowany krzyżowo błąd prognozy dla dodatkowych próbek to tylko średnia gdzie jest jakąś funkcją indeksu, która wskazuje partycję, do której przydzielona jest obserwacja a to przewidywana wartość przy użyciu danych spoza zestawu .$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Estymator około obiektywne dla prawdziwego błąd przewidywania, gdy i ma większą zmienność i jest bardziej kosztowne obliczeniowo na większej . Zatem po raz kolejny widzimy kompromis między odchyleniem a wariancją.$K=N$$K$

Zamiast weryfikacji krzyżowej moglibyśmy użyć ładowania początkowego, aby oszacować błąd przewidywania dodatkowej próby. Ponowne próbkowanie Bootstrap można wykorzystać do oszacowania rozkładu próbkowania dowolnej statystyki. Jeśli nasze dane treningowe to , możemy pomyśleć o pobraniu próbek bootstrap (z wymianą) z tego zestawu gdzie każdy jest zbiorem próbek. Teraz możemy użyć naszych próbek ładowania początkowego, aby oszacować błąd przewidywania dodatkowej próby: gdzie to przewidywana wartość w z modelu dopasowanego do$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ zestaw danych ładowania początkowego. Niestety nie jest to szczególnie dobry estymator, ponieważ próbki bootstrap użyte do wytworzenia mogły zawierać . estymator ładowania początkowego oferuje ulepszenie poprzez naśladowanie weryfikacji krzyżowej i jest zdefiniowany jako: gdzie to zestaw wskaźników dla próbek bootstrap, które nie zawierają obserwacji orazto liczba takich próbek. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ i | C - i | E r r b o o t ( 1 ) 0,632 N E r r .632 = 0,368 ¯ e r r + 0,632 E r r b o o t ( 1 ) ¯ e r r = $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$rozwiązuje problem nadmiernego dopasowania, ale nadal jest tendencyjny (ten jest tendencyjny w górę). Błąd ten wynika z nierozróżnialnych obserwacji w próbkach paska startowego, które wynikają z próbkowania z wymianą. Średnia liczba odrębnych obserwacji w każdej próbce wynosi około (w tej odpowiedzi wyjaśniono, dlaczego średnio każda próbka ładowania początkowego zawiera około dwóch trzecich obserwacji? ). Aby rozwiązać problem błędu, Efron i Tibshirani zaproponowali estymator 0,632: gdzie$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ jest naiwnym oszacowaniem błędu prognozowania, często nazywanego błędem treningowym. Chodzi o uśrednienie szacunków tendencyjnych w dół i ocen tendencyjnych w górę.

Jeśli jednak mamy wysoce przewidywaną funkcję przewidywania (tj. Overline ), to nawet estymator .632 będzie tendencyjny w dół. Estymator .632+ został zaprojektowany tak, aby był mniej tendencyjnym kompromisem między i . with gdzie to poziom błędu braku informacji, oszacowany na podstawie oceny modelu prognozowania dla wszystkich możliwych kombinacji kieruje na i predyktory .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Tutaj mierzy względną częstość przeładowania. Jeśli nie ma przeregulowania (R = 0, gdy ) jest to równe estymatorze .632.$R$$Err_{boot(1)} = \overline{err}$

Więcej informacji znajdziesz w części 3 tego ¹ artykułu. Podsumowując, jeśli nazywasz próbą liczb z losowanych i zastępowanych, zawiera średnio około unikalne elementy.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Rozumowanie jest następujące. Wypełniamy próbkując razy (losowo i zamiennie) z . Rozważ konkretny indeks . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Następnie:

$$P(s_i=m)=1/n$$

i

$$P(s_i\neq m)=1-1/n$$

i to prawda (intuicyjnie, ponieważ próbujemy z zamianą, prawdopodobieństwo nie zależy od )$\forall 1\leq i \leq n$$i$

a zatem

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Możesz również przeprowadzić tę małą symulację, aby sprawdzić empirycznie jakość aproksymacji (która zależy od ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron i Robert Tibshirani (1997). Ulepszenia walidacji krzyżowej: metoda Bootstrap .632+ . Journal of the American Statistics Association , t. 92, nr 438, s. 548--560.

Z mojego doświadczenia, opartego głównie na symulacjach, warianty bootstrapu 0,632 i 0,632+ były potrzebne tylko z powodu poważnych problemów spowodowanych użyciem niewłaściwej reguły punktacji dokładności, a mianowicie odsetka „sklasyfikowanego” poprawnie. Gdy używasz prawidłowych (np. Wynik oparty na dewiacji lub wynik Briera) lub półprawidłowych (np. -index = AUROC) reguł, standardowy bootstrap optymizmu Efron-Gong działa dobrze.$c$

Te odpowiedzi są bardzo przydatne. Nie mogłem znaleźć sposobu na zademonstrowanie tego za pomocą matematyki, więc napisałem trochę kodu w języku Python, który działa całkiem dobrze:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)