Co należy rozumieć przez wariancję * funkcji * w * Wstęp do nauki statystycznej *?

Na str. 34 wstępu do nauki statystycznej : $\newcommand{\Var}{{\rm Var}}$

Choć dowód matematyczny jest poza zakresem tej książki, jest możliwe, aby pokazać, że oczekiwany MSE testy, dla danej wartości , zawsze można rozłożyć na sumę trzech podstawowych ilości: w sprzeczności z , kwadrat Odchylenie od , a wariancja błędu warunki . To jest, $x_0$ $\hat{f}(x_0)$ $\hat{f}(x_0)$ $\varepsilon$

$E {(y_{0} - \hat{f} (x_{0}))}^{2} = V a r (\hat{f} (x_{0})) + [B i a s (\hat{f} (x_{0}))]^{2} + V a r (ε)$ $E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$
[...] Odchylenie odnosi się do ilości, w którym uległaby zmianie, gdyby oszacowano je za pomocą różnych zbiorów danych. $\hat{f}$

Pytanie: Od wydaje się oznaczać wariancji funkcji , co to oznacza formalnie? $\Var\big(\hat{f}(x_0)\big)$

To znaczy, jestem zaznajomiony z koncepcją wariancji zmiennej losowej , ale co z wariancją zestawu funkcji? Czy można to traktować jako wariancję innej zmiennej losowej, której wartości przyjmują postać funkcji? $X$

machine-learning variance

— Jerzy
źródło

Biorąc pod uwagę, że za każdym razem,

pojawia się w formule została zastosowana do „danej wartości”

, wariancja odnosi się do liczby

, a nie

sama. Ponieważ liczba ta została prawdopodobnie opracowana na podstawie danych modelowanych zmiennymi losowymi, jest ona również zmienną losową (o wartości rzeczywistej). Obowiązuje zwykła koncepcja wariancji.

\hat{f}

$\hat f$

x_{0}

$x_0$

\hat{f} (x_{0})

$\hat{f}(x_0)$

\hat{f}

$\hat{f}$

— whuber

Widzę. Więc

zmienia (różnej w różnych zestawów danych szkolenia), ale nadal wyglądają na wariancji

sami.

\hat{f}

$\hat{f}$

\hat{f} (x_{0})

$\hat{f}(x_0)$

— George

Kto jest autorem tego podręcznika? Chciałem sam nauczyć się tego tematu i bardzo doceniam twoje referencje.

— Chill2Macht

@WilliamKrinsman To jest książka: www-bcf.usc.edu/~gareth/ISL

— Matthew Drury

Odpowiedzi:

Twoja korespondencja z @whuber jest poprawna.

Algorytm uczenia się może być postrzegany jako funkcja wyższego poziomu, odwzorowująca zestawy szkoleniowe na funkcje. $\mathcal{A}$

A : T \to {f ∣ f : X \to R}

$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$

gdzie jest przestrzenią możliwych zestawów treningowych. Może to być nieco owłosione koncepcyjnie, ale w zasadzie każdy zestaw treningowy daje wyniki, po zastosowaniu algorytmu modelowania treningu, w funkcji specyficznej której można użyć do prognozowania na podstawie punktu danych . $\mathcal{T}$ $f$ $x$

Jeśli spojrzymy na przestrzeń zbiorów treningowych jako przestrzeń prawdopodobieństwa, tak że istnieje pewien rozkład możliwych zbiorów danych treningowych, wówczas algorytm modelowania szkolenia staje się zmienną losową o wartości funkcji i możemy myśleć o pojęciach statystycznych. W szczególności, jeśli naprawimy określony punkt danych , otrzymamy losową zmienną o wartości liczbowej $x_0$

A_{x_{0}} (T) = A (T) (x_{0})

$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$

To znaczy najpierw wytrenuj algorytm na , a następnie oceń uzyskany model na . To jest po prostu stara, ale raczej genialnie skonstruowana, losowa zmienna w przestrzeni prawdopodobieństwa, więc możemy mówić o jej wariancji. To jest różnica w twojej formule od ISL. $T$ $x_0$

— Matthew Drury
źródło

Interpretacja wizualna przy użyciu powtarzanych kfolds

Aby dać wizualną / intuicyjną interpretację odpowiedzi @Matthew Drury, rozważ następujący przykład zabawki.

Dane są generowane z hałaśliwej krzywej sinusoidalnej: „True hałas” $f(x) \ +$
Dane są podzielone między próbki szkoleniowe i testowe (75% - 25%)
Wzór liniowa (wielomian) jest dopasowana do danych $\hat f(x)$
Proces ten powtarza się wiele razy przy użyciu tych samych danych (tj. Dzielenie treningu - losowe testowanie przy użyciu powtarzanego kfold Sklearm)
Generuje to wiele różnych modeli, na podstawie których obliczamy średnią i wariancję w każdym punkcie jak również we wszystkich punktach. $x=x_i$

Poniższe wykresy przedstawiają model wielomianowy stopnia 2 i stopnia 6. Na pierwszy rzut oka wydaje się, że wyższy wielomian (czerwony) ma większą wariancję.

Twierdzenie, że czerwony wykres ma większą wariancję - eksperymentalnie

$\hat f_g$ $\hat f_r$ $\hat f^{(i)}$ $n$ $x$ $m$ $n = 400$ $m = 200$

Widzę trzy główne scenariusze

$x = x_0$ $Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
The variance in $(1)$ is greater for all points $\{ x_1,...,x_{400} \}$ in the range $(0,1)$
The variance is greater on average (i.e. may be smaller for some points)

In the case of this toy example, all three scenarios hold true over the range $(0,1)$ which justifies the argument that the higher order polynomial fit (in red) has higher variance than the lower order polynomial (in green).

An open ended conclusion

What should be argued when the above three scenarios do not all hold. For example, what if the variance of the red predictions is greater on average, but not for all points.

Details of the labels

Consider point $x_0 = 0.5$

The error bar is the range between min and max of $\hat f(x_0)$
The variance is computed at $x_0$
True $f(x)$ is the dotted blue line

— Xavier Bourret Sicotte
źródło

I like this idea of illustrating a concept using pictures. I wonder about two aspects of your post, though, and hope you might be able to address them. First, could you more explicitly explain how these plots show the "variance of a function"? Second, it's not at all clear that the red plot exhibits "greater variance" or even that the two plots are amenable to such a simplistic comparison. Consider the vertical spread of red values above

x = 0.95,

$x=0.95,$ for instance, and compare that to the spread of the green values at the same point: the red ones look a little less spread than the green ones.

— whuber

My point is not whether it's possible to read your plots with high precision: it's that the meaning of comparing two such plots as if one could be considered of "higher" or "lower" variance than the other is questionable, given the possibility that for some ranges of

x

$x$ the variances of the predictions will be higher in one plot and for other ranges of

x

$x$ the variances will be lower.

— whuber

Yes I agree - I have edited the post to reflect your comments

— Xavier Bourret Sicotte