Matematyczna / algorytmiczna definicja nadmiernego dopasowania

Czy istnieje matematyczna lub algorytmiczna definicja nadmiernego dopasowania?

Często podawanymi definicjami są klasyczny dwuwymiarowy wykres punktów z linią przechodzącą przez każdy punkt, a krzywa utraty walidacji nagle rośnie.

Ale czy istnieje matematycznie rygorystyczna definicja?

Tak, istnieje (nieco bardziej) rygorystyczna definicja:

Biorąc pod uwagę model z zestawem parametrów, można powiedzieć, że model przepełnia dane, jeśli po pewnej liczbie kroków treningowych błąd szkolenia nadal maleje, podczas gdy błąd próby (testu) zaczyna się zwiększać.

^{W tym przykładzie błąd poza próbą (test / walidacja) najpierw maleje w synchronizacji z błędem pociągu, a następnie zaczyna rosnąć około 90. epoki, czyli kiedy zaczyna się przeładowanie}

Innym sposobem na spojrzenie na to jest pod względem stronniczości i wariancji. Błąd braku próby dla modelu można rozłożyć na dwa składniki:

• Odchylenie: Błąd ze względu na to, że oczekiwana wartość z oszacowanego modelu różni się od oczekiwanej wartości prawdziwego modelu.
• Wariancja: błąd związany z wrażliwością modelu na niewielkie wahania w zestawie danych.

Przeregulowanie występuje, gdy stronniczość jest niska, ale wariancja jest wysoka. Dla zbioru danych którym prawdziwym (nieznanym) modelem jest:$X$

$Y = f(X) + \epsilon$ - jest nieredukowalnym szumem w zbiorze danych, przy czym i , $\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

a model szacowany to:

$\hat{Y} = \hat{f}(X)$ ,

wówczas błąd testu (dla punktu danych testowych ) można zapisać jako:$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

z i $Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

(Ściśle mówiąc, ten rozkład ma zastosowanie w przypadku regresji, ale podobny rozkład działa dla każdej funkcji straty, tj. Również w przypadku klasyfikacji).

Obie powyższe definicje są powiązane ze złożonością modelu (mierzoną liczbą parametrów w modelu): im wyższa złożoność modelu, tym większe prawdopodobieństwo wystąpienia nadmiernego dopasowania.

Patrz rozdział 7 elementów Statystycznego Learning rygorystyczną matematycznego traktowania tematu.

^{Odchylenie odchylenia wstępnego i wariancja (tj. Nadmierne dopasowanie) rosną wraz ze złożonością modelu. Zaczerpnięte z ESL, rozdział 7}