Rozkład wariancji odchylenia

W sekcji 3.2 Rozpoznawania wzorców i uczenia maszynowego Bishopa omawia dekompozycję wariancji odchylenia, stwierdzając, że dla funkcji straty kwadratowej oczekiwana strata może zostać rozłożona na wartość kwadratową błędu (która opisuje, jak daleko średnie prognozy są od prawdziwej model), termin wariancji (który opisuje rozkład prognoz wokół średniej) i termin szumu (który daje wewnętrzny szum danych).

Czy dekompozycję wariancji odchylenia wstępnego można przeprowadzić z funkcjami strat innymi niż strata kwadratowa?
Czy dla danego zestawu danych modelu istnieje więcej niż jeden model, którego oczekiwana strata jest minimalna we wszystkich modelach, a jeśli tak, to czy to oznacza, że mogą istnieć różne kombinacje odchylenia i wariancji, które przyniosą taką samą minimalną oczekiwaną stratę?
Jeśli model obejmuje regularyzację, to czy istnieje matematyczny związek między stronniczością, wariancją i współczynnikiem regularyzacji ? $\lambda$
Jak obliczyć błąd systematyczny, jeśli nie znasz prawdziwego modelu?
Czy istnieją sytuacje, w których bardziej sensowne jest zminimalizowanie stronniczości lub wariancji niż oczekiwanej straty (suma kwadratowej stronniczości i wariancji)?

— Vivek Subramanian
źródło

... oczekiwana strata [błąd kwadratu] może zostać rozłożona na kwadratowy błąd polaryzacji (który opisuje, jak daleko średnie prognozy są od prawdziwego modelu), wariacja wariancji (która opisuje rozkład prognoz wokół średniej), i termin szum (który daje wewnętrzny szum danych).

Patrząc na rozkład kwadratu utraty strat Widzę tylko dwa terminy: jeden dla odchylenia i drugi dla wariancji estymatora lub predyktora, . W oczekiwanej stracie nie ma dodatkowego terminu hałasu. Tak jak powinno być, ponieważ zmienność jest zmiennością , a nie samej próbki.

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

Czy dekompozycję wariancji odchylenia wstępnego można przeprowadzić z funkcjami strat innymi niż strata kwadratowa?

Moja interpretacja rozkładu odchylenia kwadratowego + wariancji [i sposobu, w jaki go uczę] jest taka, że jest to statystyczny odpowiednik twierdzenia Pythagore'a, a mianowicie, że kwadratowa odległość między estymatorem a punktem w określonym zbiorze jest sumą kwadratowej odległości między estymatorem a zbiorem plus kwadratowa odległość między rzutem prostopadłym na zbiorze a punktem w zbiorze. Każda strata oparta na odległości z n Dla danego zestawu danych modelu istnieje więcej niż jeden model, którego spodziewana strata jest minimalna dla wszystkich modeli, a jeśli tak, to znaczy, że mogą istnieć różne kombinacje odchyleń i wariancji, które dają taka sama minimalna oczekiwana utrata projekcji ortogonalnej, tj. iloczyn wewnętrzny, tj. zasadniczo przestrzenie Hilberta, spełnia ten rozkład.

Czy dla danego zestawu danych modelu istnieje więcej niż jeden model, którego oczekiwana strata jest minimalna we wszystkich modelach, a jeśli tak, to czy to oznacza, że mogą istnieć różne kombinacje odchylenia i wariancji, które przyniosą taką samą minimalną oczekiwaną stratę?

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

Jak obliczyć błąd systematyczny, jeśli nie znasz prawdziwego modelu?

W ogólnym ujęciu odchylenie to odległość między modelem prawdziwym a najbliższym modelem w ramach przyjętej rodziny rozkładów. Jeśli prawdziwy model nie jest znany, błąd można ustalić za pomocą bootstrap.

Czy istnieją sytuacje, w których bardziej sensowne jest zminimalizowanie stronniczości lub wariancji niż oczekiwanej straty (suma kwadratowej stronniczości i wariancji)?

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— Xi'an
źródło

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

\hat{f}

$\hat f$

ϵ

$\epsilon$

Hmm, oczywiście masz rację. Ale myślę, że ten problem jest artefaktem mojej niechlujnej pochodnej. Sprawdź s.223 ESLII

— Miguel,

ϵ

$\epsilon$

\hat{f}

$\hat{f}$