Usiłuję zrozumieć wyprowadzenie oczekiwanego błędu prognozy na niższy poziom (ESL), szczególnie na podstawie wyprowadzenia 2.11 i 2.12 (warunkowanie, krok w kierunku minimum punktowego). Wszelkie wskazówki lub linki są mile widziane.
Poniżej raportuję fragment z ESL str. 18. Pierwsze dwa równania to w kolejności równanie 2.11 i 2.12.
Niech oznacza losowy wektor wejściowy o wartościach rzeczywistych, a losową zmienną wyjściową o wartościach rzeczywistych, ze wspólnym rozkładem . Dążyć funkcję dla przewidywania danej wartości wejściowego . Teoria ta wymaga funkcji straty do karania błędów w prognozowaniu, a zdecydowanie najbardziej powszechną i dogodną jest kwadratowa utrata błędów : . To prowadzi nas do kryterium wyboru ,
oczekiwany (przewidywany) błąd prognozowania. Uwzględniając , możemy napisać EPE jako
i widzimy, że wystarczy zminimalizować EPE punktowo:
Rozwiązaniem jest
oczekiwanie warunkowe, znane również jako funkcja regresji .