Problem z dowodem warunkowego oczekiwania jako najlepszego predyktora

19

Mam problem z dowodem

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

które najprawdopodobniej ujawnią głębsze nieporozumienie oczekiwań i oczekiwań warunkowych.

Dowód, który znam, wygląda następująco (inną wersję tego dowodu można znaleźć tutaj )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

Dowód zwykle kontynuuje argument, który pokazuje, że $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ , a zatem

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

co można zminimalizować, gdy $g(X) = E(Y|X)$ .

Moje zagadki dotyczące dowodu są następujące:

Rozważać

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Wydaje mi się, że niezależnie od argumentów wskazujących, że pierwszy składnik jest zawsze równy zero, widać, że ustawienie $g(X) = E(Y|X)$ minimalizuje wyrażenie, ponieważ implikuje $\big(E(Y|X) - g(X)\big) =0$ i stąd

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Ale jeśli to prawda, wówczas można powtórzyć dowód zastępując dowolną inną funkcją , powiedzmy , i dojdziemy do wniosku, że minimalizuje wyrażenie. Więc musi być coś, co źle zrozumiałem (prawda?). $E(Y|X)$ $X$ $h(X)$ $h(X)$

Mam wątpliwości co do znaczenia w opisie problemu. Jak należy interpretować notację? Czy to znaczy $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , czy ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Martin Van der Linden
źródło

11

(Jest to adaptacja Granger & Newbold (1986) „Forecasting Economic Time Series”).

Z funkcja kosztu błędu to . Obejmuje to krytyczne założenie (że funkcja kosztu błędu jest symetryczna wokół zera) - inna funkcja kosztu błędu niekoniecznie miałaby warunkową wartość oczekiwaną jako jego wartości oczekiwanej. Nie można zminimalizować funkcji kosztu błędu, ponieważ zawiera ona nieznane ilości. Dlatego zdecydujesz się zminimalizować jego oczekiwaną wartość. Wtedy twoja funkcja celu staje się $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

który moim zdaniem odpowiada również na twoje drugie pytanie. Jest intuicyjny, że wartość oczekiwana będzie uwarunkowane , ponieważ staramy się oszacować prognozy / na podstawie . Rozłóż kwadrat, aby uzyskać $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

Pierwszy termin nie zawiera więc nie wpływa na minimalizację i można go zignorować. Całka w drugim członie jest równa warunkowej oczekiwanej wartości dla , a całka w ostatnim członie jest równa jedności. Więc $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

Pierwsza pochodna wrt to co prowadzi do warunku pierwszego rzędu dla minimalizacji podczas gdy druga pochodna jest równa co wystarcza na minimum. $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

DODATEK: Logika podejścia potwierdzającego „dodawanie i odejmowanie”.

OP jest zaskoczony podejściem podanym w pytaniu, ponieważ wydaje się tautologiczne. Nie jest tak, ponieważ podczas korzystania z taktyki dodawania i odejmowania określona część funkcji celu wynosi zero dla dowolnego wyboru terminu, który jest dodawany i odejmowany, NIE wyrównuje funkcji wartości , a mianowicie wartości celu funkcja oceniana na minimalizatorze kandydata.

Do wyboru mamy funkcję wartości Dla dowolnego wyboru mamy wartość funkcji . $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Twierdzę to

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + mi [(h (X))^{2)} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

Pierwsza kadencja LHS i RHS anuluje się. Należy również pamiętać, że zewnętrzna oczekiwanie jest uzależnione od . Na podstawie właściwości warunkowych oczekiwań się kończy $X$

. . . \Rightarrow - 2) mi (Y ∣ X) \cdot mi (Y ∣ X) + [mi (Y ∣ X)]^{2)} \leq - 2) mi (Y ∣ X) h (X) + [h (X)]^{2)}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [mi (Y ∣ X)]^{2)} - 2) mi (Y ∣ X) h (X) + [h (X)]^{2)}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [mi (Y ∣ X) - h (x)]^{2)}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ który zachowuje ścisłą nierówność, jeśli . Tak więc jest globalnym i unikalnym minimalizatorem.

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

Ale to także mówi, że podejście polegające na dodawaniu i odejmowaniu nie jest tutaj najbardziej pouczającym dowodem.

— Alecos Papadopoulos
źródło

Dziękuję za odpowiedź. Pomaga wyjaśnić moje drugie pytanie. Jak starałem się przekazać w tytule pytania, moje główne zagadnienie (pierwsze w poście) dotyczyło raczej mechanizmu dowodu. Moją główną troską jest zrozumienie dowodu przedstawionego w pytaniu. Jak wyjaśniłem, moje zrozumienie dowodu prowadzi mnie do rażąco problematycznego stwierdzenia. Chciałbym więc zrozumieć, że mój błąd jest taki, ponieważ może ujawnić głębsze nieporozumienia dotyczące koncepcji oczekiwania i warunkowego oczekiwania. Masz jakieś przemyślenia na ten temat?

— Martin Van der Linden

1

Dodałem wyjaśnienie dotyczące podejścia „dodawaj i odejmuj” do dowodu.

— Alecos Papadopoulos

Zajęło mi trochę czasu, aby to zrozumieć, ale w końcu dostałem swój podstawowy błąd: wystarczająco prawdziwy gdy , ale w żadnym wypadku nie oznacza to, że minimalizuje wyrażenie . Nie ma powodu, dla którego wyrażenie w nawiasach nie może być niższe niż zero. Ze względu na znak minus przed można znaleźć trochę przykład .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden,

1

Hmmm ... znak minus w wyrażeniu, do którego się odwołujesz, jest błędem - powinien to być znak plus. Mógłbyś oczywiście zmienić układ warunków, aby uzyskać znak minus ... czy to szkodzi uzyskanej intuicji?

— Alecos Papadopoulos

Dzięki za dotrzymanie pytania. Zredagowałem początkowy post, aby poprawić ten błąd. Na szczęście myślę, że nie zaszkodzi nabytej intuicji. Właściwie to pomaga mi zrozumieć kolejny błąd: zakładałem, że znak minus był ważny, aby zagwarantować, że niekoniecznie musi być minimum . Ale zdaję sobie sprawę, że nie chodzi tylko o znak przed 2. (Mam nadzieję) Naprawdę musiałem zrozumieć, że ogólnie (tj. Dla dowolnego ) nie musi być minimalizowana, gdy (prawda?).

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden

5

Pamiętaj, że aby potwierdzić odpowiedź, naprawdę musisz to tylko pokazać

mi [- 2) (Y - mi (Y | X)) (mi (Y | X) - sol (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

Jeśli chodzi o to, jakie oczekiwania przyjąć, przyjmujesz je warunkowo, w przeciwnym razie termin

\arg min_{sol (X)} mi [(Y - sol (X))^{2)}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

Nie ma sensu, ponieważ jest zmienną losową, jeśli to a nie . Pokaż, że naprawdę powinieneś pisać lub aby to wyjaśnić. Biorąc pod uwagę to wyjaśnienie, termin jest stałą i można go wyciągnąć poza oczekiwania, a Ty masz: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2) (mi (Y | X) - sol (X)) mi [(Y - mi (Y | X)) | X] = - 2) (mi (Y | X) - sol (X)) [mi (Y | X) - mi [mi (Y | X) | X]] = - 2) (mi (Y | X) - sol (X)) [mi (Y | X) - mi (Y | X)] = 0

Dlatego możesz napisać funkcję celu jako:

{mi}_{Y | X} [(Y - sol (X))^{2)}] = {mi}_{Y | X} [(Y - {mi}_{Y | X} (Y | X))^{2)}] + ({mi}_{Y | X} (Y | X) - sol (X))^{2)}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

Minimalizator jest stąd oczywisty. Zauważ, że jeśli miałbyś także średnią ponad , możesz użyć bardzo podobnego argumentu, aby pokazać: $X$

{mi}_{X} [(mi (Y | X) - sol (X))^{2)}] = {mi}_{X} [({mi}_{Y | X} (Y | X) - {mi}_{X} [{mi}_{Y | X} (Y | X)])^{2)}] + ({mi}_{X} [{mi}_{Y | X} (Y | X)] - {mi}_{X} [sol (X)])^{2)}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

To pokazuje, że jeśli ustawisz dla każdego , to masz również minimalizator nad tą funkcją. W pewnym sensie tak naprawdę nie ma znaczenia, czy to czy . $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— prawdopodobieństwo prawdopodobieństwa
źródło

3

Jest matematyczny punkt widzenia, który jest bardzo prosty. To, co masz, to problem z rzutowaniem w przestrzeni Hilberta, podobnie jak rzutowanie wektora w na podprzestrzeń. $\mathbb{R}^n$

Niech oznacza podstawową przestrzeń prawdopodobieństwa. Aby problem miał sens, rozważ zmienne losowe o skończonych drugich momentach, to znaczy przestrzeń Hilberta . Problem jest teraz następujący: biorąc , znajdź rzut na podprzestrzeń , w którym jest -subalgebra o generowane przez . (Podobnie jak w przypadku skończonych wymiarów, minimalizacja odległości do podprzestrzeni oznacza znalezienie rzutu). Pożądana projekcja to $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ według konstrukcji. (To faktycznie charakteryzuje , jeśli ktoś sprawdza dowód istnienia). $E(X|Y)$

— Michael
źródło

To piękna odpowiedź.

— jII

0

Jeśli chodzi o twoje ostatnie pytanie, oczekiwaniem może być albo wrt (błąd bezwarunkowy), albo wrt (błąd warunkowy przy każdej wartości ). Na szczęście minimalizacja błędu warunkowego przy każdej wartości również minimalizuje błąd bezwarunkowy, więc nie jest to istotne rozróżnienie. $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
źródło