Jaka intuicja kryje się za warunkowymi rozkładami Gaussa?

Załóżmy, że $\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$ . Następnie rozkład warunkowy $X_1$ biorąc pod uwagę, że $X_2 = x_2$ jest rozkładem wielowymiarowym normalnie rozkładanym ze średnią:

$$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$$

i wariancja:

$${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$$

Ma to sens, że wariancja zmniejszy się, ponieważ mamy więcej informacji. Ale jaka intuicja kryje się za tą średnią formułą? W jaki sposób kowariancja między $X_1$ a $X_2$ wpływa na średnią warunkową?

Streszczenie

Każde stwierdzenie w pytaniu może być rozumiane jako właściwość elips. Tylko nieruchomość szczególności z dwuwymiarowym rozkładzie normalnym, co jest potrzebne, jest fakt, że w standardowym dwuwymiarowym rozkładzie normalnym z --for którym X i Y są nieskorelowane - warunkowa wariancja Y nie zależy od X . (To z kolei jest bezpośrednią konsekwencją faktu, że brak korelacji implikuje niezależność dla zmiennych normalnych łącznie).$X,Y$$X$$Y$$Y$$X$

Poniższa analiza pokazuje dokładnie, jaka właściwość elips jest zaangażowana, i wyprowadza wszystkie równania pytania za pomocą elementarnych pomysłów i najprostszej możliwej arytmetyki, w sposób, który można łatwo zapamiętać.

---

Rozkłady symetryczne kołowo

Rozkład pytania jest członkiem rodziny dwuwymiarowych rozkładów normalnych. Wszystkie pochodzą od podstawowego elementu, standardowej dwuwymiarowej normalnej, która opisuje dwa nieskorelowane standardowe rozkłady normalne (tworzące dwie współrzędne).

Lewa strona to wykres reliefowy standardowej dwuwymiarowej normalnej gęstości. Prawa strona pokazuje to samo w pseudo-3D, z wyciętą przednią częścią.

Jest to przykład kołowo-symetrycznego rozkładu: gęstość zmienia się wraz z odległością od centralnego punktu, ale nie z kierunkiem oddalonym od tego punktu. Zatem kontury jego wykresu (po prawej) są okręgami.

Większość innych dwuwymiarowych rozkładów normalnych nie jest jednak kołowo symetrycznych: ich przekroje są elipsami. Te elipsy modelują charakterystyczny kształt wielu dwuwymiarowych chmur punktów.

Są to portrety dwuwymiarowego rozkładu normalnego z macierzą kowariancji Jest to model danych z współczynnikiem korelacji-2/3.$\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$$-2/3$

---

Jak tworzyć elipsy

Elipsa - zgodnie z jej najstarszą definicją - jest sekcją stożkową, która jest okręgiem zniekształconym przez rzut na inną płaszczyznę. Biorąc pod uwagę naturę projekcji, tak jak robią to artyści wizualni, możemy ją rozłożyć na sekwencję zniekształceń, które są łatwe do zrozumienia i obliczenia.

Najpierw rozciągnij (lub, jeśli to konieczne, ściśnij) okrąg wzdłuż tego, co stanie się długą osią elipsy, aż uzyska odpowiednią długość:

Następnie ściśnij (lub rozciągnij) tę elipsę wzdłuż jej mniejszej osi:

Po trzecie, obróć go wokół środka do ostatecznego ustawienia:

Na koniec przenieś go w wybrane miejsce:

To wszystko są afiniczne transformacje. (W rzeczywistości pierwsze trzy są transformacjami liniowymi ; ostatnie przesunięcie sprawia, że ​​afinuje.) Ponieważ skład transformacji afinicznych jest (z definicji) wciąż afiniczny, zniekształcenie netto od koła do końcowej elipsy jest transformacją afiniczną. Ale może to być nieco skomplikowane:

Zwróć uwagę na to, co stało się z (naturalnymi) osiami elipsy: po utworzeniu przez przesunięcie i ściśnięcie, (oczywiście) obróciły się i przesunęły wraz z samą osią. Z łatwością widzimy te osie, nawet jeśli nie są narysowane, ponieważ są one osiami symetrii samej elipsy.

Chcielibyśmy zastosować nasze rozumienie elips do zrozumienia zniekształconych kołowo symetrycznych rozkładów, takich jak dwuwymiarowa rodzina Normal. Niestety, nie ma problemu z tymi zakłóceniami : oni nie szanują rozróżnienie między i y osi. Rotacja w kroku 3 rujnuje to. Spójrz na słabym współrzędnych siatek w środowisk: te pokazują, co dzieje się z siatki (siatki 1 /$x$$y$$1/2$w obu kierunkach), gdy jest zniekształcony. Na pierwszym zdjęciu odstęp między oryginalnymi pionowymi liniami (pokazanymi jako ciągłe) jest podwojony. Na drugim zdjęciu odstęp między oryginalnymi poziomymi liniami (pokazanymi przerywanymi) zmniejsza się o jedną trzecią. Na trzecim zdjęciu odstępy między siatkami nie są zmieniane, ale wszystkie linie są obracane. Przesuwają się w górę i w prawo na czwartym zdjęciu. Ostateczny obraz, pokazujący wynik netto, pokazuje tę rozciągniętą, ściśniętą, obróconą, przesuniętą siatkę. Oryginalne linie ciągłe o stałej współrzędnej nie są już pionowe.$x$

Kluczową ideą - można zaryzykować stwierdzenie, że jest to sedno regresji - jest sposób, w jaki okrąg można zniekształcić w elipsę bez obracania linii pionowych . Ponieważ przyczyną była rotacja, przejdźmy do sedna sprawy i pokażmy, jak stworzyć obróconą elipsę, bez faktycznego obracania czegokolwiek !

To jest transformacja skośna. W rzeczywistości robi dwie rzeczy naraz:

• Ściska w kierunku ( powiedzmy o wartość λ ). To pozostawia oś X w spokoju.$y$$\lambda$$x$

• Podnosi każdy wynikowy punkt o kwotę wprost proporcjonalną do x . Zapisując tę ​​stałą proporcjonalności jako ρ , wysyła ( x , y ) do ( x , y + ρ x ) .$(x,y)$$x$$\rho$$(x,y)$$(x, y+\rho x)$

Drugi krok podnosi oś do linii y = ρ x , jak pokazano na poprzednim rysunku. Jak pokazano na tym rysunku, chcę pracować ze specjalną transformacją pochylenia, która skutecznie obraca elipsę o 45 stopni i wpisuje ją w kwadrat jednostki. Główną osią tej elipsy jest linia y = x . Jest wizualnie oczywiste, że | ρ | ≤ 1 . (Ujemne wartości ρ przechylają elipsę w prawo, a nie w prawo.) To geometryczne wyjaśnienie „regresji do średniej”.$x$$y=\rho x$$y=x$$|\rho| \le 1$$\rho$

Wybranie kąta 45 stopni powoduje, że elipsa jest symetryczna wokół przekątnej kwadratu (część linii ). Aby obliczyć parametry tej transformacji skośnej, obserwuj:$y=x$

• Podnoszenie o przesuwa punkt ( 1 , 0 ) do ( 1 , ρ ) .$\rho x$$(1,0)$$(1,\rho)$

• Symetria wokół głównej przekątnej oznacza, że ​​punkt również leży na elipsie.$(\rho, 1)$

Gdzie zaczął się ten punkt?

• Pierwotny (górny) punkt na okręgu jednostkowym (mający równanie niejawne ) o współrzędnej x ρ wynosił ( ρ , $x^2+y^2=1$$x$$\rho$.$(\rho, \sqrt{1-\rho^2})$

• Dowolny punkt formy najpierw został ściśnięty do ( ρ , λ y ), a następnie podniesiony do ( ρ , λ y + ρ × ρ ) .$(\rho, y)$$(\rho, \lambda y)$$(\rho, \lambda y + \rho\times\rho)$

Unikalne rozwiązanie równania toλ=$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$ . Jest to wielkość, o którą wszystkie odległości w kierunku pionowym muszą zostać ściśnięte, aby utworzyć elipsę pod kątem 45 stopni, gdy jest ona przekrzywiona w pionie oρ.$\lambda = \sqrt{1-\rho^2}$$\rho$

$\rho$$0,$ $3/10,$ $6/10,$$9/10,$

$\rho$

---

Podanie

Jesteśmy gotowi na regresję. Standardową, elegancką (ale prostą) metodą regresji jest najpierw wyrażenie oryginalnych zmiennych w nowych jednostkach miary: skupiamy je na ich średnich wartościach i używamy ich standardowych odchyleń jako jednostek. To przesuwa środek rozkładu do początku i powoduje, że wszystkie jego eliptyczne kontury są nachylone o 45 stopni (w górę lub w dół).

$x$$0$$x$$0$$y$$\sqrt{1-\rho^2}$$\rho$$x$$\rho x$$x$

• $y$$0$

• $\rho x$$x$$\rho x$$y=\rho x$

$x$$y=\rho x$

$x$

Możemy łatwo powiedzieć więcej:

• $(X,Y)$$Y|X$$\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$

• $\sqrt{1-\rho^2}$$\rho x$

$1$$x$$1-\rho^2$

$\rho$$\Sigma$$X$$Y$$XY$$X$$Y$$(X,Y)$

$$\varepsilon = Y - \rho X$$

$\varepsilon$$0$$Y$$0$$\rho X$$\rho X$

$x$$\rho = -1/2$

w konsekwencji

$$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$$

$X$$1$$X\varepsilon$$X(-\varepsilon)$$\varepsilon$$0$

$\rho$$X$$Y$

---

Wnioski

$x$$(X,Y)$$x$$y$$\mu_x$$\mu_y$$\sigma_x$$\sigma_y$

• $(\mu_x,\mu_y)$

• $\{(x, \rho x)\},$

• $\rho$$\sigma_y \rho / \sigma_x$

W związku z tym równanie linii regresji jest

$$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$$

• $Y|X$$\sigma_y^2(1-\rho^2)$$Y'|X'$$(X',Y')$$X'=(X-\mu_X)/\sigma_x$$Y'=(Y-\mu_Y)/\sigma_Y$

$Y'|X'$$1$

• $\Sigma$$\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$$\sigma_{22}=\sigma_y^2,$$Y|X$

$$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$$

---

Uwagi techniczne

$y$

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$$

gdzie

$$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$$

O wiele lepiej znanym pierwiastkiem kwadratowym jest ten opisany początkowo (obejmujący obrót zamiast transformacji skośnej); jest to ten powstały w wyniku rozkładu pojedynczej wartości i odgrywa znaczącą rolę w analizie głównych składników (PCA):

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$$

$$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$$

$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$$45$

Zatem różnica między PCA a regresją sprowadza się do różnicy między dwoma specjalnymi pierwiastkami kwadratowymi macierzy korelacji.

$Y$$X=x_i$$X$$X_1$$X_2$$0$$X_2$$x_1$gdzie „przecinamy” rozkład wielu zmiennych. Rozważ poniższy rysunek:

$X_1$$X_2$$X_2$$X_1$$\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$.

$\sigma_{22}$$\Sigma$$X_2$$\sigma^2$$\sigma$

$\hat y_i$

$$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$$ $^{\sigma_{12}}/_{\sigma_{22}}$$\mu_{X_2|X_1=x_i}$$\mu_{X_2}$$\mu_{X_2}$ $x_{2i}$$X_1$$X_2$

$X_1$$X_2$$\sigma_{1,2}>0$$X_2$$X_2$$X_1$$X_1$

$X_2=\mathit{x}_2>\mu_2$$X_2$$X_1$$\sigma_{1,2}>0$$X_1$$X_2$$X_2$$X_1$

$$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $X_2$$E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$

$X_1$$X_2$

$$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $BLP$