Jaka jest intuicja stojąca za niezależnością

18

Miałem nadzieję, że ktoś może zaproponować argument wyjaśniający, dlaczego zmienne losowe $Y_1=X_2-X_1$ i $Y_2=X_1+X_2$ , o standardowym rozkładzie normalnym, są statystycznie niezależne. Dowód tego faktu łatwo wywodzi się z techniki MGF, ale uważam ją za wyjątkowo sprzeczną z intuicją. $X_i$

Byłbym wdzięczny za intuicję tutaj, jeśli w ogóle.

Z góry dziękuję.

EDYCJA : Indeksy dolne nie wskazują statystyk porządkowych, ale obserwacje IID ze standardowej normalnej dystrybucji.

probability self-study mathematical-statistics

— JohnK
źródło

Co to jest „technika MGF”?

— ameba mówi Przywróć Monikę

@amoeba Jest to użycie funkcji generujących moment w celu ustalenia rozkładu zmiennej losowej. W moim przypadku odnoszę się do twierdzenia, że

Y_{1}

$Y_1$ i

Y_{2}

$Y_2$ są niezależne wtedy i tylko wtedy, gdy

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$ ,

M (t_{1}, t_{2})

$M(t_1,t_2)$ równa

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$ . Wybierz inną technikę i jestem pewien, że osiągniesz ten sam wynik.

— JohnK,

1

Wgląd w blisko związany wątek można znaleźć na stronie stats.stackexchange.com/questions/71260 .

— whuber

Można trochę intuicji, rozważając, co dzieje się z każdym z nich, jeśli dodać pewnej stałej, powiedzmy

μ

$\mu$ , do każdego

X

$X$ . A co się stanie, jeśli pomnożysz każdy

X

$X$ przez stałą, powiedz

σ

$\sigma$

— rvl

1

Ściśle powiązane: Odniesienie do sumy i różnicy wysoce skorelowanych zmiennych jest prawie nieskorelowane .

— gung - Przywróć Monikę

22

Są to standardowe normalne dane rozproszone: wykres punktowy w pierwszym układzie współrzędnych Zauważ, że rozkład jest okrężny symetryczny.

Po zmianie na i $Y_1 = X_2 - X_1$ , skutecznie obracasz i skalujesz oś w następujący sposób: Nowy układ współrzędnych ma takie samo pochodzenie, jak oryginalny, a oś jest prostokątny. Ze względu na symetrię kołową zmienne są nadal niezależne w nowym układzie współrzędnych. $Y_2 = X_1 + X_2$ wykres punktowy z obróconym układem współrzędnych

— dobiwan
źródło

4

Wynik ma zastosowanie nawet wtedy, gdy

i

są skorelowane z jednostkowymi marginesami normalnymi. Twoje wyjaśnienie obejmuje więc tylko podtekst oryginalnego wyniku. Jednak podstawową ideą jest tutaj dźwięk.

X_{1}

$X_1$

X_{2}

$X_2$

— Glen_b

1

@Glen_b, tak, masz rację. Chciałem skupić się na prostej sprawie, ponieważ JohnK wydaje się już wiedzieć, jak udowodnić ogólną sprawę, ale brakuje intuicyjnego zrozumienia.

— dobiwan

7

Wynik działa dla łącznie normalnie (tj. Z korelacją, ), ze wspólnym . $(X_1,X_2)$ $-1<\rho<1$ $\sigma$

Jeśli znasz kilka podstawowych wyników, to wszystko, czego potrzebujesz:

$\quad\quad\quad$ wprowadź opis zdjęcia tutaj

podejście dobiwan jest zasadniczo w porządku - po prostu wynik jest bardziej ogólny niż rozpatrywany tam przypadek.

— Glen_b - Przywróć Monikę
źródło

3

+1 za usunięcie pożądanego wyniku do najważniejszych. Dodam, że dla bardziej ogólnego przypadku normalności połączenia z nierównymi wariancjami, obrót osi o

zamiast

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

ukryte w

tworzy niezależnych normalnych zmiennych losowych.

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— Dilip Sarwate

6

Wynik twierdzisz, aby mogło być prawdziwe nie jest prawdą w ogóle, nawet w przypadku, gdy wszystko to jest znane to, że i są normalnymi zmiennymi losowymi o identycznym wariancji, ale wynik nie trzymać na zwykłym interpretacji warunku powiedziałeś później: $X_1$ $X_2$

Indeksy dolne nie wskazują statystyk porządkowych, ale obserwacje ze standardowej normalnej dystrybucji.

Zwykłą interpretacją kilku ostatnich słów w tym stwierdzeniu jest oczywiście to, że i są niezależnymi (normalnymi) zmiennymi losowymi, a zatem łącznie normalnymi zmiennymi losowymi. $X_1$ $X_2$

W przypadku wspólnie normalnych zmiennych losowych o identycznej wariancji prawdą jest, że i są niezależnymi (normalnymi) zmiennymi losowymi (z ogólnie nierównymi wariancjami) i najlepiej podać intuicyjne wyjaśnienie w odpowiedzi Glen_b. W twoim szczególnym przypadku, gdy i są również niezależne, odpowiedź dobiwan, którą zaakceptowałeś, jest najprostsza i rzeczywiście pokazuje, że jakikolwiek obrót osi, nie tylko o $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ domyślnie w transformacji, da niezależne zmienne losowe. $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

Co można ogólnie powiedzieć? We wszystkim, co mówię poniżej, należy pamiętać, że i mają tę samą wariancję , bez względu na to, jakie inne właściwości mogą być im przypisane. $X$ $Y$

Jeśli i są dowolnymi zmiennymi losowymi (uwaga: niekoniecznie normalna) o identycznej wariancji, wówczas i są nieskorelowanymi zmiennymi losowymi (to znaczy, że mają zerową kowariancję). Wynika to z faktu, że funkcja kowariancji jest dwuliniowa : $X$ $Y$ $X+Y$ $X-Y$ Tutaj użyliśmy faktjest po prostu wariancjiz(i podobnie dla) i, oczywiście, . Zauważ, że ten wynik obowiązuje, gdyisą (marginalnie) normalnymi zmiennymi losowymi, ale niekonieczniełącznie

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$ normalne zmienne losowe. (Jeśli nie znasz pojęcia marginalnej normalności, która nie jest tym samym, co normalność wspólna, zobacz tę wspaniałą odpowiedź kardynała). W szczególnym przypadku, gdy

i

są wspólnie normalne (ale niekoniecznie niezależne) normalne zmienne losowe, więc

i

wspólnie normalne, a ponieważ ich kowariancja wynosi

,

i

są losowo niezależne zmienne.

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— Dilip Sarwate
źródło

2

Najpierw argumentuję za ogólnie identycznie rozmieszczonymi że średnia warunkowa uwarunkowana na jest stała . Na tej podstawie twierdzę, że kowariancja $X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$ wynosi 0. Zatem, w normalności, zerowa kowariancja oznacza niezależność.

Średnia warunkowa

$X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$

$X_1$ $X_2$ $X_1+X_2$ $X_1 \mid Y_2 = y$ $X_2 \mid Y_2 = y$

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much $Y_1$ tends to increase when $Y_2$ increases. If observing $Y_2$ never changes our mean of $Y_1$ , $Y_1$ and $Y_2$ are uncorrelated.

Proof: By definition, covariance is

C o v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$ to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on

Y_{2}

$Y_2$ :

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$ Recall that the conditional mean was shown to be independent of

Y_{2}

$Y_2$ and thus the expression simplifies as

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$ but the inner expectation is

0

$0$ and we get

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

Independence

Just by assuming identical distributions for $X_1,X_2$ , it was shown that $Y_1$ and $Y_2$ are uncorrelated. When $X_1,X_2$ are jointly normal (for example, iid. normal as in the question), their linear combinations $Y_1,Y_2$ are also jointly normal and thus uncorrelatedness implies independence.

— Juho Kokkala
źródło