Czy można mieć parę losowych zmiennych Gaussa, dla których rozkład połączeń nie jest Gaussowski?

Ktoś zadał mi to pytanie podczas rozmowy kwalifikacyjnej, a ja odpowiedziałem, że ich wspólna dystrybucja jest zawsze gaussowska. Myślałem, że zawsze potrafię napisać dwuwymiarowy gaussowski za pomocą jego środków, wariancji i kowariancji. Zastanawiam się, czy może istnieć przypadek, w którym łączne prawdopodobieństwo dwóch Gaussów nie jest Gaussowskie?

Dwuwymiarowy rozkład normalny jest wyjątkiem , a nie regułą!

Ważne jest, aby uznać, że „prawie wszystkie” wspólne rozkłady z normalnymi marginesami nie są dwuwymiarowym rozkładem normalnym. To znaczy, wspólny punkt widzenia, że ​​wspólne rozkłady z normalnymi marginesami, które nie są dwuwymiarowe normalne, są w jakiś sposób „patologiczne”, jest nieco błędne.

Z pewnością normalna wielowymiarowa jest niezwykle ważna ze względu na jej stabilność przy liniowych przekształceniach, dlatego jest bardzo ważna w aplikacjach.

Przykłady

Warto zacząć od kilku przykładów. Poniższy rysunek zawiera mapy cieplne sześciu rozkładów dwuwymiarowych, z których wszystkie mają standardowe normalne marginesy. Lewy i środkowy w górnym rzędzie są dwuwymiarowymi normami, pozostałe nie są (jak powinno być oczywiste). Są one opisane poniżej.

Nagie kości kopuł

Własności zależności są często skutecznie analizowane za pomocą kopuł . Dwuwymiarowe kopuła jest tylko nazwa dla rozkładu prawdopodobieństwa na kwadrat jednostki z jednolitymi uzupełnieniach.$[0,1]^2$

Załóżmy, że jest kopią dwuwymiarową. Następnie, bezpośrednio z powyższego, wiemy, że na przykład , oraz .C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = $C(u,v)$$C(u,v) \geq 0$$C(u,1) = u$$C(1,v) = v$

Możemy konstruować dwuwymiarowe zmienne losowe na płaszczyźnie euklidesowej z uprzednio określonymi marginesami poprzez prostą transformację dwuwymiarowej kopuły. Niech i zostaną krańcowym dla pary zmiennych losowych . Zatem, jeśli jest , jest funkcją rozkładu dwuwymiarowego z marginesami i . Aby zobaczyć ten ostatni fakt, pamiętaj, że Ten sam argument działa dla .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F $F_1$$F_2$$(X,Y)$$C(u,v)$

$$F(x,y) = C(F_1(x), F_2(y))$$ $F_1$$F_2$ $$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$$ $F_2$

Do ciągłego i , twierdzenie Sklár za twierdzi odwrotnym sugerując niepowtarzalność. To znaczy, biorąc pod uwagę dwuwymiarowy rozkład z ciągłymi marginesami , , odpowiednia jest unikalna (w odpowiedniej przestrzeni zakresu).$F_1$$F_2$$F(x,y)$$F_1$$F_2$

Dwuwymiarowa normalna jest wyjątkowa

Twierdzenie Sklara mówi nam (zasadniczo), że istnieje tylko jedna kopuła, która wytwarza dwuwymiarowy rozkład normalny. Jest to trafnie nazwana kopuła Gaussa, która ma gęstość na gdzie licznik jest dwuwymiarowym rozkładem normalnym z korelacją ocenioną w i .$[0,1]^2$

$$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$$ $\rho$$\Phi^{-1}(u)$$\Phi^{-1}(v)$

Ale istnieje wiele innych kopuł i wszystkie z nich dadzą dwuwymiarowy rozkład z normalnymi marginesami, który nie jest dwuwymiarową normalną przy użyciu transformacji opisanej w poprzedniej sekcji.

Kilka szczegółów na temat przykładów

Zauważ, że jeśli jest dowolną kopulą o gęstości , to odpowiednia gęstość dwuwymiarowa ze standardowymi normalnymi marginesami przy transformacji to $C(u,v)$$c(u,v)$$F(x,y) = C(\Phi(x),\Phi(y))$

$$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$$

Zauważ, że stosując kopułę Gaussa w powyższym równaniu, odzyskujemy dwuwymiarową gęstość normalną. Ale dla każdego innego wyboru nie zrobimy tego.$c(u,v)$

Przykłady na rysunku skonstruowano w następujący sposób (w poprzek każdego wiersza, po jednej kolumnie na raz):

1. Dwuczynnikowa normalna z niezależnymi komponentami.
2. Dwuczynnikowa normalna z .$\rho = -0.4$
3. Przykładzie podanym w tej odpowiedzi z Dilip Sarwate . Można to łatwo zaobserwować jako indukowane przez kopułę o gęstości .$C(u,v)$$c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
4. Wygenerowano z kopuły Franka z parametrem .$\theta = 2$
5. Wygenerowano z kopuły Clayton z parametrem .$\theta = 1$
6. Wygenerowano z asymetrycznej modyfikacji kopuły Claytona za pomocą parametru .$\theta = 3$

Prawdą jest, że każdy element wielowymiarowego wektora normalnego jest normalnie rozłożony i można wywnioskować ich średnie i wariancje. Nie jest jednak prawdą, że dwie dowolne zmienne losowe z Guassian są zwykle normalnie rozdzielane wspólnie. Oto przykład:

Edycja: W odpowiedzi na konsensus, że zmienna losowa, która jest masą punktową, może być uważana za zmienną o rozkładzie normalnym z , zmieniam mój przykład.$\sigma^2=0$

---

Niech i niech gdzie jest zmienną losową . Oznacza to, że każdy z prawdopodobieństwem .$X \sim N(0,1)$$Y = X \cdot (2B-1)$$B$${\rm Bernoulli}(1/2)$$Y = \pm X$$1/2$

Najpierw pokazujemy, że ma standardowy rozkład normalny. $Y$Przez prawie całkowitego prawdopodobieństwa ,

$$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$$

Kolejny,

$$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$$

gdzie jest standardowym normalnym CDF . Podobnie,$\Phi$

$$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$$

W związku z tym,

$$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$$

więc CDF z to , a więc .$Y$$\Phi(\cdot)$$Y \sim N(0,1)$

Teraz pokazujemy, że nie są wspólnie rozkładem normalnie. $X,Y$Jak wskazuje @cardinal, jedną z charakterystyk wielowymiarowej normy jest to, że każda liniowa kombinacja jej elementów jest normalnie rozłożona. nie mają tej właściwości, ponieważ$X,Y$

$$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$$

Dlatego jest mieszaniną losowej zmiennej i masy punktowej w punkcie 0, dlatego nie można normalnie rozkładać.$Y+X$$50/50$$N(0,4)$

Poniższy post zawiera zarys dowodu, aby przedstawić główne pomysły i zacząć.

Niech będzie dwiema niezależnymi losowymi zmiennymi Gaussa i niech będzie $z = (Z_1, Z_2)$$x = (X_1, X_2)$

$$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$$

Każdy , ale ponieważ oba są liniowymi kombinacjami tego samego niezależnego r.vs, są one wspólnie zależne.$X_i \sim N(\mu_i, \sigma_i^2)$

Definicja Mówi się, że para r.vs jest dwuwymiarową normalnie rozłożoną, jeżeli można zapisać jako kombinację liniową niezależnej normalnej r.vs .$x = (X_1, X_2)$$x = Az$$z = (Z_1, Z_2)$

Lemma Jeśli jest dwuwymiarową gaussowską, to każda inna ich liniowa kombinacja jest znowu normalną zmienną losową.$x = (X_1, X_2)$

Dowód . Trywialne, pominięte, aby nikogo nie urazić.

Właściwość Jeśli są nieskorelowane, to są one niezależne i odwrotnie.$X_1, X_2$

Dystrybucja$X_1 | X_2$

Załóżmy że są tymi samymi r.v Gaussa jak poprzednio, ale załóżmy, że mają dodatnią wariancję i zerową średnią dla uproszczenia.$X_1, X_2$

Jeśli jest podprzestrzenią rozpiętą przez , niech i .$\mathbf S$$X_2$$X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$$X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ i są liniowymi kombinacjami , więc też są. Są wspólnie gaussowscy, nieskorelowani (udowodnij to) i niezależni.$X_2$$z$$X_2, X_1^{\mathbf S^\perp}$

Rozkład dla

$$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$$ $\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

$$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$$

Następnie

$$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$$

Dwie jednowymiarowe zmienne losowe Gaussa są łącznie gaussowskie, jeśli warunki warunkowe i są również gaussowskie.$X, Y$$X | Y$$Y|X$