Jak działa wzór na generowanie skorelowanych zmiennych losowych?

19

Jeśli mamy 2 normalne, nieskorelowane zmienne losowe , możemy utworzyć 2 skorelowane zmienne losowe o wzorze $X_1, X_2$

$Y=\rho X_1+ \sqrt{1-\rho^2} X_2$

i następnie będzie miał korelacji z . $Y$ $\rho$ $X_1$

Czy ktoś może wyjaśnić, skąd pochodzi ta formuła?

correlation normal-distribution covariance

— Lanza
źródło

1

Obszerna dyskusja na temat tego i powiązanych zagadnień pojawia się w mojej odpowiedzi na stronie stats.stackexchange.com/a/71303 . Między innymi wyjaśnia to, że (1) założenie Normalności jest nieistotne i (2) należy przyjąć dodatkowe założenia: wariancje i muszą być równe, aby korelacja z była .

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

ρ

$\rho$

— whuber

Bardzo interesujący link. Nie jestem pewien, czy rozumiem, co rozumiesz przez normalność jako nieistotną. Jeśli lub nie jest normalne, trudniej jest kontrolować gęstość za pomocą algorytmu Kaiser-Dickman. Jest to cały powód, dla którego wyspecjalizowane algorytmy generują niestandardowe skorelowane dane (np. Headrick, 2002; Ruscio i Kaczetow, 2008; Vale i Maurelli, 1983) Na przykład wyobraź sobie, że Twoim celem jest wygenerowanie ~ normal, ~ uniform , z = .5. Użycie munduru ~ powoduje, że nie jest jednolite ( kończy się na liniowej kombinacji normalnej i jednolitej).

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X

$X$

Y

$Y$

ρ

$\rho$

X_{2}

$X_2$

Y

$Y$

Y

$Y$

— Anthony

@Anthony Pytanie dotyczy tylko korelacji , która jest wyłącznie funkcją pierwszej i drugiej chwili. Odpowiedź nie zależy od żadnych innych właściwości dystrybucji. To, o czym dyskutujesz, to zupełnie inny temat.

— whuber

17

Załóżmy, że chcesz znaleźć liniową kombinację i taką, że $X_1$ $X_2$

corr (α X_{1} + β X_{2}, X_{1}) = ρ

$\text{corr}(\alpha X_1 + \beta X_2, X_1) = \rho$

Zauważ, że jeśli pomnożysz zarówno i przez tę samą (niezerową) stałą, korelacja się nie zmieni. Dlatego dodamy warunek zachowania wariancji: $\alpha$ $\beta$ $\text{var}(\alpha X_1 + \beta X_2) = \text{var}(X_1)$

Jest to równoważne z

ρ = \frac{cov (α X_{1} + β X_{2}, X_{1})}{\sqrt{var (α X_{1} + β X_{2}) var (X_{1})}} = \frac{α \overset{= var (X_{1})}{\overset{⏞}{cov (X_{1}, X_{1})}} + \overset{= 0}{\overset{⏞}{β cov (X_{2}, X_{1})}}}{\sqrt{var (α X_{1} + β X_{2}) var (X_{1})}} = α \sqrt{\frac{var (X_{1})}{α^{2} var (X_{1}) + β^{2} var (X_{2})}}

$\rho = \frac{\text{cov}(\alpha X_1 + \beta X_2, X_1)}{\sqrt{\text{var}(\alpha X_1 + \beta X_2) \text{var}(X_1)}} = \frac{\alpha \overbrace{\text{cov}(X_1, X_1)}^{=\text{var}(X_1)} + \overbrace{\beta \text{cov}(X_2, X_1)}^{=0}}{\sqrt{\text{var}(\alpha X_1 + \beta X_2) \text{var}(X_1)}} = \alpha \sqrt{\frac{\text{var}(X_1)}{\alpha^2 \text{var}(X_1) + \beta^2 \text{var}(X_2)}}$

Zakładając, że obie zmienne losowe mają tę samą wariancję (jest to kluczowe założenie!) ( ), otrzymujemy $\text{var}(X_1) = \text{var}(X_2)$

ρ \sqrt{α^{2} + β^{2}} = α

$\rho \sqrt{\alpha^2 + \beta^2} = \alpha$

Istnieje wiele rozwiązań tego równania, więc czas przypomnieć warunek zachowania wariancji:

var (X_{1}) = var (α X_{1} + β X_{2}) = α^{2} var (X_{1}) + β^{2} var (X_{2}) \Rightarrow α^{2} + β^{2} = 1

$\text{var}(X_1) = \text{var}(\alpha X_1 + \beta X_2) = \alpha^2 \text{var}(X_1) + \beta^2 \text{var}(X_2) \Rightarrow \alpha^2 + \beta^2 = 1$

I to nas prowadzi

α = ρ β = \pm \sqrt{1 - ρ^{2}}

$\alpha = \rho \\ \beta = \pm \sqrt{1-\rho^2}$

UPD . W odniesieniu do drugiego pytania: tak, nazywa się to wybielaniem .

— Artem Sobolev
źródło

9

Równanie jest uproszczoną dwuwymiarową postacią rozkładu Choleskiego . To uproszczone równanie jest czasem nazywane algorytmem Kaiser-Dickman (Kaiser i Dickman, 1962).

Zauważ, że i muszą mieć tę samą wariancję, aby ten algorytm działał poprawnie. Ponadto algorytm jest zwykle używany z normalnymi zmiennymi. Jeśli lub nie są normalne, może nie mieć takiej samej formy dystrybucyjnej jak . $X_1$ $X_2$ $X_1$ $X_2$ $Y$ $X_2$

Bibliografia:

Kaiser, HF i Dickman, K. (1962). Macierze wyników próby i populacji oraz macierze korelacji próbki z dowolnej macierzy korelacji populacji. Psychometrika, 27 (2), 179–182.

— Anthony
źródło

2

Przypuszczam, że nie potrzebujesz standardowych zmiennych normalnych, wystarczy mieć tę samą wariancję.

— Artem Sobolev,

2

Nie, dystrybucja jest nie mieszanina dystrybucja jak twierdzisz.

Y

$Y$

— Dilip Sarwate,

Punkt wzięty, @Dilip Sarwate. Jeśli lub jest nienormalny, wówczas staje się liniową kombinacją dwóch zmiennych, które mogą nie dać pożądanego rozkładu. To jest powód dla wyspecjalizowanych algorytmów (zamiast Kaiser-Dickman) do generowania niestandardowych skorelowanych danych.

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

— Anthony

3

Współczynnik korelacji to między dwiema seriami, jeśli są one traktowane jako wektory (gdzie punkt danych jest wymiarem wektora). Powyższa formuła po prostu tworzy rozkład wektora na jego komponenty , (w odniesieniu do ). jeśli , to . $\cos$ $n^{th}$ $n^{th}$ $\cos\theta$ $sin\theta$ $X_1,X_2$
$\rho = cos \theta$ $\sqrt{1-{\rho}^2}=\pm sin \theta$

Ponieważ jeśli są nieskorelowane, kąt między nimi jest kątem prostym (tzn. Można je uznać za ortogonalne, aczkolwiek nienormalizowane wektory podstawowe). $X_1, X_2$

— Dmitrij Rubanowicz
źródło

2

Witamy na naszej stronie! Wierzę, że twój post zyska więcej uwagi, jeśli zaznaczysz wyrażenia matematyczne za pomocą : umieść je między znakami dolara. Podczas edycji dostępna jest pomoc.

T E X

$\TeX$

— whuber