Jak wygenerować skorelowane liczby losowe (podane średnie, wariancje i stopień korelacji)?

53

Przepraszam, jeśli wydaje się to trochę zbyt proste, ale myślę, że tylko chcę tutaj potwierdzić zrozumienie. Wydaje mi się, że musiałbym to zrobić w dwóch krokach i zacząłem próbować analizować macierze korelacji, ale to zaczyna wydawać się naprawdę zaangażowane. Szukam zwięzłego wyjaśnienia (najlepiej ze wskazówkami dotyczącymi rozwiązania pseudokodu) dobrego, idealnie szybkiego sposobu generowania skorelowanych liczb losowych.

Biorąc pod uwagę dwie zmienne pseudolosowe: wzrost i wagę ze znanymi średnimi i wariancjami oraz daną korelację, myślę, że w zasadzie staram się zrozumieć, jak powinien wyglądać ten drugi krok:

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

Jak obliczyć skorelowaną średnią i wariancję? Ale chcę potwierdzić, że to naprawdę istotny problem.
Czy muszę uciekać się do manipulacji matrycą? Czy mam coś jeszcze bardzo złego w moim podstawowym podejściu do tego problemu?

— Joseph Weissman
źródło

1

Nie jestem pewien, czy rozumiem cię poprawnie, ale nie musisz obliczać „skorelowanej średniej i wariancji”. Jeśli zakładasz, że zmienne są dwuwymiarowe normalne, powinno wystarczyć określenie poszczególnych średnich i wariancji oraz korelacji. Czy jest jakieś konkretne oprogramowanie, którego chcesz użyć do tego?

— mark999

3

Następujące pytania są ściśle powiązane i będą interesujące: Jak zdefiniować taki rozkład, który będzie z niego korelował z losowaniem z innego wcześniej określonego rozkładu? & Wygeneruj zmienną losową ze zdefiniowaną korelacją z istniejącą zmienną .

— gung - Przywróć Monikę

1

Ponadto: w jaki sposób mogę generować dane z uprzednio określoną macierzą korelacji?

— Gung - Przywróć Monikę

44

Aby odpowiedzieć na pytanie dotyczące „dobrego, idealnie szybkiego sposobu generowania skorelowanych liczb losowych”: Biorąc pod uwagę pożądaną macierz wariancji-kowariancji która z definicji jest z definicji pozytywna, jej rozkład Choleskiego wynosi: = ; jest dolną macierzą trójkątną. $C$ $C$ $LL^T$ $L$

Jeśli teraz użyjesz tej macierzy do rzutowania nieskorelowanego wektora zmiennych losowych , wynikowy rzut będzie taki, jak skorelowanych zmiennych losowych. $L$ $X$ $Y = LX$

Można znaleźć zwięzłe wyjaśnienie, dlaczego tak się dzieje tutaj .

— usεr11852 mówi Reinstate Monic
źródło

Dzięki! To było niezwykle pomocne. Myślę, że przynajmniej lepiej rozumiem, na co muszę spojrzeć w następnej kolejności.

— Joseph Weissman,

7

Czy ta metoda ma zastosowanie tylko do rozkładów Gaussa (jak określono w pytaniu), czy może być stosowana do generowania skorelowanych zmiennych, które następują po innych rozkładach? Jeśli nie, czy znasz metodę, którą można by zastosować w takim przypadku?

— user000001

1

@Michael: Tak. Powiedziawszy, że dane jest prawidłową macierzą kowariancji, rozkład Choleskiego jest najszybszym sposobem. Możesz także uzyskać (symetryczną) macierz pierwiastka kwadratowego z , używając SVD (więc , gdzie z ), ale byłoby to więcej drogie też.

C

$C$

X

$X$

C

$C$

C = X X = X X^{T}

$C = XX = XX^T$

X = U S^{0.5} V^{T}

$X = U S^{0.5} V^T$

C = U S V^{T}

$C = USV^T$

— usεr11852 mówi Przywróć Monic

1

@Michael: Oczywiście. Ich kowariancja będzie (w przybliżeniu) taka sama, a nie same liczby.

— usεr11852 mówi Przywróć Monic

1

@Sid: Jakakolwiek ciągła dystrybucja nieobsługiwana w całej linii rzeczywistej natychmiast się nie powiedzie. Na przykład, jeśli użyjemy jednolitego nie możemy zagwarantować, że „skorelowane liczby” będą w ; podobnie w przypadku Poissona otrzymamy liczby niedyskretne. Ponadto każda dystrybucja, w której suma dystrybucji nie jest wciąż taka sama (np. Sumowanie dystrybucji nie powoduje dystrybucji) również się nie powiedzie. We wszystkich wymienionych przypadkach wytworzone liczby będą skorelowane według ale nie będą odpowiadały rozkładowi, który rozpoczęliśmy.

U [0, 1]

$U[0,1]$

[0, 1]

$[0,1]$

t

$t$

t

$t$

C

$C$

— usεr11852 mówi Przywróć Monic

36

+1 do @ user11852 i @ jem77bfp, to są dobre odpowiedzi. Podejdę do tego z innej perspektywy, nie dlatego, że uważam, że w praktyce jest to lepsze , ale dlatego, że uważam, że jest pouczające. Oto kilka istotnych faktów, które już znamy:

jest nachyleniem linii regresji, gdy zarówno jaki sąznormalizowane, tj. , $r$ $X$ $Y$ $\mathcal N(0,1)$
jest proporcją wariancji w wynikającą z wariancji w , $r^2$ $Y$ $X$

(również z zasad dotyczących odchyleń ):
wariancja zmiennej losowej pomnożona przez stałą jest stałą kwadratową razy pierwotną wariancją:
$Var [a X] = a^{2} Var [X]$ $\text{Var}[aX]=a^2\text{Var}[X]$
dodawane wariancje , tzn. wariancja sumy dwóch zmiennych losowych (zakładając, że są one niezależne) jest sumą dwóch wariancji:
$Var [X + ε] = Var [X] + Var [ε]$ $\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$

$r$ $\rho$ $X$ $\mathcal N(0,1)$ $a$ $v_e$ $Y \sim\mathcal N(0,a^2+v_e)$ $a^2+v_e=1$ $|a|$ $\le 1$ $a=r$ $r$ $a$ $1-r^2$ $x_i$ $e_i$ , z odpowiednią wariancją błędu , i oblicz skorelowaną zmienność pseudolosową, , mnożąc i dodając. $v_e$ $y_i$

Jeśli chcesz to zrobić w R, może działać następujący kod:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

$0$

Ponownie, to, w najprostszej formie, pozwala tylko wygenerować parę skorelowanych zmiennych (może to być skalowane, ale robi się brzydko szybko) i na pewno nie jest najwygodniejszym sposobem na wykonanie zadania. W R chciałbyś użyć ? Mvrnorm w pakiecie MASS , zarówno dlatego, że jest to łatwiejsze, jak i ponieważ możesz wygenerować wiele zmiennych przy danej macierzy korelacji populacji. Niemniej jednak uważam, że warto przejść przez ten proces, aby zobaczyć, jak niektóre podstawowe zasady działają w prosty sposób.

— gung - Przywróć Monikę
źródło

To zasadniczo regresyjne podejście jest szczególnie przyjemne, ponieważ pozwala wygenerować jedno losowe Y skorelowane z dowolną liczbą istniejących „predyktorów” X. Czy mam rację w takim rozumieniu?

— ttnphns

Zależy to dokładnie od tego, jaki wzór korelacji między zmiennymi, które chcesz, @ttnphns. Możesz to powtarzać jeden po drugim, ale byłoby to nudne. Aby utworzyć wiele skorelowanych zmiennych z danym wzorcem, lepiej jest użyć rozkładu Cholesky'ego.

— Gung - Przywróć Monikę

gung, czy wiesz, jak używać Cholesky'ego do generowania jednego skorelowanego Y (w przybliżeniu, jak w twojej metodzie) zgodnie z wektorem korelacji z kilkoma istniejącymi (nie symulowanymi) Xs?

— ttnphns

@ttnphns, chcesz wygenerować pojedynczą Y w / daną korelację populacji z zestawem X, a nie zestawem zmiennych p, z których wszystkie mają wcześniej określone korelacje populacji? Prostym sposobem byłoby napisanie równania regresji w celu wygenerowania pojedynczego Y-kapelusza z X, a następnie użycie powyższej metody do wygenerowania Y jako korelacji z Y-hat. Jeśli chcesz, możesz zadać nowe pytanie.

— Gung - Przywróć Monikę

1

Oto, co miałem na myśli w moim pierwszym komentarzu: ta metoda byłaby bezpośrednim rozszerzeniem tego, o czym mówisz w swojej odpowiedzi: zasadniczo metody regresji (Hat).

— ttnphns

16

Ogólnie rzecz biorąc, nie jest to prosta rzecz, ale uważam, że istnieją pakiety do generowania normalnych zmiennych wielowymiarowych (przynajmniej w R, patrz mvrnormw MASSpakiecie), w których wystarczy wprowadzić macierz kowariancji i wektor średni.

$(X_1,X_2)$ $F(x_1,x_2)$ $F$ $x_2$

F_{X_{1}} (x_{1}) = \int_{- \infty}^{\infty} F (x_{1}, x_{2}) d x_{2} .

$F_{X_1}(x_1)= \int_{-\infty}^{\infty} F(x_1,x_2)dx_2.$

F_{X_{1}}^{- 1}

$F^{-1}_{X_1}$

F_{X_{1}}

$F_{X_1}$

ξ_{1}

$\xi_1$

[0, 1]

$[0,1]$

{\hat{x}}_{1} = F_{X_{1}}^{- 1} (ξ)

$\hat{x}_1=F^{-1}_{X_1}(\xi)$

$F(x_1,x_2)$ $x_1=\hat{x}_1$

F (x_{2} | X_{1} = {\hat{x}}_{1}) = \frac{F ({\hat{x}}_{1}, x_{2})}{f_{X_{1}} ({\hat{x}}_{1})},

$F(x_2 | X_1=\hat{x}_1)= \frac{F(\hat{x}_1,x_2)}{f_{X_1}(\hat{x}_1)},$

f_{X_{1}}

$f_{X_1}$

X_{1}

$X_1$

F_{X_{1}}^{'} (x_{1}) = f_{X_{1}} (x_{1})

$F'_{X_1}(x_1)=f_{X_1}(x_1)$

$\xi_2$ $[0,1]$ $\xi_1$ $F(x_2 | X_1=\hat{x}_1)$ $\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$ $\hat x_2$ $F(\hat x_2 | X_1=\hat{x}_1) = \xi$

Jeśli nie rozumiesz znaczenia wstawiania zmiennej jednorodnej do funkcji odwrotnego rozkładu prawdopodobieństwa, spróbuj wykonać szkic przypadku jednowymiarowego, a następnie pamiętaj, jaka jest geometryczna interpretacja funkcji odwrotnej.

— jem77bfp
źródło

Sprytny pomysł! Ma prosty intuicyjny wygląd. Ale tak, wydaje się drogie obliczeniowo.

— MichaelChirico

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y | X} (y)

$f_{X,Y}(x,y)=f_X(x)\cdot f_{Y|X}(y)$

1

Jeśli jesteś gotów zrezygnować z wydajności, możesz użyć alogorytmu wyrzucającego. Jego zaletą jest to, że pozwala na wszelkiego rodzaju rozkłady (nie tylko gaussowskie).

$\{x_i\}_{i=1}^N$ $\{y_i\}_{i=1}^N$ $C$

$c_{old}=corr(\{x_i\},\{y_i\})$

$n_1$ $n_2: 1 \leq n_{1,2} \leq N$

$x_{n_1}$ $x_{n_2}$

$c_{new}=corr( \{x_i\},\{y_i\})$

$|C-c_{new}| < |C-c_{old}|$

$|C-c| < \epsilon$

${x_i}$

Powodzenia!

— F. Jatpil
źródło

x_{i}

$x_i$

c o r r (x_{i}, y_{i})

$corr(x_i, y_i)$

x_{i}

$x_i$

{x_{i}}

$\{x_i\}$

y

$y$

c o r r (x_{i}, y_{i})

$corr(x_i,y_i)$

c o r r ({x_{i}}, {y_{i}}) = (1 / N) Σ_{i = 1}^{N} (x_{i} - \bar{x}) (y_{y} - \bar{y})

$corr(\{x_i\},\{y_i\}) = (1/N) \Sigma_{i=1}^{N}(x_i- \bar x)(y_y - \bar y)$

{}

$\{ \}$

c o r r ({x_{i}}, {y_{i}})

$corr(\{x_i\}, \{y_i\})$