Dlaczego losowe spacery są ze sobą powiązane?

Zauważyłem, że średnio wartość bezwzględna współczynnika korelacji Pearsona jest stała zbliżona do każdej pary niezależnych losowych spacerów, niezależnie od długości spaceru.0.560.42

Czy ktoś może wyjaśnić to zjawisko?

Spodziewałem się, że korelacje będą się zmniejszać wraz ze wzrostem długości marszu, jak w przypadku dowolnej losowej sekwencji.

Do moich eksperymentów wykorzystałem losowe spacery gaussowskie ze średnią krokową 0 i standardowym odchyleniem krokowym 1.

AKTUALIZACJA:

Zapomniałam centrum danych, to dlaczego było 0.56zamiast 0.42.

Oto skrypt Pythona do obliczania korelacji:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

Twoje niezależne procesy nie są skorelowane! Jeśli i są niezależnymi losowymi ścieżkami:Y $X_t$$Y_t$

• Współczynnik korelacji bezwarunkowy w czasie nie istnieje. (Nie mów o .)$\operatorname{Corr}(X, Y)$
• Za każdym razem , nazwa rzeczywiście wynosi 0.Corr ( X t , Y t$t$$\operatorname{Corr}(X_t, Y_t)$
• Ale przykładowe statystyki oparte na średnich szeregów czasowych nie zbiegną się do niczego! Przykładowy współczynnik korelacji obliczony na podstawie uśrednienia wielu obserwacji w czasie jest bez znaczenia.

Intuicyjnie możesz zgadnąć (niepoprawnie), że:

1. Niezależność między dwoma procesami i implikuje, że mają zerową korelację. (Dla dwóch losowych spacerów nie istnieje.){ Y t } Corr ( X , Y $\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X, Y)$
2. Szeregi czasowe, korelacja próbki (tj. Współczynnik korelacji obliczony na podstawie szeregów czasowych, przykładowe statystyki, takie jak ) zbiegnie się ze współczynnikiem korelacji populacji jako . ^ μ X =$\hat{\rho}_{XY}$ρXYT→$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

Problem polega na tym, że żadne z tych stwierdzeń nie jest prawdziwe w przypadku przypadkowych spacerów! (Są prawdziwe w przypadku lepiej zachowanych procesów).

W przypadku procesów niestacjonarnych:

• Możesz mówić o korelacji między procesami i w dowolnym momencie (np. jest całkowicie sensownym stwierdzeniem.){ Y t } Corr ( X 2 , Y 3$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• Ale nie ma sensu mówić o korelacji między dwiema seriami bezwarunkowo na czas! nazwa nie ma dobrze zdefiniowanego znaczenia.$\operatorname{Corr}(X, Y)$

Problemy w przypadku przypadkowego spaceru?

1. W przypadku losowego marszu bezwarunkowe momenty populacji (tzn. Które nie zależą od czasu ), takie jak nazwa , nie istnieją. (W pewnym sensie są nieskończone.) Podobnie bezwarunkowy współczynnik korelacji między dwoma niezależnymi losowymi ścieżkami nie jest równy zero; w rzeczywistości nie istnieje!E [ X ] ρ X $t$$\operatorname{E}[X]$$\rho_{XY}$
2. Założenia twierdzeń ergodycznych nie mają zastosowania, a różne średnie szeregów czasowych (np. ) nie są zbieżne w niczym jako . T→$\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • W przypadku sekwencji stacjonarnej średnia szeregów czasowych ostatecznie zbiegnie się ze średnią, która jest bezwarunkowa w czasie. Ale w przypadku niestacjonarnej sekwencji nie ma żadnego środka, który byłby bezwarunkowy na czas!

Jeśli masz różne obserwacje dwóch niezależnych losowych spacerów w czasie (np. , itp. ... i , , ....) i obliczasz współczynnik korelacji próbki, otrzymasz liczbę od do . Ale nie będzie to przybliżenie współczynnika korelacji populacji (który nie istnieje).X 2 Y 1 Y 2 - 1 $X_1$$X_2$$Y_1$$Y_2$$-1$$1$

Zamiast tego (obliczony na podstawie średnich szeregów czasowych od do ) będzie zasadniczo zmienną losową (przyjmującą wartości w ) który odzwierciedla dwie szczególne ścieżki przypadkowe spacery przypadkowe (tj. ścieżki określone przez rysowanie narysowane z przestrzeni próbki .) Mówiąc bardzo swobodnie (i nieprecyzyjnie):t=1t=T[-1,1]Ohm$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• Jeśli zarówno jak i w tym samym kierunku, wykryjesz fałszywy pozytywny związek.$X_t$$Y_t$
• Jeśli i w różnych kierunkach, wykryjesz fałszywy negatywny związek.$X_t$$Y_t$
• Jeśli i wystarczająco się błądzą, prawie zerową zależność.$X_t$$Y_t$

Możesz Google więcej na ten temat z warunkami spurious regression random walk.

Losowy spacer nie jest stacjonarny, a uśrednianie w czasie nie zbiegnie się z tym, co byś otrzymał, biorąc losowania z przestrzeni próbnej . Jak wspomniano w komentarzach powyżej, możesz wziąć pierwsze różnice a dla losowego spaceru proces ten jest stacjonarny.$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Pomysł na duży obraz:

Wielokrotne obserwacje w czasie NIE JEST to to samo, co wielokrotne losowanie z przestrzeni próbki!

Przypomnij sobie, że proces stochastyczny z czasem dyskretnym jest funkcją zarówno czasu ( ), jak i przykładowej przestrzeni .$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

Aby średnie w czasie zbliżyły się do oczekiwań w przestrzeni próbnej , potrzebujesz stacjonarności i ergodyczności . Jest to podstawowy problem w wielu analizach szeregów czasowych. A losowy spacer nie jest procesem stacjonarnym.$t$$\Omega$

Połączenie z odpowiedzią WHuber:

Jeśli możesz wziąć średnie dla wielu symulacji (tj. Wziąć wiele losowań z ) zamiast być zmuszonym do przyjmowania średnich dla czasu , pewna liczba problemów zniknie.$\Omega$$t$

Możesz oczywiście zdefiniować jako przykładowy współczynnik korelacji obliczony na i i będzie to również proces stochastyczny.$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$

Możesz zdefiniować losową zmienną jako:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

W przypadku dwóch losowych spacerów rozpoczynających się od z przyrostami , łatwo jest znaleźć poprzez symulację (tj. Biorąc wiele losowań z .)$0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$

Poniżej przeprowadziłem symulację 10 000 obliczeń przykładowego współczynnika korelacji Pearsona. Za każdym razem ja:

• Symulowano dwa losowe spacery o długości 10 000 (z normalnie rozmieszczonymi przyrostami rysuj z ).$\mathcal{N}(0,1)$
• Obliczono przykładowy współczynnik korelacji między nimi.

Poniżej znajduje się histogram pokazujący rozkład empiryczny dla 10000 obliczonych współczynników korelacji.

Można wyraźnie zaobserwować, że zmienna losowa może być wszędzie w przedziale . W przypadku dwóch stałych ścieżek i współczynnik korelacji próbki nie zbiega się do niczego, gdy zwiększa się długość szeregu czasowego.$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

Z drugiej strony, dla określonego czasu (np. ), współczynnik korelacji próbki jest zmienną losową ze skończoną średnią itp. ... Jeśli wezmę wartość bezwzględną i obliczę średnią dla wszystkich symulacji, obliczam około 0,42. Nie jestem pewien, dlaczego chcesz to zrobić ani dlaczego w ogóle ma to sens ?, ale oczywiście możesz.$t=10,000$

Kod:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

Matematyka potrzebna do uzyskania dokładnego wyniku jest nieuporządkowana, ale możemy względnie bezboleśnie ustalić dokładną wartość oczekiwanego współczynnika korelacji do kwadratu Pomaga wyjaśnić, dlaczego wciąż wyświetla się wartość blisko i dlaczego zwiększenie długości losowego marszu niczego nie zmieni.$1/2$$n$

Istnieje możliwość wprowadzenia w błąd co do standardowych warunków. Bezwzględna korelacja, o której mowa w pytaniu, wraz ze statystykami, które ją tworzą - wariancje i kowariancje - są formułami, które można zastosować do dowolnej pary realizacji przypadkowych spacerów. Pytanie dotyczy tego, co dzieje się, gdy spojrzymy na wiele niezależnych realizacji. W tym celu musimy wziąć pod uwagę oczekiwania dotyczące losowego marszu.

---

(Edytować)

Zanim przejdziemy dalej, chcę podzielić się z Wami pewnymi spostrzeżeniami graficznymi. Para niezależnych losowych spacerów to losowy spacer w dwóch wymiarach. Możemy wykreślić ścieżkę, która prowadzi od każdego do . Jeśli ta ścieżka zmierza w dół (od lewej do prawej, wykreślona na zwykłych osiach XY), to aby zbadać bezwzględną wartość korelacji , zanegujmy wszystkie wartościWykreśl spacery na osiach o wymiarach zapewniających wartości i równych odchyleń standardowych i nałóż dopasowanie do najmniejszych kwadratów$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$$Y$$Y$$X$. Nachylenia tych linii będą bezwzględnymi wartościami współczynników korelacji, wynoszącymi zawsze między a .$0$$1$

Ten rysunek pokazuje takich spacerów, każdy o długości (ze standardowymi różnicami normalnymi). Małe otwarte kółka oznaczają ich punkty początkowe. Cienie zaznaczają swoje ostateczne położenie.$15$$960$

Te stoki wydają się być dość duże. Idealnie losowe wykresy rozrzutu tych wielu punktów zawsze miałyby zbocza bardzo zbliżone do zera. Gdybyśmy musieli opisać pojawiające się tutaj wzory, moglibyśmy powiedzieć, że większość losowych spacerów 2D stopniowo migruje z jednego miejsca do drugiego. (Jednak niekoniecznie są to lokalizacje początkowe i końcowe!) Mniej więcej w połowie przypadków migracja odbywa się w kierunku ukośnym - a nachylenie jest odpowiednio duże.

Pozostała część tego postu szkicuje analizę tej sytuacji.

---

Spacer losowy jest sekwencją sum częściowych gdzie są niezależnymi identycznie rozmieszczonymi zmiennymi o zerowej średniej. Niech ich powszechną wariancją będzie .$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

W realizacji takiego marszu „wariancja” byłaby obliczana tak, jakby to był dowolny zestaw danych:$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Dobrym sposobem na obliczenie tej wartości jest pobranie połowy średniej wszystkich kwadratowych różnic:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

Gdy jest postrzegane jako wynik przypadkowej spacer w krokach, oczekiwanie to jest$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

Różnice są sumami zmiennych iid,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

Rozwiń kwadrat i weź oczekiwania. Ponieważ są niezależne i mają zero środków, oczekiwania wszystkich krzyżówek są zerowe. To pozostawia tylko warunki takie jak , którego oczekiwanie to . A zatem$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

Łatwo to wynika

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

Kowariancja między dwiema niezależnymi realizacjami i ponownie w sensie zestawów danych, a nie zmiennych losowych - może być obliczona za pomocą tej samej techniki (ale wymaga to więcej pracy algebraicznej; zaangażowana jest poczwórna suma). W rezultacie oczekiwany kwadrat kowariancji wynosi$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

W związku z tym oczekiwanie na kwadratowy współczynnik korelacji między i , wzięty do kroków, wynosi$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Chociaż nie jest to stałe, szybko zbliża się do wartości granicznej . Jego pierwiastek kwadratowy, około , przybliża zatem oczekiwaną wartość bezwzględną (i nie docenia jej).$9/40$$0.47$$\rho(n)$

---

Jestem pewien, że popełniłem błędy obliczeniowe, ale symulacje potwierdzają asymptotyczną dokładność. W poniższych wynikach pokazujących histogramy dla symulacji każda, pionowe czerwone linie pokazują średnie, a przerywane niebieskie linie pokazują wartość formuły. Oczywiście jest to niepoprawne, ale asymptotycznie ma rację. Najwyraźniej cały rozkład zbliża się do limitu wraz ze wzrostem . Podobnie rozkład(która jest ilością odsetek) zbliży się do limitu.1000 ρ 2 ( n ) n | ρ ( n ) $\rho^2(n)$$1000$$\rho^2(n)$$n$$|\rho(n)|$

To jest Rkod do stworzenia figury.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}