Jaka jest różnica między ergodycznym a stacjonarnym?

Mam problem z rozróżnieniem tych dwóch pojęć. To moje dotychczasowe zrozumienie.

Proces stacjonarny jest procesem stochastycznym, którego właściwości statystyczne nie zmieniają się z czasem. Dla ściśle stacjonarnego procesu oznacza to, że jego łączny rozkład prawdopodobieństwa jest stały; dla szeroko zakrojonego procesu stacjonarnego oznacza to, że jego pierwszy i drugi moment są stałe.

Proces ergodyczny to taki, w którym jego właściwości statystyczne, takie jak wariancja, można wywnioskować z wystarczająco długiej próbki. Na przykład średnia próbki jest zbieżna z prawdziwą średnią sygnału, jeśli uśrednia się wystarczająco długo.

Teraz wydaje mi się, że sygnał musiałby być stacjonarny, aby był ergodyczny.

• I jakie sygnały mogą być stacjonarne, ale nie ergodyczne?
• Jeśli na przykład sygnał ma tę samą wariancję przez cały czas, to w jaki sposób wariancja uśredniona w czasie może nie zbiegać do prawdziwej wartości?
• Więc jaka jest prawdziwa różnica między tymi dwoma pojęciami?
• Czy możesz podać mi przykład procesu, który jest stacjonarny bez bycia ergodycznym, lub ergodyczny bez bycia stacjonarnym?

Proces losowy to zbiór zmiennych losowych, po jednej dla każdej rozważanej chwili. Zazwyczaj może to być czas ciągły ( ) lub czas dyskretny (wszystkie liczby całkowite lub wszystkie momenty czasu gdzie jest przedziałem próbkowania). $-\infty < t < \infty$$n$$nT$$T$

• Stacjonarność odnosi się do rozkładów zmiennych losowych. W szczególności w procesie stacjonarnym wszystkie zmienne losowe mają tę samą funkcję rozkładu, a bardziej ogólnie, dla każdej dodatniej liczby całkowitej i instancji czasu , łączny rozkład zmiennych losowych jest taki sam jak wspólna dystrybucja . Oznacza to, że jeśli przesuniemy wszystkie instancje czasu o , statystyczny opis procesu w ogóle się nie zmieni: proces jest stacjonarny$n$$n$$t_1, t_2, \ldots, t_n$$n$$X(t_1), X(t_2), \cdots, X(t_n)$$X(t_1+\tau), X(t_2+\tau), \cdots, X(t_n+\tau)$$\tau$.
• Z drugiej strony, Ergodicity nie patrzy na właściwości statystyczne zmiennych losowych, ale na ścieżki próbek , czyli to, co obserwujesz fizycznie. Wracając do zmiennych losowych, pamiętaj, że zmienne losowe są odwzorowaniami z przestrzeni próbki na liczby rzeczywiste; każdy wynik jest odwzorowany na liczbę rzeczywistą, a różne zmienne losowe zwykle odwzorowują dowolny wynik na różne liczby. Wyobraź sobie więc, że jakaś wyższa istota przeprowadziła eksperyment, w wyniku którego w przestrzeni próbki uzyskano wynik , a wynik ten został odwzorowany na (zwykle różne) liczby rzeczywiste przez wszystkie zmienne losowe w tym procesie: w szczególności losowe zmienna zmapowała$\omega$$X(t)$$\omega$na liczbę rzeczywistą oznaczymy jako . Te numery , traktowane jako kształt fali, to próbka ścieżki odpowiadające oraz różne efekty daje nam różne ścieżki próbki. Ergodyczność zajmuje się następnie właściwościami ścieżek próbki i tym, jak te właściwości odnoszą się do właściwości zmiennych losowych wchodzących w skład procesu losowego.$x(t)$x ( t ) ω $x(t)$$\omega$

Teraz dla przykładowej ścieżki z procesu stacjonarnego możemy obliczyć średni czas ale co ma wspólnego z , średnią z losowego procesu? (Zauważ, że nie ma znaczenia, której wartości używamy; wszystkie zmienne losowe mają ten sam rozkład, a zatem mają tę samą średnią (jeśli średnia istnieje)). Jak mówi OP, średnia wartość lub składnik DC ścieżki próbki jest zbieżny ze średnią wartością procesu, jeśli ścieżka próbki jest wystarczająco długo obserwowana, pod warunkiem, że proces jest ergodyczny$x(t)$ˉ x = 1

$$\bar{x} = \frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$$ $\bar{x}$$\mu = E[X(t)]$$t$i stacjonarne itp. Oznacza to, że ergodyczność pozwala nam połączyć wyniki dwóch obliczeń i stwierdzić, że równa się Proces, dla którego zachowuje się taka równość, mówi się , że jest -ergodyczny , a proces jest -ergodyczny, jeśli jego funkcja autokowariancji ma właściwość: $$\lim_{T\to \infty}\bar{x} = \lim_{T\to \infty}\frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$$
$$\mu = E[X(t)] = \int_{-\infty}^\infty uf_X(u) \,\mathrm du.$$ $C_X(\tau)$ $$\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^T C_X(\tau) \mathrm d\tau = 0.$$

Zatem nie wszystkie stacjonarne procesy muszą być wrednie ergodyczne. Ale są też inne formy ergodyczności. Na przykład w przypadku procesu autokowariancji-ergodycznej funkcja autokowariancji segmentu skończonego (powiedzmy dla ścieżki próbki zbieżna z funkcją autokowariancji procesu jako . Ogólne stwierdzenie, że proces jest ergodyczny, może oznaczać dowolną z różnych form lub określoną formę; po prostu nie można powiedzieć,$t\in (-T, T)$$x(t)$$C_X(\tau)$$T\to \infty$

Jako przykład różnicy między tymi dwoma pojęciami załóżmy, że dla wszystkich rozważanych . Tutaj jest zmienną losową. Jest to proces stacjonarny: każdy ma taki sam rozkład (mianowicie rozkład ), taką samą średnią , tę samą wariancję itp .; każdy i mają ten sam rozkład połączeń (choć jest zdegenerowany) i tak dalej. Ale proces ten nie jest ergodyczny, ponieważ każda ścieżka próbki jest stała . W szczególności, jeśli wynikiem próby eksperymentu (przeprowadzonej przez ciebie lub przez przełożonego) jest wynik$X(t) = Y$$t$$Y$$X(t)$$Y$$E[X(t)] = E[Y]$$X(t_1)$$X(t_2)$$Y$ ma wartość , wówczas ścieżka próbki losowego procesu, która odpowiada temu wynikowi eksperymentu, ma wartość dla wszystkich , a wartość DC ścieżki próbki wynosi , a nie , bez względu na to, jak długo obserwujesz (raczej nudną) ścieżkę próbki. W wszechświecie równoległym próba dałaby a ścieżka próbki w tym wszechświecie miałaby wartość dla wszystkich . Nie jest łatwo napisać matematyczne specyfikacje, aby wykluczyć takie trywialności z klasy procesów stacjonarnych, dlatego jest to bardzo minimalny przykład stacjonarnego losowego procesu, który nie jest ergodyczny.$\alpha$$\alpha$$t$$\alpha$$E[X(t)] = E[Y]$$Y = \beta$$\beta$$t$

Czy może istnieć losowy proces, który nie jest stacjonarny, ale ma charakter ergodyczny? Cóż, N0 , nie jeśli ergodic ma na myśli ergodic w każdy możliwy sposób: na przykład, jeśli mierzymy ułamek czasu, w którym długi odcinek ścieżki próbki ma wartość co najwyżej , jest to szacunek dobra , wartość (wspólny) CDF z „s w jeśli proces asumeed do bądź ergodyczny w odniesieniu do funkcji dystrybucji. Ale , my może mieć przypadkowych procesów, które są$x(t)$$\alpha$$P(X(t) \leq \alpha) = F_X(\alpha)$$F_X$$X(t)$$\alpha$nie stacjonarne, ale mimo to złośliwe i autokowariancyjne . Weźmy na przykład proces gdzie przyjmuje cztery równie prawdopodobne wartości i . Zauważ, że każdy jest dyskretną zmienną losową, która ogólnie przyjmuje cztery równie prawdopodobne wartości i , Łatwo zauważyć, że ogólnie i$\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$$\Theta$$0, \pi/2, \pi$$3\pi/2$$X(t)$$\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$$\cos(t+3\pi/2)=\sin(t)$$X(t)$$X(s)$mają różne rozkłady, więc proces nie jest nawet stacjonarny pierwszego rzędu. Z drugiej strony dla każdego gdy Krótko mówiąc, proces ma średnią zero, a jego funkcja autokorelacji (i autokowariancji) zależy tylko od różnicy czasu , więc proces jest

$$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$$ $t$ $$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$$ $t-s$szeroko rozumiany stacjonarny. Ale to nie jest stacjonarne pierwszego rzędu, a więc nie może być stacjonarne dla wyższych zamówień. Teraz, gdy eksperyment jest wykonywany i znana jest wartość , otrzymujemy funkcję przykładową, która wyraźnie musi być jedną z i które mają wartość DC równą , a którego funkcja autokorelacji to , to samo co , a zatem proces ten jest średnio-ergodyczny i autokorelacyjny-ergodic, nawet jeśli wcale nie jest stacjonarny. Na zakończenie zauważam, że proces nie jest ergodyczny w odniesieniu do funkcji dystrybucji$\Theta$$\pm \cos(t)$$\pm \sin(t)$$0$$0$$\frac 12 \cos(\tau)$$R_X(\tau)$oznacza to, że nie można powiedzieć, że jest ergodyczny pod każdym względem.

Rozważmy hipotetyczny losowy proces, w którym funkcje przykładowe są wartościami prądu stałego i różnią się od siebie:

X ₁ (t) = stała = średnia z X ₁ (t)

X ₂ (t) = stała = średnia z X ₂ (t)

Średnia czasowa i jest stała, ale nie równa. jeśli mój proces jest stacjonarny i są równe, a RV (patrz odpowiedź Dilipa)$X_1(t)$$X_2(t)$$X(t_1)$$X(t_2)$

Średnia zespolona jest stała.$X(t)$

Ta średnia zespolona z pewnością nie jest równa średniej czasowej i (one same nie są równe). Można to nazwać procesem stacjonarnym, ale nie ergodycznym.$X_1(t)$$X_2(t)$

W przeciwieństwie do tego, gdzie to RV jest ergodyczna.$X(t)=Acos(\omega t+\theta)$$\theta$

Mam nadzieję, że ten film (z Florida Institute of Technology. Zatytułowany „co to jest szeroko rozumiany staionarny, ścisły sens, sygnały ergodyczne” autorstwa dr Iviki Kostanic w jego klasie teorii komunikacji) z 16:55 rozwiąże twoje wątpliwości

Proces ergodyczny to proces, w którym można zastąpić środek ergodyczny środkiem czasowym.

Rzeczywisty środek, wariancja itp. Są definiowane poprzez śledzenie procesu w czasie i uśrednianie itp. Na przykład, jeśli chcesz poznać średnią z moich rozmiarów, musisz ją uśrednić od momentu mojego urodzenia do kiedy umrę. Oczywiście późniejszy przykład nie jest procesem stacjonarnym.

Środkiem ergodycznym byłoby, gdyby zamiast podążać za moim rozmiarem w czasie, zamroziłbyś czas i wziąłbyś go na próbkę różnych indywidualnych ludzi. Nie ma powodu, aby te dwa środki były takie same, więc proces mojego rozmiaru nie jest ergodyczny.

To zły przykład, ale staje się ważniejszy, jeśli weźmie się pod uwagę prosty przypadek gazu w równowadze. Na przykład zanotowano średnią prędkość do kwadratu (średnia w czasie), ale często oblicza się ją, przyjmując zespół średnią : średnią prędkości kwadratowej wszystkich cząsteczek gaz w jednej chwili .$\bar{V^2}$$\left< V^2 \right>$$t$

Większość twierdzeń termodynamicznych wymaga użycia , ale łatwiej jest obliczyć i użyć . Hipoteza ergodyczna jest hipotezą stwierdzającą, że słuszne jest zastąpienie jednego drugim. Proces ergodyczny to proces, dla którego hipoteza ergodyczna jest prawdziwa.$\bar{V^2}$$\left< V^2 \right>$

Hipoteza ergodyczna jest fałszywa w ogólnym przypadku.

Na przykład przeciwnego przypadku (tj. Przypadkowego procesu, który jest ergodyczny, ale nie stacjonarny), rozważ proces białego szumu, którego amplituda modulowana jest przez deterministyczną falę kwadratową. Średnia czasowa każdej funkcji próbki jest równa zero, podobnie jak średnia zespolona w całym czasie. Więc proces jest ergodyczny. Jednak wariancja dowolnej funkcji próbki pokazuje pierwotną zależność fali prostokątnej od czasu, więc proces nie jest stacjonarny.

Ten konkretny przykład jest stacjonarny o szerokim znaczeniu, ale można wymyślić pokrewne przykłady, które wciąż są ergodyczne, ale nawet nie mają szerokiego sensu.

jak nie doceniam, poniższy przykład pokazuje ergodyczny i stacjonarny proces

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

oznacza 2 2 2 var 1

ponieważ średnia i wariancja każdej kolumny jest stała w czasie, a średnia i wariancja każdego rzędu jest stała w czasie