Jaka jest różnica między rozkładami „ograniczającymi” a „stacjonarnymi”?

Zadaję pytanie dotyczące łańcuchów Markowa, a dwie ostatnie części mówią:

Czy ten łańcuch Markowa ma ograniczający rozkład. Jeśli Twoja odpowiedź brzmi „tak”, znajdź dystrybucję ograniczającą. Jeśli Twoja odpowiedź brzmi „nie”, wyjaśnij dlaczego.

Czy ten łańcuch Markowa ma rozkład stacjonarny. Jeśli Twoja odpowiedź brzmi „tak”, znajdź rozkład stacjonarny. Jeśli Twoja odpowiedź brzmi „nie”, wyjaśnij dlaczego.

Jaka jest różnica? Wcześniej myślałem, że ograniczający rozkład miał miejsce, gdy opracowywałeś go za pomocą ale jest to macierz przejścia -tego kroku. Obliczyli rozkład graniczny za pomocą , co moim zdaniem było rozkładem stacjonarnym. $P = CA^n C^{-1}$ $n$ $\Pi = \Pi P$

Który więc który?

markov-process

— Kaish
źródło

Twój podręcznik może wprowadzać rozróżnienie, które nie jest uniwersalne: na przykład uwagi Karla Sigmana na temat ograniczania dystrybucji definiują dystrybucje „ograniczające” i „stacjonarne” jako synonimy (definicja 2.3 na dole str. 5). Dlatego musisz sprawdzić definicje w swoim podręczniku, aby ustalić różnicę.

— whuber

@ whuber Mówi coś takiego jak wypracowanie i to nie istnieje. Następnie mówi: „mimo że rozkład graniczny nie istnieje, to stacjonarne tak. Niech

będzie rozkładem stacjonarnym ....” Ale ja gwarantują, że wcześniej obliczyliście rozkład graniczny, rozwiązali go w ten sposób. Czy to ma dla ciebie sens?

lim_{n \to \infty} P_{i i}^{(n)}

$\lim_{n \rightarrow \infty} P_{ii}^{(n)}$

Π = (π_{0}, π_{1}, . . ., π_{n})

$\Pi = (\pi_0, \pi_1, ... ,\pi_n)$

— Kaish,

@ whuber Właściwie jestem teraz dość zdezorientowany, ponieważ w poprzednim pytaniu o ograniczanie dystrybucji nie satysfakcjonują równości

π_{0} + π_{1} + π_{2} = 1

$\pi_0 + \pi_1 + \pi_2 = 1$ , więc może jest inaczej?

— Kaish,

Rozkład stacjonarny to taki, który jest stabilny w czasie. O ile mi wiadomo, rozkład graniczny łańcucha Markowa jest stacjonarny, a jeśli łańcuch Markowa ma rozkład stacjonarny, jest to również rozkład graniczny.

— shadowtalker

Odpowiedz tutaj przez Andreasa może pomóc quora.com/…

— Siddharth Shakya

Odpowiedzi:

Z wprowadzenia do modelowania stochastycznego autorstwa Pinsky'ego i Karlina (2011):

Rozkład ograniczający, gdy istnieje, jest zawsze rozkładem stacjonarnym, ale odwrotność nie jest prawdą. Może istnieć rozkład stacjonarny, ale brak rozkładu ograniczającego. Na przykład nie ma ograniczającego rozkładu dla okresowego łańcucha Markowa, którego macierz prawdopodobieństwa przejścia to ale jest rozkładem stacjonarnym, ponieważ (s. 205).
$P = ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖$ $\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$ $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $(\frac{1}{2}, \frac{1}{2}) ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖ = (\frac{1}{2}, \frac{1}{2})$ $\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$

W poprzednim rozdziale są już zdefiniowany „ ograniczającej rozkład prawdopodobieństwa ” przez $\pi$

$lim_{n \to \infty} P_{i j}^{(n)} = π_{j} f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$

i równoważnie

$lim_{n \to \infty} \Pr {X_{n} = j | X_{0} = i} = π_{j} > 0 f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$ (str. 165).

Powyższy przykład oscyluje deterministycznie, a więc nie ma limitu w taki sam sposób, jak sekwencja nie ma limitu. $\{1,0,1,0,1,\dots\}$

Twierdzą, że regularny łańcuch Markowa (w którym wszystkie prawdopodobieństwa przejścia w kroku n są dodatnie) zawsze ma rozkład ograniczający i dowodzi, że musi to być unikalne nieujemne rozwiązanie

$π_{j} = \sum_{k = 0}^{N} π_{k} P_{k j}, j = 0, 1, \dots, N, \sum_{k = 0}^{N} π_{k} = 1$ $\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$ (str. 168 )

Następnie na tej samej stronie co w przykładzie piszą

Każdy zestaw spełniający (4.27) jest nazywany stacjonarnym rozkładem prawdopodobieństwa łańcucha Markowa. Termin „stacjonarny” wywodzi się z właściwości, którą łańcuch Markowa rozpoczął zgodnie z rozkładem stacjonarnym, podąża za tym rozkładem we wszystkich punktach czasowych. Formalnie, jeśli , to dla wszystkich . $(\pi_i)_{i=0}^{\infty}$ $\operatorname{Pr}\{X_0=i\}=\pi_i$ $\operatorname{Pr}\{X_n=i\}=\pi_i$ $n=1,2,\dots$

gdzie (4.27) jest zbiorem równań

$π_{i} \geq 0, \sum_{i = 0}^{\infty} π_{i} = 1, a n d π_{j} = \sum_{i = 0}^{\infty} π_{i} P_{i j} .$ $\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$

który jest dokładnie takim samym warunkiem stacjonarności jak powyżej, z wyjątkiem teraz z nieskończoną liczbą stanów.

Dzięki tej definicji stacjonarności stwierdzenie na stronie 168 można przekształcić z mocą wsteczną:

Ograniczający rozkład regularnego łańcucha Markowa jest rozkładem stacjonarnym.
Jeśli rozkład ograniczający łańcucha Markowa jest rozkładem stacjonarnym, wówczas rozkład stacjonarny jest unikalny.

— Shadowtalker
źródło

Czy możesz wyjaśnić, co rozumiesz przez „prawdopodobieństwo przejścia nie zmienia się w czasie” dla stacjonarności? Zarówno ograniczenie, jak i rozkład stacjonarny dotyczą prawdopodobieństw nad stanami.

— Juho Kokkala

Tak, widzę, że napisałeś własną odpowiedź, ale zreorganizowałem moją, aby była bardziej poprawna.

— shadowtalker

Nadal nie rozumiem. Mam na myśli, co masz na myśli mówiąc „z wyjątkiem nieskończonej liczby stanów…”? Czy możesz to wyjaśnić bardziej precyzyjnie?

— roni

@roni dwa wyrażenia są identyczne, jeśli pozwolisz

N = \infty

$N=\infty$

— shadowtalker

W pierwszym podświetlonym bloku jest rozkładem stacjonarnym dla przykładu, jednak nie ma żadnego ograniczenia granicznego, ponieważ oscyluje, a zatem nie ma stanu ustalonego. Czy to oznacza, że nie zagwarantuje istnienia stanu ustalonego, jeśli obliczony zostanie tylko rozkład stacjonarny?

π = (1 / 2, 1 / 2)

$\pi=(1/2,1/2)$

P^{n}

$P^{n}$

— Guoyang Qin

Rozkład stacjonarny jest takim rozkładem że jeśli rozkład między stanami w kroku wynosi , to również rozkład między stanami w kroku wynosi . Oznacza to, że Rozkład ograniczający jest takim rozkładem że bez względu na początkowy rozkład, rozkład między stanami jest zbieżny do jako liczba kroki idą w nieskończoność: niezależnie od $\pi$ $k$ $\pi$ $k+1$ $\pi$

π = π P .

$\begin{equation} \pi = \pi P. \end{equation}$

π

$\pi$

π

$\pi$

lim_{k \to \infty} π^{(0)} P^{k} = π,

$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$

π^{(0)}

$\pi^{(0)}$ . Rozważmy na przykład łańcuch Markowa, którego dwa stany są bokami monety, . Każdy krok polega na odwróceniu monety do góry nogami (z prawdopodobieństwem 1). Zauważ, że kiedy obliczamy rozkłady stanów, nie są one uzależnione od poprzednich kroków, tzn. Facet, który oblicza prawdopodobieństwa, nie widzi monety. Zatem macierz przejścia to Jeśli najpierw zainicjujemy monetę, losowo ją odwracając ( ), wówczas również wszystkie kolejne kroki czasowe będą przebiegać zgodnie z tym rozkładem. (Jeśli rzucisz uczciwą monetę, a następnie odwrócisz ją do góry nogami, prawdopodobieństwo głów wciąż wynosi ). A zatem,

{h e a d s, t a i l s}

$\{heads, tails\}$

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$

π^{(0)} = (\begin{matrix} 0.5 & 0.5 \end{matrix})

$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ to stacjonarna dystrybucja tego łańcucha Markowa.

Łańcuch ten nie ma jednak ograniczającego rozkładu: załóżmy, że inicjalizujemy monetę tak, aby była głową z prawdopodobieństwem . Następnie, ponieważ wszystkie kolejne stany są określane przez stan początkowy, po parzystej liczbie kroków stan przechodzi w głowę z prawdopodobieństwem a po nieparzystej liczbie kroków stan przechodzi w głowę z prawdopodobieństwem . Jest to ważne bez względu na to, ile kroków zostanie wykonanych, dlatego podział na stany nie ma ograniczeń. $2/3$ $2/3$ $1/3$

Teraz zmodyfikujmy proces, aby na każdym kroku niekoniecznie obracać monetą. Zamiast tego rzuca się kostką, a jeśli wynik to , moneta zostaje bez zmian. Ten łańcuch Markowa ma macierz przejścia Nie omawiając matematyki, zaznaczę, że proces ten „zapomni” stan początkowy z powodu losowego pominięcia tury. Po ogromnej liczbie kroków prawdopodobieństwo głów będzie bliskie , nawet jeśli wiemy, jak zainicjowano monetę. Zatem łańcuch ten ma ograniczającą dystrybucję . $6$

P = (\begin{matrix} 1 / 6 & 5 / 6 \\ 5 / 6 & 1 / 6 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$

0.5

$0.5$

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

— Juho Kokkala
źródło

Dobrze, że zapomniałem o stanie początkowym, całkowicie pochyliłem się nad tym w mojej odpowiedzi.

— shadowtalker

To wyjaśnienie pomaga mi wiele zrozumieć. Czy mogę powiedzieć, że istnienie stanu ustalonego jest równoważne istnieniu rozkładu ograniczającego? Ponieważ obliczenie rozkładu granicznego nie jest łatwe, często obliczamy rozkład stacjonarny, rozwiązując równania bilansowe. Myślałem jednak, że ta alternatywna metoda nie gwarantuje, że rozkład stacjonarny jest niezależny od stanów początkowych, dlatego wyjaśnia, dlaczego dla ma rozkład stacjonarny, ale brak stanu ustalonego niezależnego od stanów początkowych.

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

$P = \begin{pmatrix}0&1\\1&0\end{pmatrix}$

— Guoyang Qin

@GuoyangQin Jeśli masz nowe pytanie, możesz opublikować je jako pytanie (link do tego, jeśli pomaga w udzieleniu pytania). Chociaż pomyślałem, że „stan ustalony” w tym kontekście oznaczałby „rozkład stacjonarny”, więc najlepiej byłoby jasno zdefiniować termin w pytaniu

— Juho Kokkala,

Odkładając na bok notację, słowo „stacjonarne” oznacza „kiedy tam dotrzesz, pozostaniesz tam”; podczas gdy słowo „ograniczenie” oznacza „w końcu dotrzesz tam, jeśli posuniesz się wystarczająco daleko”. Pomyślałem, że to może być pomocne.

— Niebieskie niebo
źródło

Nie jest jasne, jak to się odnosi do pytania. Czy możesz wytłumaczyć?

— whuber

Cześć @ Whuber, mam na myśli, że rozkład ograniczający jest koniecznie rozkładem stacjonarnym, podczas gdy rozkład stacjonarny niekoniecznie jest rozkładem ograniczającym. Stąd różnica. Jest to zasadniczo to samo, co inne odpowiedzi, ale myślę, że łatwiej to zapamiętać.

— BlueSky,

Dziękujemy za wyjaśnienie: pokazuje nam, co próbujesz osiągnąć. Nie mogę jednak znaleźć żadnego rozsądnego sposobu interpretacji twojego opisu „stacjonarnego” w sposób zgodny z definicją matematyczną.

— whuber

Frazowanie @whuber BlueSky wydaje mi się niezwykle prostym, prostym angielskim pojęciem „stałego punktu” - nie jestem pewien, co może oznaczać twój obiekt.

— Richard Rast,