W jaki sposób łańcuch Markowa jest nieredukowalny?

Mam problem ze zrozumieniem nieredukowalnej własności łańcucha Markowa .

Mówi się, że nieredukowalny oznacza, że ​​proces stochastyczny może „przejść z dowolnego stanu do dowolnego stanu”.

Ale co określa, czy może przejść ze stanu do stanu , czy nie może przejść?$i$$j$

---

Strona wikipedia zawiera formalizację:

Stan jest dostępny (zapisany ) ze stanu , jeśli istnieje liczba całkowita st $j$$i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

wtedy komunikacja jest wtedy, gdy i .$i\rightarrow j$$j \rightarrow i$

Z tych nieredukowalności wynika jakoś.

Oto trzy przykłady macierzy przejściowych, pierwsze dwa dla przypadku redukowalnego, ostatni dla przypadku nieredukowalnego.

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ Dla $P_1$, gdy jesteś w stanie 3 lub 4, pozostaniesz tam i to samo dla stanów 1 i 2. Na przykład nie ma możliwości przejścia ze stanu 1 do stanu 3 lub 4.

Dla $P_2$, możesz dostać się do dowolnego stanu od stanów 1 do 3, ale kiedy będziesz w stanie 4, pozostaniesz tam.

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ W tym przykładzie możesz zacząć w dowolnym stanie i nadal możesz osiągnąć dowolny inny stan, choć niekoniecznie w jednym kroku.

Stan $j$ mówi się, że jest dostępny ze stanu $i$ (zwykle oznaczony przez $i \to j$), jeśli istnieje $n\geq 0$ takie, że:

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ Oznacza to, że można uzyskać od państwa $i$ do państwa $j$ w $n$ kroki z prawdopodobieństwem $p^n_{ij}$.

Jeśli oba $i\to j$ i $j\to i$ zachowaj prawdę wtedy stany $i$ i $j$ komunikować się (zwykle oznaczony przez $i\leftrightarrow j$). Dlatego łańcuch Markowa jest nieredukowalny, jeśli oba dwa państwa się komunikują.

Pozwolić $i$ i $j$być dwoma odrębnymi stanami Łańcucha Markowa. Jeśli istnieje pewne pozytywne prawdopodobieństwo, że proces przejdzie ze stanu$i$ określić $j$, niezależnie od liczby kroków (powiedzmy 1, 2, 3$\cdots$), wtedy mówimy o tym stanie $j$ jest dostępny ze stanu $i$.

Notacyjnie wyrażamy to jako $i\rightarrow j$. Pod względem prawdopodobieństwa wyraża się w następujący sposób: stan$j$ jest dostępny ze stanu $i$, jeśli istnieje liczba całkowita $m>0$ takie, że $p_{ij}^{(m)}>0$.

Podobnie mówimy, że $j\rightarrow i$, jeśli istnieje liczba całkowita $n>0$ takie, że $p_{ji}^{(n)}>0$.

Teraz, jeśli jedno i drugie $i\rightarrow j$ i $j\rightarrow i$ są prawdziwe, wtedy mówimy, że państwa $i$ i $j$ komunikują się ze sobą i jest notowane jako $i \leftrightarrow j$. Pod względem prawdopodobieństwa oznacza to, że istnieją dwie liczby całkowite$m>0,\;\; n>0$ takie, że $p_{ij}^{(m)}>0$ i $p_{ji}^{(n)}>0$.

Jeśli wszystkie stany w łańcuchu Markowa należą do jednej zamkniętej komunikującej się klasy , łańcuch ten nazywany jest nieredukowalnym łańcuchem Markowa . Nieredukowalność jest właściwością łańcucha.

W nieredukowalnym łańcuchu Markowa proces może przechodzić z dowolnego stanu do dowolnego stanu , niezależnie od liczby wymaganych kroków.

Niektóre z istniejących odpowiedzi wydają mi się niepoprawne.

Jak zacytował J. Medhi w Stochastic Processes (str. 79, wydanie 4), łańcuch Markowa jest nieredukowalny, jeśli nie zawiera żadnego odpowiedniego „zamkniętego” podzbioru innego niż przestrzeń stanu.

Jeśli więc w macierzy prawdopodobieństwa przejścia istnieje podzbiór stanów, w którym nie można „dotrzeć” (ani uzyskać dostępu) do innych stanów oprócz tych stanów, łańcuch Markowa można zredukować. W przeciwnym razie łańcuch Markowa jest nieredukowalny.

Najpierw słowo ostrzeżenia: nigdy nie patrz na matrycę, chyba że masz poważny powód: jedyne, o czym myślę, to sprawdzanie błędnie wpisanych cyfr lub czytanie w podręczniku.

Gdyby $P$ to twoja macierz przejścia, oblicz $\exp(P)$. Jeśli wszystkie wpisy są niezerowe, to macierz jest nieredukowalna. W przeciwnym razie można go zredukować. Gdyby$P$ jest za duży, oblicz $P^n$ z $n$tak duży, jak możesz. Ten sam test, nieco mniej dokładny.

Nieredukowalność oznacza: możesz przejść z dowolnego stanu do dowolnego innego stanu w skończonej liczbie kroków.

Na przykładzie Christopha Hancka $P_3$, nie możesz przejść bezpośrednio ze stanu 1 do stanu 6, ale możesz przejść 1 -> 2 -> 6