Proces Markowa tylko w zależności od poprzedniego stanu

Chciałbym tylko, aby ktoś potwierdził moje zrozumienie lub jeśli czegoś mi brakuje.

Definicja procesu markowa mówi, że następny krok zależy tylko od aktualnego stanu, a nie od poprzednich stanów. Powiedzmy, że mieliśmy przestrzeń stanu a, b, c, d i przechodzimy od a-> b-> c-> d. Oznacza to, że przejście na d mogło zależeć tylko od tego, że byliśmy w c.

Czy to prawda, że ​​można po prostu uczynić model bardziej złożonym i „obejść” to ograniczenie? Innymi słowy, jeśli twoją przestrzenią stanu były teraz aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, co oznacza, że ​​twoja nowa przestrzeń stanu staje się poprzedni stan w połączeniu z bieżącym stanem, wówczas powyższe przejście byłoby * a-> ab-> bc-> cd, więc przejście na cd (równoważne w poprzednim modelu na d) jest teraz „zależne” od stanu, który, jeżeli jest inaczej modelowany, to poprzedni stan (nazywam go poniżej stanem podrzędnym).

Czy mam rację, że można sprawić, by „zależało od poprzednich stanów (podstanów)” (wiem technicznie, że nie ma tego w nowym modelu, ponieważ stan podrzędny nie jest już stanem rzeczywistym) utrzymywać właściwość markowa poprzez rozwinięcie przestrzeń państwowa tak jak ja? Tak więc można w efekcie stworzyć proces markowa, który mógłby zależeć od dowolnej liczby poprzednich pod-stanów.

Technicznie oba opisane procesy są łańcuchami Markowa. Różnica polega na tym, że pierwszy to łańcuch markowa pierwszego rzędu, podczas gdy drugi to łańcuch markowa drugiego rzędu. I tak, można przekształcić łańcuch markowa drugiego rzędu w łańcuch markowa pierwszego rzędu poprzez odpowiednią zmianę definicji przestrzeni stanu. Pozwól mi wyjaśnić na przykładzie.

Załóżmy, że chcemy modelować pogodę jako proces stochastyczny i załóżmy, że każdego dnia pogoda może być deszczowa, słoneczna lub pochmurna. Niech będzie pogodą w danym dniu i oznaczmy możliwe stany symbolami (dla deszczu), dla (słońca) i (dla deszczu). R S $W_t$$R$$S$$C$

Łańcuch Markowa pierwszego rzędu

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Łańcuch Markowa drugiego rzędu

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

Łańcuch markowa drugiego rzędu można przekształcić w łańcuch markowa pierwszego rzędu, ponownie definiując przestrzeń stanu w następujący sposób. Definiować:

$Z_{t-1,t}$ jako pogoda przez dwa kolejne dni.

Innymi słowy, przestrzeń stanu może przyjąć jedną z następujących wartości: , , , , , , , i . Dzięki tej ponownie zdefiniowanej przestrzeni stanów mamy:R C R S C R C C C S S R S C S $RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Powyżej jest wyraźnie łańcuch markowa pierwszego rzędu w ponownie zdefiniowanej przestrzeni stanów. Jedną różnicą w porównaniu z łańcuchem markowa drugiego rzędu jest to, że na nowo zdefiniowany łańcuch markowa należy podać dwa początkowe stany początkowe, tzn. Łańcuch należy rozpocząć od pewnych założeń dotyczących pogody w dniu 1 i dniu 2.

Definicja procesu markowa mówi, że następny krok zależy tylko od aktualnego stanu, a nie od poprzednich stanów.

Jest to właściwość Markowa i definiuje MC pierwszego rzędu , które jest bardzo łatwe w matematyce i dość łatwe do przedstawienia / wyjaśnienia. Oczywiście możesz mieć MC rzędu (gdzie następny stan zależy od aktualnego i przeszłego stanu ), a także MC rzędu zmiennego (gdy długość pamięci jest stała, ale zależy od poprzedniego stanu ).$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Możesz rzucić okiem na ostatnie artykuły, takie jak wielowariantowe łańcuchy Markowa wyższego rzędu i ich zastosowania, ponieważ ta dziedzina szybko się rozwija.