Dlaczego prawdopodobieństwo w filtrze Kalmana jest obliczane przy użyciu wyników filtru zamiast wyników płynniejszych?

11

Używam filtra Kalmana w bardzo standardowy sposób. System jest reprezentowany przez równanie stanu i równanie obserwacyjne . $x_{t+1}=Fx_{t}+v_{t+1}$ $y_{t}=Hx_{t}+Az_{t}+w_{t}$

Podręczniki uczą, że po zastosowaniu filtru Kalmana i uzyskaniu „prognoz o jeden krok do przodu” (lub „filtrowanego oszacowania”), powinniśmy użyć ich do obliczenia funkcji prawdopodobieństwa: $\hat{x}_{t|t-1}$

$f_{y_{t}|\mathcal{I}_{t-1},z_{t}}\left(y_{t}|\mathcal{I}_{t-1},z_{t}\right)=\det\left[2\pi\left(HP_{t|t-1}H^{\prime}+R\right)\right]^{-\frac{1}{2}}\exp\left\{ -\frac{1}{2}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)^{\prime}\left(HP_{t|t-1}H^{\prime}+R\right)^{-1}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)\right\}$

Moje pytanie brzmi: dlaczego funkcja prawdopodobieństwa jest obliczana przy użyciu „oszacowania filtrowanego” $\hat{x}_{t|t-1}$ a nie „wygładzonego oszacowania” $\hat{x}_{t|T}$ ? Czy $\hat{x}_{t|T}$ jest lepszym oszacowaniem wektora stanu?

likelihood kalman-filter

— Gustavo Amarante
źródło

Zredagowałem tytuł, aby uzyskać więcej informacji.

— Juho Kokkala,

5

Aby odpowiedzieć na twoje pytanie: możesz użyć gęstości wygładzania. Ale nie musisz. Odpowiedź Jarle Tufto ma rozkład, którego używasz. Ale są też inni.

Korzystanie z Kalman Recursions

Tutaj oceniasz prawdopodobieństwo jako

fa (y_{1}, \dots, y_{n}) = fa (y_{1}) \prod_{ja = 2)}^{n} fa (y_{ja} | y_{1}, \dots, y_{ja - 1}) .

$f(y_1, \ldots, y_n) = f(y_1)\prod_{i=2}^nf(y_i|y_1, \ldots, y_{i-1}).$

Jednak średnie i wariancje nie zawsze w pełni definiują rozkłady prawdopodobieństwa w ogóle. Poniżej znajduje się rozkład, którego używasz, aby przejść z filtrowania dystrybucji do prawdopodobieństw warunkowych $f(x_{i-1}|y_1,\ldots,y_{i-1})$ $f(y_i|y_1,\ldots,y_{i-1})$ :

\begin{matrix} (1) & fa (y_{ja} | y_{1}, \dots, y_{ja - 1}) = \iint fa (y_{ja} | x_{ja}) fa (x_{ja} | x_{ja - 1}) fa (x_{ja - 1} | y_{1}, \dots, y_{ja - 1}) re x_{ja} re x_{ja - 1} . \end{matrix}

$f(y_i|y_1, \ldots, y_{i-1}) = \iint f(y_i|x_i)f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1})dx_{i} dx_{i-1} \tag{1}.$

Tutaj to gęstość przejścia stanu ... część modelu, a to gęstość obserwacji ... część modelu ponownie. W swoim pytaniu piszesz je jako i $f(x_i|x_{i-1})$ $f(y_i|x_i)$ $x_{t+1}=Fx_{t}+v_{t+1}$ $y_{t}=Hx_{t}+Az_{t}+w_{t}$ . To jest to samo.

Gdy pojawi się rozkład predykcji stanu o jeden krok do przodu, jest to obliczanie $\int f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1}) dx_{i-1}$ . Po ponownej integracji uzyskujesz (1) całkowicie. Zapisujesz tę gęstość całkowicie w swoim pytaniu, i to jest to samo.

Tutaj używasz tylko rozkładów rozkładów prawdopodobieństwa i założeń dotyczących modelu. To obliczenie prawdopodobieństwa jest dokładnym obliczeniem. Nie ma nic uznaniowego, czego można by użyć, aby zrobić to lepiej lub gorzej.

Korzystanie z algorytmu EM

Według mojej wiedzy nie ma innego sposobu oceny prawdopodobieństwa bezpośrednio w tego rodzaju modelu przestrzeni stanów. Nadal jednak można wykonać oszacowanie maksymalnego prawdopodobieństwa, oceniając inną funkcję: można użyć algorytmu EM. W kroku Oczekiwanie (E-krok) obliczasz

\int fa (x_{1}, \dots, x_{n} | y_{1}, \dots y_{n}) \log fa (y_{1}, \dots, y_{n}, x_{1}, \dots, x_{n}) re x_{1 : n} = {mi}_{s m o o t h} [\log fa (y_{1}, \dots, y_{n}, x_{1}, \dots, x_{n})] .

$\int f(x_1, \ldots, x_n|y_1,\ldots y_n) \log f(y_1,\ldots,y_n,x_1, \ldots,x_n) dx_{1:n} = E_{smooth}[\log f(y_1,\ldots,y_n,x_1, \ldots,x_n)].$ Tutaj

f (y_{1}, \dots, y_{n}, x_{1}, \dots, x_{n})

$f(y_1,\ldots,y_n,x_1, \ldots,x_n)$ jest prawdopodobieństwem „kompletnych danych”, a ty bierzesz się za logarytm tego w odniesieniu do gęstości wygładzania połączenia. Często zdarza się, że ponieważ bierzesz dziennik tego pełnego prawdopodobieństwa danych, warunki dzielą się na sumy, a ze względu na liniowość operatora oczekiwania przyjmujesz oczekiwania w odniesieniu do krańcowych rozkładów wygładzania (tych wspominasz w swoim pytaniu).

Inne rzeczy

Czytałem w miejscach, że EM jest „bardziej stabilnym” sposobem na maksymalizację prawdopodobieństwa, ale tak naprawdę nigdy nie widziałem tego argumentu, ani też nie widziałem w ogóle tego słowa „stabilny”, ale też nie mam pojęcia naprawdę zbadałem to dalej. Żaden z tych algorytmów nie omija lokalnych / globalnych prób maksymalnych. Ja osobiście częściej używam Kalmana po prostu z przyzwyczajenia.

Prawdą jest, że wygładzone szacunki stanu mają zwykle mniejszą wariancję niż filtrowanie, więc myślę, że masz rację, jeśli chodzi o to, ale tak naprawdę nie używasz stanów. Prawdopodobieństwo, które próbujesz zmaksymalizować, nie jest funkcją stanów.

— Taylor
źródło

Jak różne są KF i EM? W końcu robią to samo w nieco podobny sposób.

— Mitch,

1

@Mitch To chyba coś, co zasługuje na coś więcej niż komentarz. Będzie to zależeć od tego, jakiego optymalizatora ogólnego zastosowania używasz z KF i jakiego typu EM używasz. Nie będę zbyt pewny, nie zaglądając w to.

— Taylor,

7

Ogólnie, według reguły produktu, dokładne prawdopodobieństwo można zapisać Z założenia modelu przestrzeni stanów wynika, że wektor oczekiwań i macierz wariancji każdego uwarunkowane wcześniejszymi obserwacjami można wyrazić jako i

fa (y_{1}, \dots, y_{n}) = fa (y_{1}) \prod_{ja = 2)}^{n} fa (y_{ja} | y_{1}, \dots, y_{ja - 1}) .

$f(y_1,\dots,y_n)=f(y_1)\prod_{i=2}^n f(y_i|y_1,\dots,y_{i-1}).$

y_{i}

$y_i$

\begin{aligned} mi (y_{ja} | y_{1}, \dots, y_{ja - 1}) & = mi (H. x_{t} + ZA z_{t} + w_{t} | y_{1}, \dots, y_{ja - 1}) \\ = H. mi (x_{t} | y_{1}, \dots, y_{ja - 1}) + ZA z_{t} + mi w_{t} \\ = H. {\hat{x}}_{t | t - 1} + ZA z_{t}, \end{aligned}

$\begin{align} E(y_i|y_1,\dots,y_{i-1}) &= E(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= HE(x_{t}|y_1,\dots,y_{i-1})+Az_{t}+Ew_{t} \\&= H\hat x_{t|t-1}+Az_{t}, \end{align}$

\begin{aligned} V. za r (y_{ja} | y_{1}, \dots, y_{ja - 1}) & = V. za r (H. x_{t} + ZA z_{t} + w_{t} | y_{1}, \dots, y_{ja - 1}) \\ = H. V. za r (x_{t} | y_{1}, \dots, y_{ja - 1}) {H.}^{'} + V. za r w_{t} \\ = H. {P.}_{t | t - 1} {H.}^{'} + R . \end{aligned}

$\begin{align} \mathrm{Var}(y_i|y_1,\dots,y_{i-1}) &= \mathrm{Var}(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= H\mathrm{Var}(x_{t}|y_1,\dots,y_{i-1})H'+ \mathrm{Var}w_t \\&= HP_{t|t-1}H'+R. \end{align}$ Daje to dokładne prawdopodobieństwo bez obliczania wygładzonych szacunków.

Chociaż oczywiście możesz użyć wygładzonych oszacowań, które faktycznie są lepszymi oszacowaniami nieznanych stanów, nie dałoby to funkcji prawdopodobieństwa. W rezultacie obserwowanej wartości do oszacowania własnej wartości oczekiwanej, więc wydaje się prawdopodobne, że doprowadziłoby to do pewnego błędu w uzyskanych szacunkach. $y_i$

— Jarle Tufto
źródło

0

Myślę, że lepszą odpowiedzią na to, „dlaczego” rozkład wygładzania nie jest używany (zazwyczaj), jest wydajność. Zasadniczo proste jest obliczenie (wygładzenie) marginalnego prawdopodobieństwa w sensie pominięcia w następujący sposób. Usuń obserwację j, uruchom Kalmana bardziej płynnie dla pozostałych danych. Następnie oceń prawdopodobieństwo niewidzialnego y (j). Powtórz to dla wszystkich j. Zsumuj prawdopodobieństwa dziennika. Szybsze wersje tego działają z (losowymi) blokami przetrzymywanych próbek (jak k-fold CV). Zauważ, że ten schemat wymaga bardziej ogólnej implementacji filtru / wygładzacza Kalmana, który może dowolnie pomijać aktualizacje pomiarowe w razie potrzeby. Przełożenie wstecz / wygładzające nie ma dostępu do pomiarów (algorytm RTS i tak) i pozostaje takie samo.

Jeśli szeregi czasowe są „wystarczająco długie”, prawdopodobnie nie ma pożytecznej korzyści z tego, ponieważ prawdopodobieństwo filtrowania „wypala” jego początkowe przemijanie. Ale jeśli zestaw danych jest krótki, bardziej kosztowne może być prawdopodobieństwo wygładzenia. Wygładzacz o ustalonym opóźnieniu może być rozwiązaniem pośrednim.

— Threepwood
źródło