Estymacja parametru LogLikelihood dla liniowego Gaussowskiego filtra Kalmana

Napisałem kod, który potrafi filtrować Kalmana (używając wielu różnych filtrów typu Kalmana [Information Filter i in.]) Dla liniowej analizy przestrzeni stanu gaussowskiego dla n-wymiarowego wektora stanu. Filtry działają świetnie i otrzymuję niezłą wydajność. Jednak oszacowanie parametru za pomocą oszacowania wiarygodności logicznej mnie dezorientuje. Nie jestem statystykiem, ale fizykiem, więc proszę bądź miły.

Rozważmy liniowy model Gaussian State Space

y_{t} = Z_{t} α_{t} + ϵ_{t},

$y_t = \mathbf{Z}_{t}\alpha_{t} + \epsilon_{t},$

α_{t + 1} = T_{t} α_{t} + R_{t} η_{t},

$\alpha_{t + 1} = \mathbf{T}_{t}\alpha_{t} + \mathbf{R}_{t}\eta_{t},$

gdzie $y_{t}$ jest naszym wektorem obserwacji, $\alpha_{t}$ naszym wektorem stanu w kroku czasowym $t$ . Ilości pogrubione to macierze transformacji modelu przestrzeni stanów, które są ustawione zgodnie z charakterystyką rozważanego układu. Mamy też

ϵ_{t} \sim N I D (0, H_{t}),

$\epsilon_{t} \sim NID(0, \mathbf{H}_{t}),$

η_{t} \sim N I D (0, Q_{t}),

$\eta_{t} \sim NID(0, \mathbf{Q}_{t}),$

α_{1} \sim N I D (a_{1}, P_{1}) .

$\alpha_{1} \sim NID(a_{1}, \mathbf{P}_{1}).$

gdzie . Teraz wyprowadziłem i zaimplementowałem rekursję dla filtru Kalmana dla tego ogólnego modelu przestrzeni stanów, zgadując początkowe parametry i macierze wariancji i Mogę tworzyć wykresy takie jak $t = 1,\ldots, n$ $\mathbf{H}_{1}$ $\mathbf{Q}_{1}$

Filtr Kalmana

gdzie punktami są poziomy wody w Nilu dla stycznia ponad 100 lat, linia jest stanem szacunkowym Kalamn, a linie przerywane to 90% poziom ufności.

$\mathbf{H}_{t}$ $\mathbf{Q}_{t}$ $\sigma_{\epsilon}$ $\sigma_{\eta}$

\log L (Y_{n}) = - \frac{n p}{2} \log (2 π) - \frac{1}{2} \sum_{t = 1}^{n} (l o g | F_{t} | + v_{t}^{T} F_{t}^{- 1} v_{t})

$\log L(Y_{n}) = -\frac{np}{2}\log(2\pi) - \frac{1}{2}\sum^{n}_{t = 1}(log|\mathbf{F}_{t}| + v^{\mathsf{T}}_{t}\mathbf{F}_{t}^{-1}v_{t})$

$v_{t}$ $\mathbf{F}_{t}$ $L$ $\sigma_{\epsilon}$ $\sigma_{\eta}$ $\sigma_{\epsilon}$ $\sigma_{\eta}$

Dziękuję za Twój czas.

$\mathbf{H}_{t} = \sigma^{2}_{\epsilon}$ $\mathbf{H}_{t} = \sigma^{2}_{\eta}$

— Księżycowy rycerz
źródło

$\sigma_\epsilon^2$ $\sigma^2_\eta$ $\nu_t$ $\boldsymbol{F_t}$ $\log L(Y_n)$

Innymi słowy, można traktować filtr Kalmana jako sposób na obliczenie domyślnej funkcji i . Jedyne, co musisz zrobić, to spakować to obliczenie do funkcji lub podprogramu i obsłużyć tę funkcję w procedurze optymalizacji - podobnie jak w R. Ta funkcja powinna akceptować jako dane wejściowe i i zwróć . $\sigma_\epsilon^2$ $\sigma^2_\eta$ optim $\sigma_\epsilon^2$ $\sigma^2_\eta$ $\log L(Y_n)$

Niektóre pakiety w R (np. dlm) Robią to za Ciebie (patrz np. Funkcja dlmMLE).

— F. Tusell
źródło

Dzięki za odpowiedź. Rozumiem, że wydaje mi się, że mam wszystkie składniki wymagane do jawnego obliczenia prawdopodobieństwa logarytmu, jednak wszystkie odniesienia, które wydaje mi się sugerować, używają i jako niewiadomych w funkcji loglikelihood i maksymalizują to przy użyciu Newtona metoda typu? To mnie dezorientuje; „logiczne prawdopodobieństwo jest zmaksymalizowane numerycznie w odniesieniu do nieznanego wektora stanu” - jak?

σ_{ϵ}

$\sigma_\epsilon$

σ_{η}

$\sigma_\eta$

— MoonKnight

Obliczenie prawdopodobieństwa nie jest tak jednoznaczne, że i nie pojawiają się jawnie w wyrażeniu . Wpływają raczej na prawdopodobieństwo poprzez i . Dlatego musisz uruchomić filtr Kalmana, aby obliczyć dla każdej pary wartości i . Po zakodowaniu tego w postaci funkcji, obsłużysz to do funkcji maksymalizującej typu Newtona (lub dowolnej innej funkcji) i to wszystko.

σ_{ϵ}

$\sigma_\epsilon$

σ_{η}

$\sigma_\eta$

\log L (Y_{n})

$\log L(Y_n)$

ν_{t}

$\nu_t$

F_{t}

$\boldsymbol{F_t}$

\log L (Y_{n})

$\log L(Y_n)$

σ_{ϵ}

$\sigma_\epsilon$

σ_{η}

$\sigma_\eta$

— F. Tusell,

Zdarza się, że mam szczegółowy kod (w R) pokazujący, jak to zrobić dokładnie dla danych Nilu. Używam tego jako ilustracji dla moich uczniów. Niestety jest w języku hiszpańskim, ale mam nadzieję, że kod jest dość przejrzysty (i mogę przetłumaczyć komentarze, jeśli nie). Możesz pobrać ten przykład z et.bs.ehu.es/~etptupaf/N4.html .

— F. Tusell,

Jest to bardzo pomocne. Bardzo dziękuje za twój czas. Twój komentarz bardzo pomógł! Czasami trudno „zobaczyć drewno drzew”, a wyjaśnienie czegoś prostego jest wszystkim, czego potrzeba ... Jeszcze raz dziękuję.

— MoonKnight

Chciałbym również zapytać, czy mógłbym zajrzeć na stronę, na której przechodzisz przez rekursję wygładzania stanu. Twoje wygładzanie wygląda lepiej niż moje i nie jestem pewien, dlaczego !? Próbowałem go znaleźć na twojej stronie, ale nie mogę znaleźć wymaganej strony ...

— MoonKnight