Przyrostowa regresja procesu Gaussa

Chcę wdrożyć przyrostową regresję procesu gaussowskiego za pomocą przesuwanego okna nad punktami danych, które docierają jeden po drugim przez strumień.

Pozwolić $d$oznacz wymiarowość przestrzeni wejściowej. Więc każdy punkt danych$x_i$ ma $d$ liczba elementów.

Pozwolić $n$ być wielkości przesuwanego okna.

Aby dokonać prognoz, muszę obliczyć odwrotność macierzy gramowej $K$, gdzie $K_{ij} = k(x_i, x_j)$ a k to kwadratowe jądro wykładnicze.

Aby uniknąć powiększania się K z każdym nowym punktem danych, pomyślałem, że mogę usunąć najstarszy punkt danych przed dodaniem nowych punktów i w ten sposób zapobiegnę wzrostowi gramów. Na przykład let$K = \phi(X)^{T}\Sigma\phi(X)$ gdzie $\Sigma$ jest kowariancją wag i $\phi$ jest niejawną funkcją odwzorowania sugerowaną przez kwadratowe jądro wykładnicze.

Teraz pozwól $X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$] i $X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$ gdzie $x$są $d$ przez $1$ macierze kolumnowe.

Potrzebuję skutecznego sposobu na znalezienie $K_{new}^{-1}$ potencjalnie używając $K$. Nie wygląda to na odwrotność zaktualizowanego problemu macierzy 1, który można skutecznie rozwiązać formułą Shermana-Morrisona.

Jest kilka algorytmów rekurencyjnych. Powinieneś rzucić okiem na algorytm rekurencyjnych algorytmów najmniejszych kwadratów jądra (KRLS) i powiązane algorytmy GP online.

• Van Vaerenbergh, S., Santamaria, I., Liu, W., i Principe, JC (2010). Rekurencyjne najmniejszych kwadratów jądra o stałym budżecie . W przetwarzaniu mowy i sygnałów akustycznych (ICASSP), Międzynarodowa konferencja IEEE 2010 na, strony 1882–1885. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S., i Santamaria, I. (2011). Bayesowskie podejście do śledzenia za pomocą rekurencyjnych najmniejszych kwadratów jądra . In Machine Learning for Signal Processing (MLSP), 2011 Międzynarodowe warsztaty IEEE na, strony 1-6. IEEE.
• Perez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M., i Santamaria, I. (2013). Procesy Gaussa do nieliniowego przetwarzania sygnałów: przegląd najnowszych osiągnięć . Magazyn przetwarzania sygnałów IEEE, 30 (4): 40–50.

Stopniowe szacowanie modeli GP jest dobrze badane w literaturze. Podstawową ideą jest warunkowanie wszystkich nowych obserwacji, które chcesz przewidzieć, uwarunkowanie na jeden krok do przodu i robienie tego wielokrotnie. To staje się jakoś bliskie filtrowaniu Kalmana.