Proces Gaussa: właściwości aproksymacji funkcji

Uczę się o procesie Gaussa i słyszałem tylko fragmenty. Byłbym wdzięczny za komentarze i odpowiedzi.

Czy w przypadku dowolnego zestawu danych prawdą jest, że aproksymacja funkcji procesu Gaussa dałaby zero lub pomijalny błąd dopasowania w punktach danych? W innym miejscu słyszałem również, że proces Gaussa jest szczególnie dobry w przypadku hałaśliwych danych. To wydaje się być w konflikcie z niskim błędem dopasowania dla jakichkolwiek zaobserwowanych danych?

Dodatkowo, dalej od punktów danych wydaje się, że istnieje większa niepewność (większa kowariancja). Jeśli tak, to czy zachowuje się jak modele lokalne (RBF itp.)?

Wreszcie, czy jest jakaś uniwersalna właściwość przybliżenia?

gaussian-process

— oalah
źródło

Załóżmy, że próbka danych to . Załóżmy również, że mamy funkcję kowariancji i średnią zero określoną dla procesu Gussian. Rozkład dla nowego punktu będzie Gaussa ze średnią $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k {K.}^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$ oraz odchylenia

Wektor

jest wektorem kowariancji, macierzy

V. (x) = k (x, x) - k {K.}^{- 1} k^{T.} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

jest macierzą kowariancji próbek. W przypadku, gdy dokonujemy prognozy przy użyciu średniej wartości rozkładu bocznego dlachwytówwłaściwości interpolacjipróbki. Naprawdę,

Nie dzieje się tak jednak, jeśli używamy regularyzacji, tj. Uwzględniamy termin białego szumu. w tym przypadku macierz kowariancji dla próbki ma postać

, ale dla kowariancji z rzeczywistymi wartościami funkcji mamy macierz kowariancji

, a średnia tylna to

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

m (X) = K. {K.}^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$

K + σ I

$K + \sigma I$

K

$K$

Ponadto regularyzacja sprawia, że problem jest bardziej stabilny obliczeniowo.

m (X) = K. (K. + σ ja)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$

Wybierając wariancję szumu możemy wybrać, czy chcemy interpolacji ( ), czy też chcemy obsługiwać głośne obserwacje ( jest duże). $\sigma$ $\sigma = 0$ $\sigma$

$k$ $O(n)$ $n$

— Aleksiej Zajcew
źródło