Korzyści z procesów gaussowskich

13

Mam to zamieszanie związane z korzyściami procesów Gaussa. Mam na myśli porównanie z prostą regresją liniową, w której zdefiniowaliśmy, że funkcja liniowa modeluje dane.

Jednak w procesach gaussowskich definiujemy rozkład funkcji, co oznacza, że nie definiujemy konkretnie, że funkcja powinna być liniowa. Możemy zdefiniować przejęcie przed funkcją, które jest przejęciem Gaussa, który określa takie cechy, jak stopień gładkości powinien być i w ogóle.

Nie musimy więc wyraźnie określać, jaki powinien być model. Mam jednak pytania. Mamy marginalne prawdopodobieństwo i za jego pomocą możemy dostroić parametry funkcji kowariancji przeora gaussa. Jest to podobne do definiowania rodzaju funkcji, która powinna być, prawda?

Sprowadza się do tego samego, co definiuje parametry, mimo że w GP są hiperparametrami. Na przykład w tym artykule . Zdefiniowali, że średnia funkcja lekarza ogólnego jest podobna

m (x) = za x^{2)} + b x + do tj. wielomian drugiego rzędu.

$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$

Zdecydowanie więc model / funkcja jest zdefiniowana, prawda? Jaka jest różnica w definiowaniu funkcji liniowej, jak w LR.

Po prostu nie dostałem korzyści wynikających ze stosowania GP

gaussian-process

— użytkownik34790
źródło

7

Przypomnijmy kilka formuł dotyczących regresji procesu Gaussa. Załóżmy, że mamy próbkę . Dla tej próbki logeli wiarygodności ma postać: $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$ gdzie to macierz kowariancji próbki. Tamjest funkcją kowariancji z parametrami, które dostrajamy przy użyciu maksymalizacji loglikeli. Przewidywanie (tylnym średnia) do nowego punktuma

L = - \frac{1}{2} (\log | K | + y^{T} K^{- 1} y),

$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

k (x_{i}, x_{j})

$k(\mathbf{x}_i, \mathbf{x}_j)$

x

$\mathbf{x}$

tam

to wektor kowariancji między nowym punktem a punktami próbki.

\hat{y} (x) = k K^{- 1} y,

$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$

k = {k (x, x_{i})}_{i = 1}^{N}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$

$k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

\hat{y} (x) = x^{T.} X^{T.} (X X^{T.})^{- 1} y = x^{T.} (X^{T.} X)^{- 1} X^{T.} y .

$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$

(X X^{T})^{- 1}

$(X X^T)^{-1}$

$\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$ $A$

wprowadź opis zdjęcia tutaj .

Korzyść polega na tym, że możemy modelować funkcje nieliniowe za pomocą odpowiedniej funkcji kowariancji (możemy wybrać najnowocześniejszą, w większości przypadków kwadratowa wykładnicza funkcja kowariancji jest raczej dobrym wyborem). Źródłem nieliniowości nie jest wspomniany składnik trendu, ale funkcja kowariancji.

— Aleksiej Zajcew
źródło

3

Powiedziałbym, że jest to tylko jedna korzyść z GP, która jest również współdzielona z innymi metodami jądra. Być probabilistycznym i pochodzącym z ram Bayesa to kolejna zaleta GP.

— Seeda

2

$x$ $f$ $f(x)$

$max$ $f$ $x$ $f$ $\mu$ i macierz kowariancji $\Sigma$ (niepewność), co pozwala np. na optymalizację drogich funkcji czarnej skrzynki.

— Tomasz Bartkowiak
źródło