Jak porównać dwa procesy Gaussa?

Rozbieżność Kullbacka-Leiblera to metryka służąca do porównania dwóch funkcji gęstości prawdopodobieństwa, ale jaką metrykę stosuje się do porównania $X$ i dwóch GP $Y$ ?

gaussian-process metric

— pushkar
źródło

d(X,Y)=E[supt|X(t)−Y(t)|] $d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Zen

@Zen: Jeśli masz czas, chcę dowiedzieć się więcej o tej metodzie odległości.

— Neil G

Cześć Neil. Niewiele o tym wiem. Proszę zobaczyć moją odpowiedź poniżej.

— Zen

Odpowiedzi:

Uwaga, że rozkład procesów Gaussa $\mathcal{X}\to\mathbb{R}$ jest rozszerzenie wieloczynnikowej Gaussa dla możliwie nieskończonego $\mathcal{X}$ . W ten sposób można użyć rozbieżności KL między rozkładami prawdopodobieństwa GP, całkując przez $\mathbb{R}^\mathcal{X}$ :

D K L (P | Q) = \int R X log d P d Q d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

Możesz użyć metod MC do przybliżenia liczbowego tej ilości w dyskretyzowanym $\mathcal{X}$ poprzez wielokrotne próbkowanie procesów zgodnie z ich rozkładem GP. Nie wiem, czy szybkość konwergencji jest wystarczająco dobra ...

Zauważ, że jeśli $\mathcal{X}$ jest skończony z $|\mathcal{X}|=n$ , następnie wracasz do zwykłej dywergencji KL dla wielu zmiennych Rozkłady normalne:

D K L (G P (μ 1, K 1), G P (μ 2, K 2)) = 1 2 (t r (K - 1 2 K 1) + (μ 2 - μ 1) ⊤ K - 1 2 (μ 2 - μ 1) - n + log | K 2 | | K 1 |)

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
źródło

Jak mogę obliczyć dwa wspomniane średnie (mu1 i mu2). Czy powinienem przyjmować je równe zero jak zwykle w procesie gaussowskim?

— Marat Zakirov

Pamiętaj, że jeśli jest procesem Gaussa ze średnią funkcją i funkcją kowariancji , to dla każdego wektor losowy ma wielowymiarowy rozkład normalny ze średnim wektorem $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ i macierz kowariancji , gdzie użyliśmy wspólnego skrótu $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ . $X(t)=X(t,\,\cdot\,)$

Każda realizacja jest prawdziwą funkcją, której domeną jest zbiorem wskaźnik . Załóżmy, że . Biorąc pod uwagę dwa procesy Gaussa i , jedna wspólna odległość między dwiema realizacjami $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ i $X(\,\cdot\,,\omega)$ jest. Dlatego wydaje się naturalne zdefiniowanie odległości między dwoma procesami i jako $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ Nie wiem, czy istnieje wyrażenie analityczne dla tej odległości, ale wierzę, że można obliczyć przybliżenie Monte Carlo w następujący sposób. Napraw pewną drobną siatkę i narysuj próbki i z normalnych losowych wektorów

d (X, Y) = E [sup t \in [0, 1] | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0≤t1<⋯<tk≤1 $0\leq t_1<\dots<t_k\leq 1$

(xi1,…,xik) $(x_{i1},\dots,x_{ik})$

(yi1,…,yik) $(y_{i1},\dots,y_{ik})$

(X(t1),…,X(tk)) $(X(t_1),\dots,X(t_k))$ and

$(Y(t_1),\dots,Y(t_k))$ , respectively, for

$i=1,\dots,N$ . Approximate

$d(X,Y)$ by

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
źródło

How do you sample from each vector? If you only sample the means in each of the GPs you do not take into account the variances. Otherwise you will have to devise a sampling technique that is consistent.

— pushkar

This is an excellent resource: gaussianprocess.org/gpml/chapters

— Zen

You may also read all the answers to this question: stats.stackexchange.com/questions/30652/…

— Zen

Pay attention that this is not a distance since

$d(X,X) \neq 0$ . As the KL compares two distributions and not two realisations, Zen's distance between two GPs should be defined as

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$ , and we have that

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$ for non degenerated Gaussian process

$G$ .

— Emile

@Emile: how is it that

$d(X,X)\neq 0$ using definition

$(*)$ ?

— Zen