Jakie jest uzasadnienie funkcji kowariancji Matérna?

Funkcja kowariancji Matérna jest powszechnie stosowana jako funkcja jądra w procesie Gaussa. Jest tak zdefiniowane

$${\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}}$$

gdzie jest funkcją odległości (taką jak odległość euklidesowa), jest funkcją gamma, jest zmodyfikowaną funkcją Bessela drugiego rodzaju, i są parametrami dodatnimi. to dużo czasu, aby wybrać w praktyce lub .$d$$\Gamma$$K_\nu$$\rho$$\nu$$\nu$$\frac{3}{2}$$\frac{5}{2}$

Dużo czasu to jądro działa lepiej niż standardowe jądro Gaussa, ponieważ jest „mniej gładkie”, ale poza tym, czy jest jakiś inny powód, dla którego wolimy to jądro? Doceniona zostanie pewna geometryczna intuicja dotycząca jej zachowania lub wyjaśnienie pozornie tajemniczej formuły.

Oprócz ładnej odpowiedzi @DahnJahn, pomyślałem, że spróbuję powiedzieć coś więcej o pochodzeniu funkcji Bessela i gamma. Jednym z punktów wyjścia do dojścia do funkcji kowariancji jest twierdzenie Bochnera.

Twierdzenie (Bochner) Ciągła funkcja stacjonarna jest dodatnio określona tylko i tylko wtedy, gdy ˜ k jest transformatą Fouriera skończonej miary dodatniej: $k(x, y) = \widetilde{k}(|x − y|)$$\widetilde{k}$

$$\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$$

Z tego można wywnioskować, że macierz kowariancji Matérna wyprowadza się jako transformatę Fouriera (źródło) . To wszystko dobrze, ale tak naprawdę nie mówi nam, jak dojść do tej skończonej pozytywnej miary podanej przez . Cóż, to jest gęstość widmowa (mocy) procesu stochastycznego .$\frac{1}{(1+\omega^2)^p}$ f(x$\frac{1}{(1+\omega^2)^p}$$f(x)$

Który proces stochastyczny? Wiadomo, że losowy proces na funkcją kowariancji Matérna jest rozwiązaniem stochastycznego równania różniczkowego cząstkowego (SPDE) gdzie to biały szum Gaussa z wariancją jednostkową, jest operatorem Laplace'a, i (Myślę, że jest to w Cressie i Wikle ). ( κ 2 -∆ ) α / 2 X(s)= φ W(s),W(s)Δ= d ∑ i = 1 ∂ $\mathbb{R}^d$

$$(κ^2 − ∆)^{α/2} X(s) = φW(s),$$ $W(s)$ α=ν+d/ $$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$$ $α =ν + d/2$

Po co wybierać ten konkretny proces SPDE / stochastyczny? Pochodzenie znajduje się w statystykach przestrzennych, gdzie twierdzi się, że jest to najprostsza i naturalna kowariancja, która działa dobrze w :$\mathbb{R}^2$

Funkcja korelacji wykładniczej jest naturalną korelacją w jednym wymiarze, ponieważ odpowiada procesowi Markowa. W dwóch wymiarach już tak nie jest, chociaż wykładnicza jest częstą funkcją korelacji w pracach geostatystycznych. Whittle (1954) ustalił korelację odpowiadającą stochastycznemu równaniu różniczkowemu typu Laplace'a:

$$\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$$ gdzie to biały szum. Odpowiednim dyskretnym procesem sieci jest autoregresja drugiego rzędu. (Źródło)$\epsilon$

Rodzina procesów zawartych w SDE związanych z równaniem Materna obejmuje model Ornsteina-Uhlenbecka prędkości cząstki podlegającej ruchowi Browna. Mówiąc bardziej ogólnie, można zdefiniować spektrum mocy dla rodziny procesów dla każdej liczby całkowitej która również ma kowariancję rodziny Matérn. Jest to w załączniku Rasmussen i Williams.A R ( p ) $AR(1)$$AR(p)$$p$

Ta funkcja kowariancji nie jest związana z procesem klastrowania Matérna.

Bibliografia

Cressie, Noel i Christopher K. Wikle. Statystyka danych czasoprzestrzennych. John Wiley & Sons, 2015.

Guttorp, Peter i Tilmann Gneiting. „Badania w historii prawdopodobieństwa i statystyki XLIX O rodzinie korelacji Matern”. Biometrika 93.4 (2006): 989–995.

Rasmussen, CE i Williams, CKI Gaussian Processes for Machine Learning. the MIT Press, 2006.

Nie wiem, ale uznałem to pytanie za bardzo interesujące i oto, co otrzymałem po lekturze na ten temat.

Dla niektórych wartości funkcję kowariancji Matérna można wyrazić jako iloczyn wykładniczej i wielomianu. Np. Dla : Nie jest więc zaskakujące, że skoro , faktycznie zbiega się do gaussowskiego RBF : Dla , funkcja kowariancji Matérna daje absolutne wykładnicze jądro $\nu$$\nu = 5/2$

$$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$$ $\nu \to \infty$$C_\nu$ $$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$$ $\nu = 1/2$ $$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$$

Co więcej, proces Gaussa z funkcją kowariancji Matérna z parametrem jest - czas różniczkowalny .$\nu$$\lceil \nu \rceil -1$

Jest to całkiem ładnie przedstawione na zdjęciu wykonanym przez Rasmussen i Williams (2006)

W Interpolacji danych przestrzennych Stein (który faktycznie zaproponował nazwę funkcji kowariancji Matérna), twierdzi (str. 30), że nieskończona różnorodność funkcji kowariancji Gaussa daje nierealistyczne wyniki dla procesów fizycznych, ponieważ obserwuje tylko niewielki ciągły ułamek czasoprzestrzeń powinna teoretycznie dać całą funkcję. W ten sposób zaproponował wersję Matérn jako uogólnienie, które jest w stanie bardziej realistycznie dopasować procesy fizyczne.

streszczenie

Funkcję kowariancji Matérna można postrzegać jako uogólnienie radialnej funkcji bazowej Gaussa . Zawiera nawet absolutne jądro wykładnicze, co daje radykalnie różne wyniki i jest w stanie lepiej wychwytywać procesy fizyczne ze względu na jego skończoną różnorodność (dla skończonego ).$\nu$

Jeśli chodzi o tajemniczość pojawienia się funkcji Bessela, chciałbym zobaczyć za tym dalszą intuicję, ale zgaduję, że to właśnie jej (asymptotyczne) zachowanie w sprawiło, że było przydatne w tym kontekście i doprowadziło Steina do zdefiniuj funkcję kowariancji Matérna. To oczywiście nie wyklucza, że ​​istnieje piękny argument, dlaczego wszystko to jest prawdą.$\nu$