Mapa funkcji dla jądra Gaussa

24

W SVM jądro Gaussa jest zdefiniowane jako: gdzie . Nie znam jednoznacznego równania . Chcę wiedzieć.

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

Ja też chcę wiedzieć, czy

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ gdzie

c_{i} \in R

$c_i\in \mathbb R$ . Teraz myślę, że to nie jest równe, ponieważ użycie jądra obsługuje sytuację, w której nie działa klasyczna klasa liniowa. Wiem, że

ϕ

$\phi$ projektuje x do nieskończonej przestrzeni. Więc jeśli nadal pozostaje liniowy, bez względu na to, ile to wymiarów, svm nadal nie może dokonać dobrej klasyfikacji.

machine-learning svm kernel-trick

— Vivian
źródło

dlaczego to jądro oznacza transformację? A może masz na myśli powiązaną przestrzeń funkcji?

— Placidia,

Tak, jaka jest przestrzeń funkcji

ϕ (\cdot)

$\phi(\cdot)$ więc

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— 27886

20

Możesz uzyskać wyraźne równanie $\phi$ dla jądra Gaussa poprzez rozszerzenie serii Tailor $e^x$ . Dla uproszczenia, załóż $x\in \mathbb{R}^1$ :

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Jest to również omówione bardziej szczegółowo w tych slajdach przez Chih-Jen Lin z NTU (konkretnie slajd 11). Zauważ, że w slajdach jest używany jako parametr jądra. $\gamma=\frac{1}{2\sigma^2}$

Równanie w OP dotyczy tylko liniowego jądra.

— Marc Claesen
źródło

2

Cześć, ale powyższe równanie pasuje tylko do jednego wymiaru.

— Vivian

Więc tutaj, przestrzeń Hilberta w jądrze jest podprzestrzenią , prawda?

ℓ^{2}

$\ell^2$

— The_Anomaly

Czy istnieje również wyraźna reprezentacja jądra Laplaciana?

— Felix Crazzolara

13

Dla każdego ważnego jądra psd istnieje mapa funkcji taka, że . Spacja i osadzanie w rzeczywistości nie muszą być unikalne, ale istnieje ważna unikalna para znana jako przestrzeń odtwarzająca jądro Hilberta (RKHS). $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS jest omawiany przez: Steinwart, Hush and Scovel, Jawny opis odtwarzającego się jądra Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , free citeseer pdf ).

Jest to nieco skomplikowane, ale sprowadza się do tego: zdefiniuj jako $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Niech będzie sekwencją obejmującą wszystkie -tule nieujemnych liczb całkowitych; jeśli , być może , , i tak dalej. Oznacz ty komponent tej krotki przez . $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

Zatem tym składnikiem jest . Więc odwzorowuje wektory w na nieskończenie wymiarowe wektory złożone. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

Problem polega na tym, że musimy dodatkowo zdefiniować normy dla tych nieskończenie wymiarowych wektorów złożonych w specjalny sposób; szczegóły patrz papier.

Steinwart i in. daję również prostsze (według mojego myślenia) osadzenie w , przestrzeni Hilberta funkcji całkowitych kwadratowych od : Należy zauważyć, że jest sam w sobie funkcję z do . Zasadniczo jest to gęstość -wymiarowego gaussa ze średnią i kowariancją ; tylko stała normalizująca jest inna. Kiedy więc weźmiemy $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ bierzemy iloczyn funkcji gęstości Gaussa , która sama jest pewną stałą razy funkcji gęstości Gaussa. Kiedy wykonasz tę całkę przez , wówczas wypadająca stała kończy się dokładnie .

t

$t$

k (x, y)

$k(x, y)$

To nie jedyne osadzenia, które działają.

Kolejna oparta jest na transformacji Fouriera, którą znakomity papier Rahimi i Recht ( Random Features for Large Scale Kernel Machines , NIPS 2007) zbliża się znakomicie.

Możesz to również zrobić za pomocą serii Taylora: w rzeczywistości nieskończona wersja Cottera, Kesheta i Srebro, Jawne aproksymacje jądra Gaussa , arXiv: 1109.4603 .

— Dougal
źródło

1

Douglas Zare przedstawił pierwszą wersję „prostszego” osadzenia w interesującym wątku tutaj .

— Dougal

Tutaj można znaleźć bardziej „intuicyjne” wyjaśnienie, że może mapy na spave wymiaru równej wielkości próby treningowej, nawet dla nieskończonej próbie szkoleniowej: stats.stackexchange.com/questions/80398/...

Φ

$\Phi$

6

Wydaje mi się, że twoje drugie równanie będzie prawdziwe tylko wtedy, gdy jest odwzorowaniem liniowym (a zatem jest jądrem liniowym). Ponieważ jądro Gaussa jest nieliniowe, równość się nie utrzyma (z wyjątkiem być może granicy, ponieważ osiąga zero). $\phi$ $K$ $\sigma$

— Dikran Torbacz
źródło

Dziękuję za Twoją odpowiedź. Gdy , wymiar projektów jądra Gaussa wzrośnie. I z twojej inspiracji, teraz myślę, że to nie jest równe. Ponieważ za pomocą jądra wystarczy poradzić sobie z sytuacją, że klasyfikacja liniowa nie działa.

σ \to 0

$\sigma\rightarrow 0$

— Vivian