Wiele klasyfikatorów uczenia maszynowego (np. Maszyny wektorów wsparcia) pozwala na określenie jądra. Jaki byłby intuicyjny sposób wyjaśnienia, czym jest jądro?

Jednym z aspektów, o którym myślałem, jest rozróżnienie między liniowymi i nieliniowymi jądrami. Mówiąc prościej, mógłbym mówić o „liniowych funkcjach decyzyjnych” i „nieliniowych funkcjach decyzyjnych”. Nie jestem jednak pewien, czy nazwanie jądra „funkcją decyzyjną” jest dobrym pomysłem.

Propozycje?

Jądro jest sposobem na obliczenie iloczynu kropkowego dwóch wektorów i w pewnej (prawdopodobnie bardzo wysoko wymiarowej) przestrzeni cech, dlatego funkcje jądra są czasem nazywane „uogólnionym produktem kropkowym”.$\mathbf x$$\mathbf y$

Załóżmy, że mamy mapowanie które przenosi nasze wektory w do przestrzeni funkcji . Zatem iloczynem kropkowym i w tej przestrzeni jest . Jądro jest funkcją która odpowiada temu iloczynowi, tj. .R n R m x y φ( x ) T φ( y )kk( x , y )=φ( x ) T φ( y$\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Dlaczego to jest przydatne? Jądra umożliwiają obliczanie produktów punktowych w pewnym obszarze funkcji, nawet nie wiedząc, co to jest przestrzeń i co to jest .$\varphi$

Na przykład rozważmy proste wielomianowe jądro z . To nie wydaje się odpowiadać żadnej funkcji mapowania , to tylko funkcja, która zwraca liczbę rzeczywistą. Zakładając, że i , to wyrażenie:x , y ∈ R 2 φ x = ( x 1 , x 2 ) y = ( y 1 , y 2$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2$$\mathbf x, \mathbf y \in \mathbb R^2$$\varphi$$\mathbf x = (x_1, x_2)$$\mathbf y = (y_1, y_2)$

$\begin{align} k(\mathbf x, \mathbf y) & = (1 + \mathbf x^T \mathbf y)^2 = (1 + x_1 \, y_1 + x_2 \, y_2)^2 = \\ & = 1 + x_1^2 y_1^2 + x_2^2 y_2^2 + 2 x_1 y_1 + 2 x_2 y_2 + 2 x_1 x_2 y_1 y_2 \end{align}$

Zauważ, że to nic innego jak iloczyn kropkowy między dwoma wektorami i i . Zatem jądro oblicza iloczyn iloczynu w Przestrzeń 6-wymiarowa bez wyraźnego odwiedzania tej przestrzeni.(1,y 2 1 ,y 2 2 ,$(1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$cp(x)=φ(x1,x2)=(1,x 2 1 ,x 2 2 ,$(1, y_1^2, y_2^2, \sqrt{2} y_1, \sqrt{2} y_2, \sqrt{2} y_1 y_2)$k(x,y)=(1+ x Ty)2=φ(x)Tφ(y$\varphi(\mathbf x) = \varphi(x_1, x_2) = (1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2 = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Innym przykładem jest jądro gaussowskie . Jeśli Taylor rozszerzy tę funkcję, zobaczymy, że odpowiada ona nieskończenie wymiarowej kodomenie .$k(\mathbf x, \mathbf y) = \exp\big(- \gamma \, \|\mathbf x - \mathbf y\|^2 \big)$$\varphi$

Na koniec poleciłbym internetowy kurs „Uczenie się z danych” profesora Yasera Abu-Mostafy jako dobre wprowadzenie do metod opartych na jądrze. W szczególności wykłady „Obsługują maszyny wektorowe” , „Metody jądra” i „Funkcje radialnej podstawy” dotyczą jąder.

Bardzo prosty i intuicyjny sposób myślenia o jądrach (przynajmniej dla SVM) to funkcja podobieństwa. Biorąc pod uwagę dwa obiekty, jądro generuje pewną ocenę podobieństwa. Obiektami mogą być cokolwiek, począwszy od dwóch liczb całkowitych, dwóch wektorów o wartościach rzeczywistych, drzew, pod warunkiem, że funkcja jądra wie, jak je porównać.

Prawdopodobnie najprostszym przykładem jest jądro liniowe, zwane także iloczynem kropkowym. Biorąc pod uwagę dwa wektory, podobieństwo jest długością rzutowania jednego wektora na drugi.

Innym ciekawym przykładem jądra jest jądro Gaussa. Biorąc pod uwagę dwa wektory, podobieństwo zmniejszy się wraz z promieniem . Odległość między dwoma obiektami jest „ponownie ważona” przez ten parametr promienia.$\sigma$

Sukces uczenia się za pomocą jądra (ponownie, przynajmniej dla SVM), bardzo silnie zależy od wyboru jądra. Jądro można zobaczyć jako zwięzłą reprezentację wiedzy na temat problemu z klasyfikacją. Bardzo często jest to specyficzne dla problemu.

Nie nazwałbym jądra funkcją decyzyjną, ponieważ jądro jest używane wewnątrz funkcji decyzyjnej. Biorąc pod uwagę punkt danych do sklasyfikowania, funkcja decyzyjna korzysta z jądra, porównując ten punkt danych z wieloma wektorami pomocniczymi ważonymi przez wyuczone parametry . Wektory pomocnicze znajdują się w domenie tego punktu danych i wzdłuż wyuczonych parametrów znajdują się przez algorytm uczący się.$\alpha$$\alpha$

Wizualny przykład, który pomaga intuicji

Rozważ następujący zestaw danych, w którym żółtych i niebieskich punktów wyraźnie nie da się rozdzielić liniowo w dwóch wymiarach.

Gdybyśmy mogli znaleźć przestrzeń o większych wymiarach, w której punkty te byłyby liniowo rozdzielne , moglibyśmy wykonać następujące czynności:

• Zamapuj oryginalne elementy na większej przestrzeni transformatora (mapowanie elementów)
• Wykonaj liniową SVM w tej wyższej przestrzeni
• Uzyskaj zestaw wag odpowiadający hiperpłaszczyźnie granicy decyzji
• Odwzoruj tę hiperpłaszczyznę z powrotem na pierwotną przestrzeń 2D, aby uzyskać nieliniową granicę decyzyjną

Istnieje wiele przestrzeni o wyższych wymiarach, w których punkty te można liniowo oddzielić. Oto jeden przykład

$$x_1, x_2 : \rightarrow z_1, z_2, z_3$$ $$z_1 = \sqrt{2}x_1x_2 \ \ z_2 = x_1^2 \ \ z_3 = x_2^2$$

Tutaj zaczyna się sztuczka jądra. Cytując powyższe świetne odpowiedzi

Załóżmy, że mamy mapowanie które przenosi nasze wektory w do przestrzeni funkcji . Zatem iloczynem kropkowym i w tej przestrzeni jest . Jądro jest funkcją która odpowiada temu iloczynowi, tj.$\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Gdybyśmy mogli znaleźć funkcję jądra równoważną powyższej mapie cech, moglibyśmy podłączyć funkcję jądra do liniowej maszyny SVM i wykonywać obliczenia bardzo skutecznie.

Jądro wielomianowe

Okazuje się, że powyższa mapa funkcji odpowiada dobrze znanemu wielomianowemu jądrze : . Niech i otrzymamy$K(\mathbf{x},\mathbf{x'}) = (\mathbf{x}^T\mathbf{x'})^d$$d = 2$$\mathbf{x} = (x_1, x_2)^T$

$$\begin{aligned} k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) & = (x_1x_2' + x_2x_2')^2 \\ & = 2x_1x_1'x_2x_2' + (x_1x_1')^2 + (x_2x_2')^2 \\ & = (\sqrt{2}x_1x_2 \ x_1^2 \ x_2^2) \ \begin{pmatrix} \sqrt{2}x_1'x_2' \\ x_1'^2 \\ x_2'^2 \end{pmatrix} \end{aligned}$$

$$k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) = \phi(\mathbf{x})^T \phi(\mathbf{x'})$$

$$\phi(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}) =\begin{pmatrix} \sqrt{2}x_1x_2 \\ x_1^2 \\ x_2^2 \end{pmatrix}$$

Wizualizacja mapy obiektów i wynikowej linii granicznej

• Wykres po lewej stronie pokazuje punkty wykreślone w przekształconej przestrzeni wraz z hiperpłaszczyzną granicy liniowej SVM
• Wykres po prawej stronie pokazuje wynik w oryginalnej przestrzeni 2-D

---

Źródło

• Pełny kod pocztowy i kod Pythona tutaj
• https://disi.unitn.it/~passerini/teaching/2014-2015/MachineLearning/slides/17_kernel_machines/handouts.pdf

Bardzo prosto (ale dokładnie) jądro jest czynnikiem ważącym między dwiema sekwencjami danych. Ten współczynnik ważenia może przypisać większą wagę do jednego „ punktu danych ” w jednym „ punkcie czasowym ” niż do drugiego „ punktu danych ” lub przypisać równą wagę lub przypisać większą wagę do drugiego „ punktu danych ” i tak dalej.

W ten sposób korelacja ( iloczyn punktowy ) może przypisywać większą „ważność” w niektórych punktach niż w innych, a tym samym radzić sobie z nieliniowościami (np. Niepłaskie przestrzenie ), dodatkowymi informacjami, wygładzaniem danych i tak dalej.

W jeszcze inny sposób jądro jest sposobem zmiany względnych wymiarów (lub jednostek wymiarów ) dwóch sekwencji danych, aby poradzić sobie z rzeczami wymienionymi powyżej.

W trzeci sposób (związany z poprzednimi dwoma) jądro jest sposobem na mapowanie lub rzutowanie jednej sekwencji danych na drugą w sposób 1-do-1, biorąc pod uwagę podane informacje lub kryteria (np. Zakrzywioną przestrzeń, brakujące dane, dane ponowne zamawianie i tak dalej). Tak na przykład podano jądro może rozciągać lub kurczą lub roślin lub zginać sekwencję jeden dane w celu dopasowania lub MAP 1 do 1 na drugą.

Jądro może działać jak Procrustes , aby „ najlepiej pasować ”