Jak zrozumieć efekt RBF SVM

Jak mogę zrozumieć, co robi jądro RBF w SVM? Rozumiem matematykę, ale czy jest sposób, aby poczuć, kiedy to jądro będzie przydatne?

Czy wyniki z kNN byłyby powiązane z SVM / RBF, ponieważ RBF zawiera odległości wektorowe?

Czy jest sposób, aby poczuć wielomianowe jądro? Wiem, że im wyższy wymiar, tym bardziej wigglier. Ale chciałbym dowiedzieć się, co robią jądra, zamiast wypróbować wszystkie możliwe jądra i wybrać najbardziej udane.

svm kernel-trick

— Gerenuk
źródło

Możecie zacząć od spojrzenia na jedną z moich odpowiedzi tutaj:
Nieliniowa klasyfikacja SVM z jądrem RBF

W tej odpowiedzi próbuję wyjaśnić, co próbuje wykonać funkcja jądra. Gdy zrozumiesz, co próbuje zrobić, w ramach działań następczych możesz przeczytać moją odpowiedź na pytanie w Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- radial-base-function-kernel-map-in-infinite-dimensional-space / answer / Arun-Iyer-1

Powielanie treści odpowiedzi na Quora, w przypadku gdy nie masz konta Quora.

Pytanie: Dlaczego jądro RBF (radialna funkcja bazowa) mapuje w nieskończoną przestrzeń wymiarową? Odpowiedź: Rozważmy wielomianowe jądro stopnia 2 zdefiniowane przez, gdzie i .
$k (x, y) = (x^{T.} y)^{2)}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Tym samym funkcję jądra można zapisać jako: Teraz spróbujmy stworzyć mapę cech , aby funkcja jądra mogła być zapisana jako
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Rozważ następującą mapę funkcji, Zasadniczo ta mapa obiektów odwzorowuje punkty wna punkty w . Zauważ też, że co jest zasadniczo naszą funkcją jądra.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Oznacza to, że nasza funkcja jądra faktycznie oblicza iloczyn wewnętrzny / punktowy punktów w . Oznacza to, że jest niejawnie mapowanie nasze punkty z do . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Pytanie ćwiczeniowe : Jeśli twoje punkty są w , wielomianowe jądro stopnia 2 odwzoruje niejawnie to na jakąś przestrzeń wektorową F. Jaki jest wymiar tej przestrzeni wektorowej F? Wskazówka: wszystko, co zrobiłem powyżej, jest wskazówką. $\mathbb{R}^n$

Teraz przyjeżdżam do RBF.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Ćwiczenie Pytanie : Pobierz pierwsze elementy wektorowe mapy cech dla RBF dla powyższego przypadku?

Teraz z powyższej odpowiedzi możemy wyciągnąć wniosek:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
źródło