Gaussian RBF vs. jądro Gaussa

Jaka jest różnica między przeprowadzaniem regresji liniowej za pomocą Gaussian Radial Basis Function (RBF) a wykonywaniem regresji liniowej za pomocą jądra Gaussa?

Jedyną prawdziwą różnicą jest zastosowana regularyzacja. Standaryzowana sieć RBF zazwyczaj stosuje karę opartą na kwadratowej normie wag. W przypadku wersji jądra karą jest zazwyczaj kwadratowa norma wag modelu liniowego skonstruowanego domyślnie w przestrzeni cech indukowanej przez jądro. Kluczową różnicą praktyczną jest to, że kara dla sieci RBF zależy od centrów sieci RBF (a zatem od próbki użytych danych), podczas gdy dla jądra RBF indukowana przestrzeń cech jest taka sama, niezależnie od próbki danych, więc kara jest karą dla funkcji modelu, a nie jego parametryzacji .

Innymi słowy, dla obu modeli mamy

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

W przypadku sieci RBF kryterium szkolenia jest następujące

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

W przypadku metody jądra RBF mamy $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ oraz $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ . Oznacza to, że kwadratową normę karną za ciężary modelu w indukowanej przestrzeni cech, $\vec{w}$ można zapisać w kategoriach podwójnych parametrów, $\vec{\alpha}$ jako

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

gdzie jest ewaluacji jądra dla wszystkich wzorców treningowych. Kryterium szkolenia jest zatem$\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$ .

Jedyną różnicą między tymi dwoma modelami jest w terminie regularyzacji.$\matrix{K}$

Kluczową teoretyczną zaletą podejścia jądra jest to, że pozwala on interpretować model nieliniowy jako model liniowy po stałej transformacji nieliniowej, która nie zależy od próbki danych. Tak więc każda teoria uczenia statystycznego, która istnieje dla modeli liniowych, automatycznie przechodzi do wersji nieliniowej. Wszystko to jednak się psuje, gdy tylko spróbujesz dostroić parametry jądra. W tym momencie teoretycznie powracamy do tego samego punktu, co w sieci neuronowej RBF (i MLP). Zatem teoretyczna przewaga nie jest może tak duża, jak byśmy tego chcieli.

Czy to może mieć jakikolwiek wpływ na wydajność? Prawdopodobnie niewiele. Twierdzenia o „braku darmowego lunchu” sugerują, że nie ma wyższości żadnego algorytmu a priori nad wszystkimi innymi, a różnica w regularyzacji jest dość subtelna, więc jeśli masz wątpliwości, spróbuj obu i wybierz najlepszy zgodnie np. Z walidacją krzyżową.