Dowód bliskości funkcji jądra w produkcie punktowym

13

Jak mogę udowodnić, że iloczyn punktowy dwóch funkcji jądra jest funkcją jądra?

machine-learning kernel-trick

— Gigili
źródło

18

Przez produkt punktowy zakładam, że masz na myśli, że jeśli są poprawnymi funkcjami jądra, to ich produkt $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

jest również poprawną funkcją jądra.

Udowodnienie tej właściwości jest dość proste, gdy odwołujemy się do twierdzenia Mercer'a. Ponieważ są prawidłowymi jądrami, wiemy (za pośrednictwem Mercer), że muszą zaakceptować wewnętrzną reprezentację produktu. Niech oznaczymy wektor cechą i mają takie samo znaczenie dla . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

Więc jest funkcją, która wytwarza wektor dim, a tworzy wektor dim. $a$ $M$ $b$ $N$

Następnie, po prostu napisać produkt pod względem i , i wykonać pewne przegrupowania. $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

gdzie jest wektorem wymiarowym , st . $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

Teraz, ponieważ możemy napisać jako produkt wewnętrzny za pomocą mapy cech , wiemy, że jest prawidłowym jądrem (poprzez twierdzenie Mercer'a). To wszystko. $k_p(x,y)$ $c$ $k_p$

— Mike Hughes
źródło

Skąd wiesz, że cecha przestrzeni Hilberta jest skończona? Czy to nie może być nawet nierozdzielne?

— Andrei Kh

Zgodnie z twoim pierwszym akapitem wiemy tylko, że jądro istnienie wewnętrznej reprezentacji produktu. Ale w podsumowaniu wnioskujesz, że istnienie wewnętrznej reprezentacji produktu oznacza, że jest jądrem. Dlaczego to jest ważne?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Viktor Glombik,

3

Co powiesz na następujący dowód:

Źródło: Wykład metod jądra UChicago , strona 5

— PALEN
źródło

0

Załóżmy, że i są macierzą jądra tych dwóch odpowiednio jądra i i są one PSD. Definiujemy i chcemy udowodnić, że jest to również jądro. Jest to równoważne z potwierdzeniem, że odpowiadająca jej macierz jądra to PSD. $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ to PSD (produktem kroneckera dwóch PSD jest PSD).
$K$ jest podstawową submatrix , a zatem PSD (podstawową submatrix PSD jest PSD). $K_3$

— Ceyao Zhang
źródło