Dlaczego w algorytmie SVM wektor w jest prostopadły do hiperpłaszczyzny oddzielającej?

13

Jestem początkującym w uczeniu maszynowym. W SVM hiperpłaszczyzna oddzielająca jest zdefiniowana jako $y = w^T x + b$ . Dlaczego mówimy wektor $w$ prostopadła do hiperpłaszczyzny rozdzielającej?

machine-learning svm

— Chong Zheng
źródło

3

Odpowiedź na podobne pytanie (w przypadku sieci neuronowych) znajduje się tutaj .

— bogatron

@bogatron - całkowicie się z tobą zgadzam. Ale moje to tylko odpowiedź SVM .

— untitledprogrammer,

2

Tyle że nie jest. Twoja odpowiedź jest prawidłowa, ale nie ma w tym nic specyficznego dla SVM (i nie powinno być).

jest po prostu równaniem wektorowym, które definiuje hiperpłaszczyznę.

w^{T} x = b

$w^{T}x=b$

— bogatron

10

Geometrycznie wektor w jest skierowany prostopadle do linii określonej przez . Można to rozumieć w następujący sposób: $w^{T} x = b$

Najpierw weź . Teraz jest jasne, że wszystkie wektory, , z zanikającym iloczynem wewnętrznym spełniają to równanie, tj. Wszystkie wektory prostopadłe do w spełniają to równanie. $b = 0$ $x$ $w$

Przetłumacz teraz hiperpłaszczyznę od początku na wektor a. Równanie dla płaszczyzny staje się teraz: , tzn. Widzimy, że dla przesunięcia , które jest rzutem wektora na wektor . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Bez utraty ogólności możemy zatem wybrać prostopadłą do płaszczyzny, w którym to przypadku długość który reprezentuje najkrótszą, ortogonalną odległość między początkiem a hiperpłaszczyzną. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Dlatego mówi się, że wektor jest ortogonalny względem oddzielającej hiperpłaszczyzny. $w$

— untitledprogrammer
źródło

5

Powodem, dla którego jest normalne dla hiperpłaszczyzny, jest to, że definiujemy to w ten sposób: $w$

Załóżmy, że mamy (hiper) płaszczyznę w przestrzeni 3D. Niech będzie punktem na tej płaszczyźnie, tj. . Dlatego wektor od początku do tego punktu wynosi tylko . Załóżmy, że mamy dowolny punkt na płaszczyźnie. Wektor łączący $P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ a jest następnie podane przez: Zauważ, że ten wektor leży w płaszczyźnie. $P_0$

\vec{P.} - \vec{{P.}_{0}} = < x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

Teraz jest normalny (prostopadłego) do wektora do samolotu. Należy zauważyć, że jest tylko liczba i wynosi w nasza sprawa, natomiast jest tylko i $\hat{n}$

\hat{n} ∙ (\vec{P.} - \vec{{P.}_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P.} - \hat{n} ∙ \vec{{P.}_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
źródło

2

$w^Tx + b = 0$ $x_a$ $x_b$

w^{T.} x_{za} + b = 0 w^{T.} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

$w^T.(x_a - x_b) = 0$ $x_a - x_b$ leży na granicy decyzji i jest kierowana z $x_b$ do $x_a$ . Ponieważ produkt kropki $w^T.(x_a - x_b)$ wynosi zero $w^T$ musi być ortogonalny $x_a - x_b$ , a z kolei do granicy decyzji.

— adityagaydhani
źródło

0

Używając algebraicznej definicji wektora prostopadłego do hiperpłaszczyzny:

$\forall \ x_1, x_2$ na hiperpłaszczyźnie oddzielającej,

w^{T.} (x_{1} - x_{2)}) = (w^{T.} x_{1} + b) - (w^{T.} x_{2)} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
źródło

Dlaczego w algorytmie SVM wektor w jest prostopadły do ​​hiperpłaszczyzny oddzielającej?

Dlaczego w algorytmie SVM wektor w jest prostopadły do hiperpłaszczyzny oddzielającej?