Dlaczego termin odchylenia w SVM jest szacowany osobno, zamiast dodatkowego wymiaru w wektorze cech?

Optymalna hiperpłaszczyzna w SVM jest zdefiniowana jako:

w \cdot x + b = 0,

$\mathbf w \cdot \mathbf x+b=0,$

gdzie oznacza próg. Jeśli mamy jakieś mapowanie które mapuje przestrzeń wejściową na jakąś przestrzeń , możemy zdefiniować SVM w przestrzeni , gdzie optymalna hiperplantu będzie: $b$ $\mathbf \phi$ $Z$ $Z$

w \cdot ϕ (x) + b = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0.$

Zawsze możemy jednak zdefiniować mapowanie tak aby , , a następnie optymalna hiperplane zostanie zdefiniowana jako $\phi$ $\phi_0(\mathbf x)=1$ $\forall \mathbf x$

w \cdot ϕ (x) = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)=0.$

Pytania:

Dlaczego wiele artykułów używa skoro już mają już parametry mapowania i oszacowania i folder oddzielnie? $\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0$ $\phi$ $\mathbf w$ $b$
Czy istnieje problem ze zdefiniowaniem SVM jako i oszacuj tylko parametr wektor , zakładając, że zdefiniujemy ?
$min_{w} | | w | |^{2}$ $\min_{\mathbf w} ||\mathbf w ||^2$ $s . t . y_{n} w \cdot ϕ (x_{n}) \geq 1, \forall n$ $s.t. \ y_n \mathbf w \cdot \mathbf \phi(\mathbf x_n) \geq 1, \forall n$ $\mathbf w$ $\phi_0(\mathbf x)=1, \forall\mathbf x$
Jeśli definicja SVM z pytania 2. jest możliwa, będziemy mieli $\mathbf w = \sum_{n} y_n\alpha_n \phi(\mathbf x_n)$ a próg będzie po prostu $b=w_0$ , którego nie będziemy traktować osobno. Więc nigdy nie będziemy używać formuły takiej jak $b=t_n-\mathbf w\cdot \phi(\mathbf x_n)$ do oszacowania $b$ podstawie jakiegoś wektora wsparcia $x_n$ . Dobrze?

svm threshold

— Dejan
źródło

Powiązane: Powód, dla którego nie zmniejszono terminu odchylenia (regresji) w regresji .

— ameba

Odpowiedzi:

Dlaczego stronniczość jest ważna?

Termin odchylenia jest rzeczywiście specjalnym parametrem w SVM. Bez tego klasyfikator zawsze przejdzie przez pochodzenie. Tak więc SVM nie daje ci hiperpłaszczyzny oddzielającej z maksymalnym marginesem, jeśli nie przejdzie przez początek, chyba że masz pojęcie błędu. $b$

Poniżej znajduje się wizualizacja problemu błędu systematycznego. SVM wyszkolony z (bez) terminem polaryzacji pokazano po lewej (po prawej). Mimo że obie maszyny SVM są szkolone na tych samych danych , wyglądają one jednak zupełnie inaczej.

Dlaczego odchylenie należy traktować osobno?

Jak zauważył Ben DAI , błąd systematyczny należy traktować osobno ze względu na regularyzację. SVM maksymalizuje rozmiar marginesu, który wynosi (lub zależności od tego, jak go zdefiniujesz). $b$ $\frac{1}{||w||^2}$ $\frac{2}{||w||^2}$

Maksymalizacja marginesu jest taka sama jak minimalizacja . Jest to również nazywane terminem regularyzacji i może być interpretowane jako miara złożoności klasyfikatora. Jednak nie chcesz regulować terminu błędu, ponieważ błąd powoduje przesunięcie wyników klasyfikacji w górę lub w dół o tę samą wartość dla wszystkich punktów danych . W szczególności odchylenie nie zmienia kształtu klasyfikatora ani jego wielkości marginesu. W związku z tym, ... $||w||^2$

warunek uprzedzeń w SVM NIE powinien być regularyzowany.

W praktyce jednak łatwiej jest po prostu wepchnąć odchylenie do wektora cech zamiast zajmować się tym jako szczególny przypadek.

Uwaga: kiedy przesuwasz odchylenie do funkcji cechy, najlepiej jest ten wymiar wektora cechy na dużą liczbę, np. , aby zminimalizować skutki uboczne regularyzacji odchylenia. $\phi_0(x) = 10$

— Sobi
źródło

Jakiego programu użyłeś do wygenerowania fabuły z ciekawości?

— d0rmLife,

@ d0rmLife: to tylko kreskówka, którą zrobiłem za pomocą MS PowerPoint!

— Sobi,

+1. Powiązane: Powód, dla którego nie zmniejszono terminu odchylenia (regresji) w regresji .

— ameba

Czasami ludzie po prostu pomijają przechwytywanie w SVM, ale myślę, że powodem może być karanie przechwycenia, aby je pominąć. to znaczy,

możemy zmodyfikować dane i , aby pominąć przechwycenie Jak ty powiedział, podobna technika może być zastosowana w wersji jądra. $\mathbf{\hat{x}} = (\mathbf{1}, \mathbf{x})$ $\mathbf{\hat{w}} = (w_{0}, \mathbf{w}^{T})^{T}$

x w + b = \hat{x} \hat{w}

$\mathbf{x} ~ \mathbf{w} + b = \mathbf{\hat{x}} ~ \mathbf{\hat{w}}$

Jeśli jednak umieścimy przecięcie w wagach, funkcja celu będzie się nieco różnić od pierwotnej. Dlatego nazywamy „karać”.

— Ben Dai
źródło

Zgadzam się, że będziemy mieć różne funkcje celu. Przypadek, gdy nie uwzględniamy przechwytywania w parametrach, prowadzi do problemu optymalizacji zastrzeżeniem ograniczenia, podczas gdy w innym przypadku mamy problem . Ale nie rozumiem, dlaczego mniej więcej tak ważne dla modelu jest przechwytywanie przechwytujące panizację.

b

$b$

min_{w, b} | | w | |^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2$

min_{w, b} | | w | |^{2} + b^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2 + b^2$

— Dejan

Myślę, że głównym powodem, dla którego się przecinamy, jest być może dlatego, że w podwójnym problemie przechwytywanie pozwala nam mieć ograniczenie co jest ważne, aby zastosować algorytm SMO, a jeśli nie mamy przechwytywania, będzie miał tylko stałe a podwójna optymalizacja byłaby w tym przypadku trudniejsza.

\sum α_{n} t_{n} = 0

$\sum \alpha_n t_n=0$

α_{n} \geq 0

$\alpha_n\geq 0$

— Dejan

@Petar Jedną rzeczą, o której wiedziałem, jest to, że staje się potężny, gdy rozważymy podwójną formę tego modelu. Ta technika wyeliminuje ograniczenie liniowe.

— Ben Dai,

@Petar Nie sądzę, że podwójna optymalizacja będzie trudniejsza, ponieważ mamy łatwiejszą domenę.

— Ben Dai,

@Petar W przypadku konkretnego algorytmu może być trudniej. Jednak matematycznie myślę, że domena box może być lepsza

— Ben Dai

Oprócz wyżej wymienionych przyczyn odległość punktu do hiperpłaszczyzny zdefiniowanej przez nachylenie i punkt przecięcia wynosi W ten sposób koncepcja marginesu w SVM została przeniesiona. Jeśli zmienisz aby zawierał wyraz przechwytujący , na normę wpłynie rozmiar przechwytywania, co spowoduje optymalizację SVM w kierunku małego przechwytywania, co w wielu przypadkach nie ma sensu. $x$ $\theta$ $b$

\frac{| θ^{T} x + b |}{| | θ | |}

$\frac{|\theta^T x + b|}{||\theta||}$

θ

$\theta$

b

$b$

θ

$\theta$

— charlieh_7
źródło

Nawet jeśli uważałem, że odległość punktu od hiperpłaszczyzny jest poprawna, a wyjaśnienie wygląda interesująco, nie widzę korelacji między tą formułą a treningowymi maszynami SVM. Czy możesz lepiej wyjaśnić, jak ta formuła stosuje się podczas szkolenia, lub podać dodatkowy link.

— Dejan

@Dejan Ideą SVM jest znalezienie hiperpłaszczyzny, która maksymalizuje minimalny margines zestawu danych. Margines to „odległość” ( , bez przyjmowania wartości bezwzględnej, co wskazuje na zaufanie, jakie klasyfikator ma do swojej hipotezy) tego punktu do hiperpłaszczyzny razy jego etykieta, która jest w . Produktem jest , co jest dodatnie, jeśli dane wyjściowe klasyfikatora są zgodne z etykietą, a w przeciwnym razie ujemne. W praktyce po prostu skalujemy nasz model, tak aby minimalny margines zestawu danych .

\frac{θ^{T} x + b}{| | θ | |}

$\frac{\theta^T x + b}{||\theta||}$

{- 1, 1}

$\{-1, 1\}$

\frac{y (θ^{T} x + b)}{| | θ | |}

$\frac{y(\theta^T x + b)}{||\theta||}$

\frac{1}{| | θ | |}

$\frac{1}{||\theta||}$

— charlieh_7,

@Dejan można znaleźć więcej szczegółów w Notatkach Andrew Ng: cs229.stanford.edu/notes/cs229-notes3.pdf

— charlieh_7