Obsługa maszyn wektorowych i regresji

26

Odbyła się już doskonała dyskusja na temat tego, w jaki sposób maszyny wektorów nośnych radzą sobie z klasyfikacją, ale jestem bardzo zdezorientowany, w jaki sposób maszyny wektorów nośnych uogólniają się na regresję.

Czy ktoś chce mnie oświecić?

regression machine-learning svm

— Zach
źródło

17

Zasadniczo uogólniają w ten sam sposób. Podejście regresji oparte na jądrze polega na przekształceniu cechy, wywołaniu jej do jakiejś przestrzeni wektorowej, a następnie wykonaniu regresji liniowej w tej przestrzeni wektorowej. Aby uniknąć „przekleństwa wymiarowości”, regresja liniowa w przekształconej przestrzeni różni się nieco od zwykłych najmniejszych kwadratów. Rezultatem jest to, że regresję w przekształconej przestrzeni można wyrazić jako , gdzie są obserwacjami z zestawu treningowego, $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ to transformacja zastosowana do danych, a kropka jest iloczynem kropki. Zatem regresja liniowa jest „wspierana” przez kilka (najlepiej niewielką liczbę) wektorów treningowych. $\phi(\cdot)$

Wszystkie szczegóły matematyczne są ukryte w dziwny regresji wykonanej w przekształconej przestrzeni ( „epsilon-niewrażliwy rury” lub cokolwiek) i wybór transformacji . Dla praktyka są też pytania o kilka wolnych parametrów (zwykle w definicji i regresji), a także o featuryzację , czyli tam, gdzie znajomość domeny jest zwykle pomocna. $\phi$ $\phi$

— shabbychef
źródło

Z intuicyjnego punktu widzenia, czy jest to prawie jak klasyfikacja jednoklasowa, gdzie linia „graniczna” klasy kończy się przecinaniem punktów zamiast między punktami dwóch klas?

— Wayne

@Wayne, tak rozumiem, tak. Nie jestem jednak w 100%.

— Zach

5

Omówienie SVM: Jak działa maszyna SVM?

Jeśli chodzi o regresję wektorów wsparcia (SVR), uważam te slajdy z http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( lustro ) bardzo wyraźnie:

Dokumentacja Matlaba ma również dobre objaśnienie i dodatkowo omawia algorytm rozwiązywania optymalizacji: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Jak dotąd odpowiedź ta przedstawiała tak zwaną regresję SVM (ε-SVM) niewrażliwą na epsilon. Istnieje jedna z nowszych wersji SVM dla dowolnej klasyfikacji regresji: maszyna wektorowa obsługująca najmniejsze kwadraty .

Dodatkowo SVR może zostać rozszerzony dla wielu wyjść, czyli wielu celów, np. Patrz {1}.

Referencje:

{1} Borchani, Hanen, Gherardo Varando, Concha Bielza i Pedro Larrañaga. „Badanie regresji wielu wyjść”. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery 5, no. 5 (2015): 216–233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=pl&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Franck Dernoncourt
źródło