Porównanie SVM i regresji logistycznej

Czy ktoś może mi podpowiedzieć, kiedy wybrać SVM lub LR? Chcę zrozumieć intuicję stojącą za różnicą między kryteriami optymalizacji uczenia się hiperpłaszczyzny tych dwóch, gdzie odpowiednie cele są następujące:

• SVM: Spróbuj zmaksymalizować margines między najbliższymi wektorami wsparcia
• LR: Maksymalizuj prawdopodobieństwo tylnej klasy

Rozważmy liniową przestrzeń cech dla SVM i LR.

Niektóre różnice, o których już wiem:

1. SVM jest deterministyczny (ale możemy użyć modelu Plattsa do oceny prawdopodobieństwa), podczas gdy LR jest probabilistyczny.
2. W przypadku przestrzeni jądra SVM jest szybszy (sklepy obsługują tylko wektory)

Liniowe maszyny SVM i regresja logistyczna na ogół działają w praktyce porównywalnie. Użyj SVM z nieliniowym jądrem, jeśli masz powód, by sądzić, że twoje dane nie będą liniowo rozdzielalne (lub musisz być bardziej odporny na wartości odstające, niż LR normalnie toleruje). W przeciwnym razie po prostu spróbuj najpierw regresji logistycznej i zobacz, jak sobie radzisz z tym prostszym modelem. Jeśli regresja logistyczna Cię nie powiedzie, wypróbuj SVM z nieliniowym jądrem, takim jak RBF.

EDYTOWAĆ:

Ok, pomówmy o tym, skąd pochodzą funkcje celu.

Regresja logistyczna pochodzi od ogólnej regresji liniowej. Dobre omówienie funkcji celu regresji logistycznej w tym kontekście można znaleźć tutaj: https://stats.stackexchange.com/a/29326/8451

Algorytm maszyn wektorów wsparcia jest znacznie bardziej motywowany geometrycznie . Zamiast zakładać model probabilistyczny, staramy się znaleźć konkretną optymalną hiperpłaszczyznę oddzielającą, w której definiujemy „optymalność” w kontekście wektorów podporowych. Nie mamy tu nic podobnego do modelu statystycznego, którego używamy w regresji logistycznej, nawet jeśli przypadek liniowy da nam podobne wyniki: tak naprawdę oznacza to, że regresja logistyczna ma całkiem dobrą robotę, tworząc „szeroki margines” klasyfikatorów, ponieważ to wszystko, co SVM próbuje zrobić (w szczególności, SVM próbuje „zmaksymalizować” margines między klasami).

Spróbuję wrócić do tego później i zagłębić się w chwasty, jestem po prostu w trakcie czegoś: p

Obraz oznacza różnicę między SVM a regresją logistyczną i tym, gdzie użyć której metody

to zdjęcie pochodzi z kursu: „uczenie maszynowe” Andrew NG. Można go znaleźć w 7 tygodniu na końcu: „Obsługa maszyn wektorowych - za pomocą SVM”

• LR daje skalibrowane prawdopodobieństwa, które można interpretować jako zaufanie do decyzji.
• LR daje nam nieograniczony, płynny cel.
• LR może być (bezpośrednio) stosowany w modelach bayesowskich.
• Maszyny SVM nie karzą przykładów, w przypadku których podjęto właściwą decyzję z wystarczającą pewnością. Może to być dobre dla uogólnienia.
• SVM mają ładną podwójną formę, dającą rzadkie rozwiązania podczas korzystania z trików jądra (lepsza skalowalność)

Sprawdź maszyny wektorowe wsparcia a regresja logistyczna, University of Toronto CSC2515 autorstwa Kevina Swersky'ego .