Jaki jest model statystyczny za algorytmem SVM?

Nauczyłem się, że w przypadku danych przy użyciu podejścia modelowego pierwszym krokiem jest modelowanie procedury danych jako modelu statystycznego. Następnie kolejnym krokiem jest opracowanie wydajnego / szybkiego wnioskowania / algorytmu uczenia się w oparciu o ten model statystyczny. Chcę więc zapytać, który model statystyczny stoi za algorytmem maszyny wektorowej wsparcia (SVM)?

Często możesz napisać model, który odpowiada funkcji straty (tutaj będę mówić o regresji SVM zamiast klasyfikacji SVM; jest to szczególnie proste)

Na przykład w modelu liniowym, jeśli twoja funkcja utraty to to minimalizowanie będzie odpowiadało maksymalnemu prawdopodobieństwu dla . (Tutaj mam liniowe jądro)$\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$$f\propto \exp(-a\,g(\varepsilon))$ $= \exp(-a\,g(y-x'\beta))$

Jeśli dobrze pamiętam, regresja SVM ma funkcję utraty:

Odpowiada to gęstości, która jest jednolita pośrodku z wykładniczymi ogonami (jak widzimy, wykładniczo wyrażając jej ujemną lub pewną wielokrotność jej ujemnej).

Jest ich rodzina z 3 parametrami: lokalizacja narożna (próg względnej niewrażliwości) oraz lokalizacja i skala.

To interesująca gęstość; jeśli dobrze pamiętam z patrzenia na ten konkretny rozkład sprzed kilku dekad, dobrym estymatorem dla jego lokalizacji jest średnia dwóch symetrycznie rozmieszczonych kwantyli odpowiadających temu, gdzie są rogi (np. midhinge dałby dobre przybliżenie MLE dla jednego konkretnego wybór stałej w stratach SVM); podobny estymator parametru skali byłby oparty na ich różnicy, podczas gdy trzeci parametr odpowiada w zasadzie określeniu, w jakim percentylu znajdują się rogi (można to wybrać raczej niż szacować, jak to często ma miejsce w przypadku SVM).

Tak więc przynajmniej w przypadku regresji SVM wydaje się to dość proste, przynajmniej jeśli zdecydujemy się uzyskać nasze estymatory z maksymalnym prawdopodobieństwem.

(W przypadku, gdy masz zamiar zapytać ... Nie mam odniesienia do tego konkretnego połączenia z SVM: Właśnie to wymyśliłem. Jest to tak proste, że dziesiątki osób opracują to przede mną, więc bez wątpienia tam są odniesienia do niej - ja po prostu nigdy nie widział w ogóle).

Myślę, że ktoś już odpowiedział na twoje dosłowne pytanie, ale pozwól mi wyjaśnić potencjalne zamieszanie.

Twoje pytanie jest nieco podobne do następującego:

Mam tę funkcję i zastanawiam się, jakie równanie różniczkowe jest rozwiązaniem?$f(x) = \ldots$

Innymi słowy, z pewnością ma poprawną odpowiedź (być może nawet unikalną, jeśli narzucisz ograniczenia regularności), ale pytanie to jest dość dziwne, ponieważ nie było to równanie różniczkowe, które dało początek tej funkcji.
(Z drugiej strony, biorąc pod uwagę równanie różniczkowe, to jest naturalne, aby poprosić o jego rozwiązanie, ponieważ to zwykle dlaczego piszesz równanie!)

Oto dlaczego: Myślę, że myślisz o modelach probabilistycznych / statystycznych - w szczególności modelach generatywnych i dyskryminacyjnych , opartych na szacowaniu prawdopodobieństw łącznych i warunkowych na podstawie danych.

SVM nie jest żaden. To zupełnie inny rodzaj modelu - taki, który omija je i próbuje bezpośrednio modelować ostateczną granicę decyzji, prawdopodobieństwo jest przeklęte.

Ponieważ chodzi o znalezienie kształtu granicy decyzyjnej, intuicja, która się za nią kryje, jest geometryczna (a raczej powinna być oparta na optymalizacji), a nie probabilistyczna lub statystyczna.

Biorąc pod uwagę, że prawdopodobieństwa nie są tak naprawdę brane pod uwagę po drodze, raczej nietypowe jest pytanie, jaki mógłby być odpowiedni model probabilistyczny, a zwłaszcza, że ​​głównym celem było uniknięcie konieczności martwienia się o prawdopodobieństwa. Dlatego nie widzisz ludzi mówiących o nich.