Która metoda jądra daje najlepsze wyniki prawdopodobieństwa?

Niedawno użyłem skalowania Platta wyjść SVM do oszacowania prawdopodobieństwa zdarzeń domyślnych. Bardziej bezpośrednimi alternatywami wydają się być „regresja logistyczna jądra” (KLR) i związana z nią „maszyna wektorów importu”.

Czy ktoś może powiedzieć, która metoda jądra dająca wyniki prawdopodobieństwa jest obecnie najnowocześniejsza? Czy istnieje R-implementacja KLR?

Bardzo ci dziękuje za pomoc!

logistic svm kernel-trick

— RichardN
źródło

(+1) Bardzo interesujące pytanie ...

— steffen

Odpowiedzi:

Klasyfikacja procesów gaussowskich (przy użyciu Expagation Propagation) jest prawdopodobnie najnowocześniejszym rozwiązaniem w uczeniu maszynowym. Istnieje doskonała książka Rasmussena i Williamsa (do pobrania za darmo), której strona internetowa ma bardzo dobre wdrożenie MATLAB. Więcej oprogramowania, książek, dokumentów itp . Tutaj . Jednak w praktyce KLR będzie prawdopodobnie działał równie dobrze w przypadku większości problemów, główną trudnością jest wybór parametrów jądra i regularyzacji, co prawdopodobnie najlepiej jest przeprowadzić przez sprawdzanie krzyżowe, chociaż walidację krzyżową typu „out-one-out” można oszacować w przybliżeniu bardzo skutecznie, patrz Cawley i Talbot (2008).

— Dikran Torbacz
źródło

(+1) Dziękujemy za link i porady dotyczące wyboru modelu.

— chl

Powinienem dodać, nie używaj implementacji opartych na aproksymacji Laplace'a - tył jest mocno wypaczony, a symetryczna aproksymacja skupiona na trybie ogólnie nie działa bardzo dobrze.

— Dikran Torbacz

Dziękuję Dikran! Czy mógłbyś mi wyjaśnić relację wygładzania jądra KLR? Model KLR jest zbudowany podobnie do formuły svm [strata + kara] i rozwiązany za pomocą spadku gradientu. Ale te same odniesienia czasowe (np. W „Regresji logistycznej jądra i maszynie importu wektorów”, Zhu i Hastie 2005) dotyczące KLR znajdują się w literaturze wygładzającej (np. „Uogólnione modele addytywne”, Hastie i Tibshirani 1990).

— RichardN

Nie znam się na literaturze dotyczącej wygładzania, ale modele jądra są ściśle związane z wygładzaniem splajnu. Myślę, że najlepszym miejscem do obejrzenia są publikacje Grace Wahba ( stat.wisc.edu/~wahba ), których praca obejmuje zarówno metody wygładzania, jak i jądra.

— Dikran Torbacz

Dzięki, przyjrzę się bliżej publikacjom wahby. Czy możesz polecić wdrożenie KLR, najlepiej w R?

— RichardN

Wydaje mi się, że wiesz, że jądro regresji logistycznej jest nieparametryczne, więc przede wszystkim masz to ograniczenie.

Jeśli chodzi o pakiet R, to ten, który znam i działa całkiem dobrze, to np . : Nieparametryczne metody wygładzania jądra dla mieszanych typów danych

Ten pakiet zawiera szereg nieparametrycznych (i półparametrycznych) metod jądra, które płynnie obsługują połączenie ciągłych, nieuporządkowanych i uporządkowanych typów danych czynników.

Jeśli chodzi o najnowszy kernell, mogę polecić eksperymentowanie z tymi opisanymi w tym artykule z 2009 roku. Przeczytaj uważnie, aby wybrać ten, który jest dla ciebie najlepszy i bardziej aktualny.

— mariana bardziej miękka
źródło

Hej, Mariana, dziękuję za odpowiedź, ale mieliśmy nieporozumienie: przez „metody jądra” rozumiem metody, takie jak maszyna wektorów wsparcia wykorzystująca „sztuczkę jądra”, a nie metody wygładzania jądra.

— RichardN