Kiedy Naive Bayes osiąga lepsze wyniki niż SVM?

W małym problemie z klasyfikacją tekstu, na który patrzyłem, Naive Bayes wykazywał wydajność podobną lub większą niż SVM i byłem bardzo zdezorientowany.

Zastanawiałem się, jakie czynniki decydują o zwycięstwie jednego algorytmu nad drugim. Czy są sytuacje, w których nie ma sensu używać Naive Bayes zamiast SVM? Czy ktoś może rzucić na to światło?

— Legenda
źródło

Pod tym linkiem na miły i odpowiedniej samouczka

— Q12

Nie ma jednej odpowiedzi, która jest najlepszą metodą klasyfikacji dla danego zestawu danych . W badaniach porównawczych dla danego zestawu danych należy zawsze brać pod uwagę różne rodzaje klasyfikatorów. Biorąc pod uwagę właściwości zestawu danych, możesz mieć pewne wskazówki, które mogą dać pierwszeństwo niektórym metodom. Jednak nadal byłoby wskazane, aby eksperymentować ze wszystkimi, jeśli to możliwe.

Naiwny Bayes Classifier (NBC) i Support Vector Machine (SVM) mają różne opcje, w tym wybór funkcji jądra dla każdej z nich. Oba są wrażliwe na optymalizację parametrów (tzn. Inny wybór parametrów może znacznie zmienić ich wydajność) . Tak więc, jeśli masz wynik wskazujący, że NBC działa lepiej niż SVM. Dotyczy to tylko wybranych parametrów. Jednak w przypadku wyboru innego parametru może się okazać, że SVM działa lepiej.

Zasadniczo, jeśli założenie o niezależności w NBC jest spełnione przez zmienne zestawu danych, a stopień nakładania się klas jest niewielki (tj. Potencjalna liniowa granica decyzji), można oczekiwać, że NBC osiągnie dobre. W przypadku niektórych zestawów danych, z optymalizacją przy użyciu wyboru funkcji opakowania, na przykład NBC może pokonać inne klasyfikatory. Nawet jeśli osiągnie porównywalną wydajność, NBC będzie bardziej pożądana ze względu na wysoką prędkość.

Podsumowując, nie powinniśmy preferować żadnej metody klasyfikacji, jeśli przewyższa ona inne metody w jednym kontekście, ponieważ może poważnie zawieść w innej. ( TO NORMALNE W PROBLEMACH Z WYKOPANIEM DANYCH ).

— soufanom
źródło

(+1) Zwane także twierdzeniem o braku darmowego lunchu . Nie do końca zgadzam się jednak z porównaniem wrażliwości parametru (jedno drzewo decyzyjne jest jednym z najbardziej wrażliwych podejść IMHO), ale nie powinniśmy o tym tutaj dyskutować :).

— steffen

@steffen, dzięki za cenny komentarz. Istnieje wiele różnych sposobów optymalizacji modeli i zgadzam się, że nie możemy uogólniać, który model jest bardziej senesitive we wszystkich przypadkach. W przypadku wyboru funkcji DT są prawdopodobnie mniej wrażliwe niż NBC, ale może nie być tak w ogóle. Przeredaguję odpowiedź, aby rozważyć twój komentarz, a jeśli chcesz, możesz go również edytować. Dzięki wielkie :).

— soufanom

+1 za komentarz dotyczący czułości parametru. Warto również zauważyć, że wiele teorii leżących u podstaw SVM dotyczy modeli ze stałym jądrem, więc gdy tylko spróbujesz zoptymalizować hiperparametry (które należy wykonać i wykonać ostrożnie), większość podstaw teoretycznych nie ma już zastosowania.

— Dikran Marsupial