Czy GLM to model statystyczny lub model uczenia maszynowego?

Myślałem, że uogólniony model liniowy (GLM) będzie uważany za model statystyczny, ale przyjaciel powiedział mi, że niektóre artykuły klasyfikują go jako technikę uczenia maszynowego. Który z nich jest prawdziwy (lub bardziej precyzyjny)? Wszelkie wyjaśnienia będą mile widziane.

GLM jest absolutnie modelem statystycznym, ale modele statystyczne i techniki uczenia maszynowego nie wykluczają się wzajemnie. Ogólnie rzecz biorąc, statystyki bardziej dotyczą wnioskowania parametrów, podczas gdy w uczeniu maszynowym przewidywanie jest ostatecznym celem.

Jeśli chodzi o prognozowanie, statystyki i nauki maszynowe zaczęły rozwiązywać głównie ten sam problem z różnych perspektyw.

Zasadniczo statystyki zakładają, że dane zostały wygenerowane przez dany model stochastyczny. Tak więc z perspektywy statystycznej zakłada się model i przy różnych założeniach, błędy są traktowane, a parametry modelu i inne pytania są wywnioskowane.

Uczenie maszynowe pochodzi z perspektywy informatyki. Modele są algorytmiczne i zwykle wymaga bardzo niewielu założeń dotyczących danych. Pracujemy z hipotezy przestrzeni i uczenia się stronniczości. Najlepsza prezentacja uczenia maszynowego, którą znalazłem, znajduje się w książce Toma Mitchella zatytułowanej Machine Learning .

Aby uzyskać bardziej wyczerpujący i kompletny pomysł na temat dwóch kultur, przeczytaj artykuł Leo Breimana zatytułowany Modelowanie statystyczne: dwie kultury

Trzeba jednak dodać, że nawet jeśli te dwie nauki zaczęły się z różnych perspektyw, teraz obie dzielą teraz spore ilości wspólnej wiedzy i technik. Dlaczego, ponieważ problemy były takie same, ale narzędzia były inne. Więc teraz uczenie maszynowe jest traktowane głównie z perspektywy statystycznej (patrz książka Hastie, Tibshirani, Friedman The Elements of Statistics Learning z punktu widzenia uczenia maszynowego z traktowaniem statystycznym, a być może książka Kevina P. Murphy'ego Machine Learning: A perspektywa probabilistyczna , żeby wymienić tylko niektóre z najlepszych dostępnych obecnie książek).

Nawet historia rozwoju tej dziedziny pokazuje zalety takiego połączenia perspektyw. Opiszę dwa wydarzenia.

Pierwszym z nich jest stworzenie drzew CART, które zostały stworzone przez Breimana z solidnym zapleczem statystycznym. Mniej więcej w tym samym czasie Quinlan opracował pakiet drzewa decyzyjnego ID3, C45, See5 i tak dalej, oparty na wiedzy informatycznej. Teraz zarówno te rodziny drzew, jak i metody łączenia, takie jak worki i lasy, stają się dość podobne.

Druga historia dotyczy wzmocnienia. Początkowo zostały opracowane przez Freunda i Shapire'a, kiedy odkryli AdaBoost. Wyborów do projektowania AdaBoost dokonano głównie z perspektywy obliczeniowej. Nawet autorzy nie rozumieli dobrze, dlaczego to działa. Zaledwie 5 lat później Breiman (ponownie!) Opisał model adaboost ze statystycznego punktu widzenia i wyjaśnił, dlaczego to działa. Od tego czasu różni wybitni naukowcy, z obu rodzajów środowisk, rozwijali dalej te pomysły prowadzące do Plejad algorytmów zwiększających, takich jak zwiększanie logistyki, zwiększanie gradientu, łagodne zwiększanie i tak dalej. Trudno teraz myśleć o wzmocnieniu bez solidnego tła statystycznego.

Uogólnione modele liniowe to rozwój statystyczny. Jednak nowe kuracje bayesowskie wprowadzają ten algorytm także na boisko uczenia maszynowego. Uważam więc, że oba twierdzenia mogą mieć rację, ponieważ interpretacja i sposób działania mogą być różne.

Oprócz odpowiedzi Bena subtelne rozróżnienie między modelami statystycznymi a modelami uczenia maszynowego polega na tym, że w modelach statystycznych wyraźnie decydujesz o strukturze równania wyjściowego przed zbudowaniem modelu. Model jest zbudowany do obliczania parametrów / współczynników.

Weźmy na przykład model liniowy lub GLM,

y = a1x1 + a2x2 + a3x3

Twoje zmienne niezależne to x1, x2, x3, a współczynniki do ustalenia to a1, a2, a3. W ten sposób definiujesz strukturę równań przed budowaniem modelu i obliczasz wartości a1, a2, a3. Jeśli uważasz, że y jest w jakiś sposób skorelowane z x2 w nieliniowy sposób, możesz spróbować czegoś takiego.

y = a1x1 + a2(x2)^2 + a3x3.

Dlatego nakładasz ograniczenie pod względem struktury wyjściowej. Z natury modele statystyczne są modelami liniowymi, chyba że jawnie zastosujesz transformacje takie jak sigmoid lub jądro, aby uczynić je nieliniowymi (GLM i SVM).

W przypadku modeli uczenia maszynowego rzadko określa się strukturę wyników, a algorytmy, takie jak drzewa decyzyjne, są z natury nieliniowe i działają wydajnie.

W przeciwieństwie do tego, co zauważył Ben, modele uczenia maszynowego nie polegają tylko na przewidywaniu, lecz dokonują klasyfikacji, regresji itp., Które mogą być wykorzystane do prognozowania, które są również wykonywane przez różne modele statystyczne.

GLM jest absolutnie modelem statystycznym, podczas gdy coraz więcej metod statystycznych stosuje się w produkcji przemysłowej jako sztuczki uczenia maszynowego . Metaanaliza, którą najczęściej czytam w tych dniach, jest dobrym przykładem w dziedzinie statystyki.

Idealne zastosowanie przemysłowe z GLM może wyjaśnić, dlaczego twój przyjaciel powiedział ci, że GLM jest uważany za technikę uczenia maszynowego . Możesz o tym przeczytać artykuł źródłowy http://www.kdd.org/kdd2016/papers/files/adf0562-zhangA.pdf .

Wdrożyłem uproszczony, który został potraktowany jako główna struktura mojego systemu rekomendacji w scenariuszu produkcyjnym kilka tygodni temu. Bardzo doceniam, jeśli podasz mi kilka wskazówek i możesz sprawdzić kod źródłowy: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

Mam nadzieję, że to ci pomoże, dobry dzień!