Dlaczego regresja logistyczna nazywana jest algorytmem uczenia maszynowego?

Jeśli dobrze zrozumiałem, w algorytmie uczenia maszynowego model musi wyciągać wnioski z własnego doświadczenia, tj. Gdy model podaje błędne prognozy dla nowych przypadków, musi dostosować się do nowych obserwacji, az czasem model staje się coraz lepszy . Nie widzę, aby regresja logistyczna miała tę cechę. Dlaczego więc nadal jest uważany za algorytm uczenia maszynowego? Jaka jest różnica między regresją logistyczną a regresją normalną pod względem „uczenia się”?

Mam to samo pytanie dotyczące losowych lasów!

Jaka jest definicja „uczenia maszynowego”?

Uczenie maszynowe nie jest dobrze zdefiniowanym terminem.

W rzeczywistości, jeśli zdefiniujesz w Google „Machine Learning Definition”, pierwsze dwie rzeczy, które otrzymasz, są zupełnie inne.

Z WhatIs.com ,

Uczenie maszynowe jest rodzajem sztucznej inteligencji (AI), która zapewnia komputerom możliwość uczenia się bez wyraźnego programowania. Uczenie maszynowe koncentruje się na opracowywaniu programów komputerowych, które mogą nauczyć się rosnąć i zmieniać po wystawieniu na nowe dane.

Z Wikipedii ,

Uczenie maszynowe bada budowę i badanie algorytmów, które mogą uczyć się i przewidywać dane.

Regresja logistyczna niewątpliwie pasuje do definicji Wikipedii i można spierać się, czy pasuje ona do definicji WhatIs.

Osobiście definiuję uczenie maszynowe tak, jak robi to Wikipedia i uważam to za podzbiór statystyk.

Uczenie maszynowe jest gorące i tam, gdzie są pieniądze. Ludzie nazywają rzeczy, które próbują sprzedać, co w tej chwili są gorące i dlatego „sprzedają”. To może sprzedawać oprogramowanie. Może to oznaczać, że sprzedają się jako obecni pracownicy próbujący awansować, jako potencjalni pracownicy, jako konsultanci itp. Może to być menedżer, który próbuje uzyskać zatwierdzenie budżetu od dużej firmy, aby zatrudniać ludzi i kupować rzeczy lub przekonać inwestorów do inwestowania w jego nowy gorący start, który robi Machine Learning jako klucz do stworzenia ulepszonej aplikacji do sekstowania. Więc oprogramowanie działa w uczeniu maszynowym, a ludzie są ekspertami w uczeniu maszynowym, ponieważ to jest gorące, a zatem to, co sprzedaje ... przynajmniej na razie.

Zrobiłem wszystkie rodzaje liniowego i nieliniowego modelu statystycznego pasującego ponad 30 lat temu. Wtedy nie nazywało się to uczeniem maszynowym. Teraz większość z nich byłaby.

Tak jak wszyscy i ich wujek jest teraz „naukowcem”. To jest gorące, podobno seksowne, więc ludzie tak się nazywają. I właśnie to zatrudnianie menedżerów, którzy muszą uzyskać zatwierdzenie budżetu, aby zatrudnić kogoś, wymienia pozycje jako. Tak więc ktoś, kto nie zna pierwszej rzeczy na temat matematyki, prawdopodobieństwa, statystyki, optymalizacji lub obliczeń liczbowych / zmiennoprzecinkowych, używa pakietu R lub Python o wątpliwej poprawności i niezawodności implementacji, który jest oznaczony jako algorytm uczenia maszynowego, w celu zastosowania do danych, których nie rozumieją, i nazywają siebie naukowcem danych, opierając się na swoim doświadczeniu w tym zakresie.

Może to zabrzmi źle, ale uważam, że jest to istota sytuacji.

Edycja: 26 września 2019 r. Opublikowano tweeta:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten „Kiedy zbieramy pieniądze, to jest sztuczna inteligencja, kiedy zatrudniamy to uczenie maszynowe, a kiedy wykonujemy pracę, to regresja logistyczna”.

(Nie jestem pewien, kto to wymyślił, ale to klejnot 💎)

Jak już wspomnieli inni, nie ma wyraźnego rozdziału między statystykami, uczeniem maszynowym, sztuczną inteligencją i tak dalej, więc weź dowolną definicję z odrobiną soli. Regresja logistyczna jest prawdopodobnie częściej oznaczana jako statystyka niż uczenie maszynowe, podczas gdy sieci neuronowe są zwykle oznaczane jako uczenie maszynowe (nawet jeśli sieci neuronowe są często tylko zbiorem modeli regresji logistycznej).

Moim zdaniem uczenie maszynowe bada metody, które mogą w jakiś sposób uczyć się na podstawie danych, zwykle przez zbudowanie modelu w jakiejś formie lub formie. Regresja logistyczna, taka jak SVM, sieci neuronowe, losowe lasy i wiele innych technik, uczy się na podstawie danych podczas konstruowania modelu.

Jeśli dobrze zrozumiałem, w algorytmie uczenia maszynowego model musi wyciągać wnioski z własnego doświadczenia

To nie jest tak, jak zwykle definiuje się uczenie maszynowe. Nie wszystkie metody uczenia maszynowego dają modele, które dynamicznie dostosowują się do nowych danych (to subpole nazywa się uczeniem online ).

Jaka jest różnica między regresją logistyczną a regresją normalną pod względem „uczenia się”?

Wiele metod regresji klasyfikuje się również jako uczenie maszynowe (np. SVM).

Regresja logistyczna została wynaleziona przez statystę DR Coxa w 1958 r., A więc wyprzedza dziedzinę uczenia maszynowego. Regresja logistyczna nie jest metodą klasyfikacji, na szczęście. Jest to model bezpośredniego prawdopodobieństwa.

Jeśli uważasz, że algorytm musi składać się z dwóch faz (wstępne odgadnięcie, a następnie „poprawić” błędy „przewidywania”), zastanów się nad tym: regresja logistyczna poprawia to za pierwszym razem. To znaczy w przestrzeni modeli addytywnych (w logit). Regresja logistyczna jest bezpośrednim konkurentem wielu metod uczenia maszynowego i przewyższa wiele z nich, gdy predyktory działają głównie addytywnie (lub gdy wiedza merytoryczna prawidłowo określa interakcje). Niektórzy nazywają regresję logistyczną rodzajem uczenia maszynowego, ale większość nie. Można nazwać niektóre metody uczenia maszynowego (przykłady są sieci neuronowe) modele statystyczne.

Będę musiał się nie zgodzić z większością odpowiedzi tutaj i twierdzić, że uczenie maszynowema bardzo precyzyjny zakres i wyraźne rozróżnienie od statystyki. ML to dziedzina informatyki o długiej historii, która dopiero w ostatnich latach znalazła zastosowania poza jej domeną. Dziedzina ojcowska ML i dziedzina aplikacji leży w zakresie sztucznej inteligencji (robotyka, oprogramowanie do rozpoznawania wzorców itp.), Dlatego nie jest to tylko „gorący termin”, taki jak „Big Data” lub „Data Science”. Z kolei statystyki (pochodzące od słowa „państwo”) zostały opracowane w naukach społecznych i ekonomicznych jako narzędzie dla ludzi, a nie maszyn. ML ewoluował niezależnie od statystyki i, choć gdzieś po drodze zaczął w dużej mierze opierać się na zasadach statystycznych, w żadnym wypadku nie jest to podpole statystyki. ML i statystyki to pola uzupełniające się, nie pokrywające się.

Długa odpowiedź :

Jak sama nazwa wskazuje, opracowano metody ML dla oprogramowania / maszyn, podczas gdy dla ludzi stworzono metody statystyczne. Zarówno ML, jak i statystyki radzą sobie z przewidywaniami danych, jednak metody ML są oparte na nieparametrycznym zautomatyzowanym podejściu, podczas gdy metody statystyczne wymagają dużej ilości ręcznej pracy nad budowaniem modelu z dodatkowym czynnikiem wyjaśniającym. Ma to sens, jeśli weźmie się pod uwagę, że algorytmy ML zostały opracowane w badaniach AI jako środek do automatycznego prognozowania, który miał zostać zintegrowany z oprogramowaniem robotyki (np. Do celów rozpoznawania głosu i twarzy). Kiedy „maszyna” dokonuje prognozy, nie przejmuje się jej przyczynami. Maszyna nie dba o to, aby znać sterowniki / predyktory modelu, który klasyfikuje wiadomości e-mail jako spam lub nie-spam, zależy tylko na najlepszej dokładności prognoz.czarne skrzynki , to nie dlatego, że nie mają modelu, to dlatego, że model jest zbudowany algorytmicznie i nie ma być widoczny dla człowieka ani maszyny.

Pojęcie „treningu” w ML opiera się na mocy obliczeniowej, podczas gdy budowanie modelu statystycznego metodami szacowania parametrów typu OLS opiera się na wiedzy eksperta-człowieka. W scenariuszu z regresją wielokrotną wyłącznie do statystyk należy wykorzystanie oceny eksperckiej w celu wyboru modelu i weryfikacji wszystkich wymaganych założeń statystycznych. Celem statystyki jest nie tylko znalezienie wzorców i wykorzystanie ich do prognoz, ale także zrozumienie jego danych i jego problemu na znacznie większej głębokości niż ML.

Oczywiście w niektórych przypadkach ML i statystyki pokrywają się, jak ma to miejsce w przypadku wielu dyscyplin. Regresja logistyczna jest jedną z tych okazji; pierwotnie metoda statystyczna, która tak bardzo przypomina prosty Perceptron (jedna z najbardziej podstawowych technik ML), że niektórzy postrzegają ją jako metodę ML.

Uczenie maszynowe jest dość luźno zdefiniowane i masz rację sądząc, że modele regresji - a nie tylko regresje logistyczne - również „uczą się” na podstawie danych. Nie jestem do końca pewien, czy to oznacza, że ​​uczenie maszynowe to tak naprawdę statystyka, czy statystyka to uczenie maszynowe - czy to w ogóle ma znaczenie.

$k$

To powiedziawszy, niektóre algorytmy uczą się na błędach prognozowania - jest to szczególnie powszechne w uczeniu się przez wzmocnienie , gdzie agent podejmuje pewne działania, obserwuje ich wynik, a następnie wykorzystuje wynik do planowania przyszłych działań. Na przykład odkurzacz robotyczny może zacząć od modelu świata, w którym równie często czyści wszystkie lokalizacje, a następnie nauczyć się odkurzać brudne miejsca (gdzie jest „nagradzane” przez znajdowanie brudu) więcej i mniej czyste miejsca.

Algorytmy online lub przyrostowe można wielokrotnie aktualizować o nowe dane treningowe. Niekoniecznie zależy to od dokładności prognozowania modelu, ale mogę sobie wyobrazić algorytm, w którym wagi są aktualizowane bardziej agresywnie, jeśli na przykład nowe dane wydają się bardzo mało prawdopodobne w obecnym modelu. Istnieją wersje online regresji logistycznej: np. McMahan i Streeeter (2012) .

W końcu to rozgryzłem. Teraz znam różnicę między dopasowaniem modelu statystycznego a uczeniem maszynowym.

• Jeśli dopasujesz model (regresję), to dopasowanie modelu statystycznego
• Jeśli uczysz się modelu (regresji), to jest uczenie maszynowe

Jeśli więc nauczysz się regresji logistycznej, jest to algorytm uczenia maszynowego.

Komentarz: Wybacz mi, że jestem starym geezerem, ale ilekroć słyszę ludzi mówiących o nauce modelu lub regresji, przypomina mi to Jethro: „Nauczyłem się edukacji”.

KONIEC NICI

Regresja logistyczna (i bardziej ogólnie, GLM) NIE należy do uczenia maszynowego! Metody te należą raczej do modelowania parametrycznego .

Zarówno modele parametryczne, jak i algorytmiczne (ML) wykorzystują dane, ale na różne sposoby. Modele algorytmiczne uczą się na podstawie danych, w jaki sposób predyktory mapują się na predyktory, ale nie przyjmują żadnych założeń dotyczących procesu, który wygenerował obserwacje (ani żadnego innego założenia, w rzeczywistości). Uważają, że podstawowe zależności między zmiennymi wejściowymi i wyjściowymi są złożone i nieznane, a zatem przyjmują podejście oparte na danych, aby zrozumieć, co się dzieje, zamiast narzucać formalne równanie.

Z drugiej strony modele parametryczne są ustalane z góry na podstawie pewnej wiedzy o badanym procesie, wykorzystują dane do oszacowania ich parametrów i przyjmują wiele nierealnych założeń, które rzadko mają zastosowanie w praktyce (takich jak niezależność, równa wariancja i Normalny rozkład błędów).

Ponadto modele parametryczne (takie jak regresja logistyczna) są modelami globalnymi . Nie mogą uchwycić lokalnych wzorców w danych (w przeciwieństwie do metod ML, które wykorzystują drzewa jako swoje modele podstawowe, na przykład RF lub drzewa wzmocnione). Zobacz ten artykuł na stronie 5. Jako strategię zaradczą można zastosować lokalne (tj. Nieparametryczne) GLM (patrz na przykład pakiet locfit R).

Często, gdy dostępna jest niewielka wiedza na temat podstawowego zjawiska, lepiej jest zastosować podejście oparte na danych i zastosować modelowanie algorytmiczne. Na przykład, jeśli zastosujesz regresję logistyczną w przypadku, gdy wzajemne oddziaływanie między zmiennymi wejściowymi i wyjściowymi nie jest liniowe, twój model będzie wyraźnie nieodpowiedni i duża część sygnału nie zostanie przechwycona. Jednak gdy proces jest dobrze zrozumiany, modele parametryczne mają tę zaletę, że zapewniają formalne równanie podsumowujące wszystko, co jest potężne z teoretycznego punktu widzenia.

Aby uzyskać bardziej szczegółową dyskusję, przeczytaj ten znakomity artykuł Leo Breimana.

Myślę, że inne odpowiedzi dobrze sprawdzają się w identyfikacji mniej więcej tego, czym jest uczenie maszynowe (jak wskazują, może to być rozmyte). Dodam, że regresja logistyczna (i jej bardziej ogólna wersja wielomianowa) jest bardzo często stosowana jako metoda przeprowadzania klasyfikacji w sztucznych sieciach neuronowych (które moim zdaniem są jednoznacznie objęte dowolną rozsądną definicją uczenia maszynowego), a więc jeśli wspomnicie Regresja logistyczna dla osoby sieci neuronowej, prawdopodobnie natychmiast pomyślą o tym w tym kontekście. Zajęcie się ciężkim doświadczeniem w uczeniu maszynowym jest dobrym sposobem, aby samemu stać się techniką uczenia maszynowego, i myślę, że do pewnego stopnia tak się stało z różnymi technikami regresji, chociaż nie zlekceważyłbym ich jako właściwych technik uczenia maszynowego samo w sobie.

Myślę, że każdą procedurę „iteracyjną” można uznać za przypadek uczenia maszynowego. Regresję można uznać za uczenie maszynowe. Moglibyśmy to zrobić ręcznie, ale zajęłoby to dużo czasu, jeśli to w ogóle możliwe. Więc teraz mamy te programy, maszyny, które wykonują dla nas iteracje. Zbliża się coraz bardziej do rozwiązania lub do najlepszego rozwiązania lub najlepszego dopasowania. Zatem „uczenie maszynowe”. Oczywiście takie rzeczy, jak sieci neuronowe, poświęcają najwięcej uwagi uczeniu maszynowemu, więc zwykle uczenie maszynowe kojarzy się z tymi seksownymi procedurami. Istotna jest tutaj również różnica między uczeniem maszynowym „nadzorowanym” i „bez nadzoru”

Jest to bardzo częsty błąd, który popełniają większość ludzi i widzę to tutaj (popełniane przez prawie wszystkich). Pozwól mi wyjaśnić to szczegółowo ... Regresja logistyczna i model regresji liniowej, oba są modelem parametrycznym, a także techniką uczenia maszynowego. To zależy tylko od metody używanej do oszacowania parametrów modelu (theta). Istnieją 2 sposoby znalezienia parametrów modelu w regresji liniowej i regresji logistycznej.

1. Technika zejścia gradientu : Tutaj zaczynamy od przypisania losowych wartości do parametrów i znalezienia funkcji kosztu (błędu). W każdej iteracji aktualizujemy nasze parametry i minimalizujemy funkcję kosztów. Po pewnej liczbie iteracji funkcja kosztu zredukowana do pożądanych wartości, a odpowiadające im wartości parametrów są naszymi ostatecznymi wartościami. To właśnie powinny robić techniki uczenia maszynowego. Tak więc, jeśli używasz techniki spadku gradientu, regresja logistyczna może być wywoływana jako technika uczenia maszynowego.

2. Za pomocą metody najmniejszych kwadratów: tutaj mamy bezpośredni wzór na znalezienie naszych parametrów (wymagana jest pewna algebra macierzowa, aby zrozumieć wyprowadzenie tego wzoru), który jest znany jako równanie normalne.

Tutaj b oznacza parametry X to macierz projektowa. Obie metody mają swoje zalety i ograniczenia. Aby uzyskać więcej informacji: śledź Coursera Kurs uczenia maszynowego wciąż trwa.

Mam nadzieję, że ten post może być pomocny .. :-)