Jaka jest różnica między regresją logistyczną a sieciami neuronowymi?

Jak wyjaśnimy różnicę między regresją logistyczną a siecią neuronową odbiorcom, którzy nie mają doświadczenia w statystyce?

Zakładam, że myślisz o tym, co kiedyś było, i być może nadal są określane jako „wielowarstwowe perceptrony” w pytaniu dotyczącym sieci neuronowych. Jeśli tak, to wyjaśnię całość elastycznością dotyczącą formy granicy decyzji w funkcji zmiennych objaśniających. W szczególności dla tej grupy odbiorców nie wspomniałbym o funkcjach linków / logarytmach itp. Po prostu trzymaj się idei, że prawdopodobieństwo zdarzenia jest przewidywane na podstawie niektórych obserwacji.

Oto możliwa sekwencja:

• Upewnij się, że wiedzą, jakie jest przewidywane prawdopodobieństwo z punktu widzenia koncepcji. Pokaż ją jako funkcję jednej zmiennej w kontekście niektórych znanych danych. Wyjaśnij kontekst decyzyjny, który będzie współdzielony przez regresję logistyczną i sieci neuronowe.
• Zacznij od regresji logistycznej. Podaj, że jest to przypadek liniowy, ale pokaż liniowość wynikowej granicy decyzji przy użyciu wykresu ciepła lub konturu prawdopodobieństw wyjściowych z dwiema zmiennymi objaśniającymi.
• Zauważ, że dwie klasy mogą nie być dobrze rozdzielone przez granice, które widzą, i motywują bardziej elastyczny model do stworzenia bardziej zakrzywionej granicy. W razie potrzeby pokaż niektóre dane, które można by w ten sposób dobrze rozróżnić. (Dlatego zaczynasz od 2 zmiennych)
• Zauważ, że mógłby zacząć komplikuje oryginalny model liniowy z dodatkowymi warunkami, na przykład kwadratów lub innych przekształceń, i może pokazać, że granice te generują.
• Ale odrzuć je, zauważając, że nie wiesz z góry, jaka powinna być forma funkcji i wolisz uczyć się na podstawie danych. Tak jak entuzjastycznie podchodzą do tego, zwróć uwagę na niemożność tego z całkowitą ogólnością i sugeruj, że z przyjemnością zakładasz, że powinna ona być co najmniej „gładka”, a nie „niepewna”, ale w inny sposób określona przez dane. (Zapewnij, że prawdopodobnie myśleli już tylko o gładkich granicach, tak jak przez całe życie mówili prozą).
• Pokaż wyniki uogólnionego modelu addytywnego, w którym prawdopodobieństwo wyjściowe jest wspólną funkcją pary pierwotnych zmiennych, a nie prawdziwą kombinacją addytywną - służy to wyłącznie celom demonstracyjnym. Co ważne, nazwij to płynniej, ponieważ jest to miłe i ogólne i opisuje wszystko intuicyjnie. Zademonstruj nieliniową granicę decyzyjną na zdjęciu, jak poprzednio.
• Zauważ, że ta (obecnie anonimowa) funkcja wygładzania ma parametr gładkości, który kontroluje, jak naprawdę jest ona gładka, na marginesie określ to jako wcześniejsze przekonanie o gładkości funkcji zmieniającej zmienne objaśniające w przewidywane prawdopodobieństwo. Może pokaż konsekwencje różnych ustawień gładkości na granicy decyzji.
• Teraz wprowadź sieć neuronową jako schemat. Wskaż, że druga warstwa jest tylko modelem regresji logistycznej, ale zwróć również uwagę na nieliniową transformację zachodzącą w ukrytych jednostkach. Przypomnij publiczności, że jest to kolejna funkcja od wejścia do wyjścia, która będzie nieliniowa w granicach decyzji.
• Zauważ, że ma wiele parametrów i że niektóre z nich muszą być ograniczone, aby umożliwić płynne podejmowanie decyzji - przywróć ideę liczby, która kontroluje gładkość tak samo (mówiąc koncepcyjnie) liczba, która utrzymuje parametry powiązane ze sobą z dala od Ekstremalne wartości. Zauważ też, że im więcej ukrytych jednostek, tym więcej różnych rodzajów funkcjonalnych form może realizować. Aby zachować intuicję, mów o ukrytych jednostkach pod względem elastyczności i ograniczenia parametrów pod względem gładkości (pomimo matematycznej niechlujstwa tej charakterystyki)
• Następnie zaskocz ich, twierdząc, że nadal nie znasz funkcjonalnej formy, więc chcesz być nieskończenie elastyczny, dodając nieskończoną liczbę ukrytych jednostek. Niech praktyczna niemożność tego zatonięcia za chwilę. Następnie zauważ, że ten limit można wziąć w matematyce, i zapytaj (retorycznie), jak by to wyglądało.
• Odpowiedz, że znów będzie gładszy (proces Gaussa, jak to się dzieje; Neal, 1996, ale ten szczegół nie jest ważny), jak ten, który widzieli wcześniej. Zauważ, że znowu istnieje ilość, która kontroluje gładkość, ale nie ma innych szczególnych parametrów (zintegrowanych, dla tych, którzy dbają o tego rodzaju rzeczy).
• Wniosek, że sieci neuronowe są szczególnymi, domyślnie ograniczonymi, implementacjami zwykłych wygładzaczy, które są nieliniowymi, niekoniecznie addytywnymi rozszerzeniami modelu regresji logistycznej. Następnie zrób to w drugą stronę, stwierdzając, że regresja logistyczna jest równoważna modelowi sieci neuronowej lub bardziej płynna z parametrem wygładzania ustawionym na „wyjątkowo ekstra gładki”, tj. Liniowy.

Zaletą tego podejścia jest to, że tak naprawdę nie musisz wnikać w żaden matematyczny szczegół, aby podać właściwy pomysł. W rzeczywistości nie muszą już rozumieć regresji logistycznej ani sieci neuronowych, aby zrozumieć podobieństwa i różnice.

Wadą tego podejścia jest to, że musisz zrobić dużo zdjęć i zdecydowanie oprzeć się pokusie zejścia do algebry, aby wyjaśnić różne rzeczy.

Dla prostszego podsumowania:

Regresja logistyczna: najprostsza forma sieci neuronowej, która powoduje, że granice decyzji są linią prostą

Sieci neuronowe: nadzbiór, który obejmuje regresję logistyczną, a także inne klasyfikatory, które mogą generować bardziej złożone granice decyzyjne.

(uwaga: mam na myśli „prostą” regresję logistyczną, bez pomocy zintegrowanych jąder)

(odniesienie: kursy deeplearning.ai Andrew Ng, „Regresja logistyczna jako sieć neuronowa” i „Klasyfikacja danych planarnych z jedną ukrytą warstwą”)

Przyjmę pytanie dosłownie: ktoś bez doświadczenia w statystyce. I nie zamierzam dać tej osobie tła w statystykach. Załóżmy na przykład, że musisz wyjaśnić różnicę prezesowi firmy lub coś w tym rodzaju.

Zatem: Regresja logistyczna jest narzędziem do modelowania zmiennej kategorialnej pod względem innych zmiennych. Daje to sposoby, aby dowiedzieć się, jak zmiany w każdej z „innych” zmiennych wpływają na szanse różnych wyników w pierwszej zmiennej. Wynik jest dość łatwy do interpretacji.

Sieci neuronowe to zestaw metod pozwalających komputerowi uczyć się na przykładach w sposób, który niejasno przypomina sposób, w jaki ludzie dowiadują się o rzeczach. Może to skutkować modelami, które są dobrymi predyktorami, ale zwykle są znacznie bardziej nieprzejrzyste niż modele z regresji logistycznej.

Nauczono mnie, że można myśleć o sieciach neuronowych (z funkcjami aktywacji logistycznej) jako o średniej ważonej funkcji logit, z oszacowaniem samych wag. Wybierając dużą liczbę logów, możesz dopasować dowolną formę funkcjonalną. W blogu Econometric Sense jest trochę intuicji graficznej .

Inne odpowiedzi są świetne. Dodałbym tylko kilka zdjęć pokazujących, że można myśleć o regresji logistycznej i regresji logistycznej wielu klas (aka maxent, wielomianowa regresja logistyczna, regresja softmax, klasyfikator maksymalnej entropii) jako specjalnej architekturze sieci neuronowych.

Od Sebastiana Raschki z Michigan State University na temat KDnuggets :

Jeszcze kilka ilustracji dla wieloklasowej regresji logistycznej:

Podobna ilustracja pochodzi z http://www.deeplearningbook.org/ rozdział 1:

I jeszcze jeden z samouczków TensorFlow :

Np. W Caffe zaimplementowałbyś regresję logistyczną w następujący sposób :

Chciałbym skorzystać z przykładu skomplikowanego, ale konkretnego problemu, który rozumie publiczność. Używaj ukrytych węzłów, których interpretacje nie są szkolone, ale mają szczególne znaczenie.

Jeśli użyjesz pozycji szachowych (przewidując, czy biały wygra), możesz pozwolić, aby dane wejściowe były reprezentacją planszy (zignoruj, czy możesz zamykać lub przechwytywać en passant, a nawet czyje to ruchy), powiedz $64 \times 12$ dane binarne wskazujące, czy na każdym kwadracie znajduje się element każdego typu.

Regresja liniowa określa, jak dobrze mieć białego rycerza na h4. Może nie być oczywiste, że jest w ogóle dobry, ale jeśli jest na h4, nie został przechwycony, co prawdopodobnie przeważa nad innymi względami. Regresja liniowa prawdopodobnie odzyskuje przybliżone wartości pionów i że lepiej jest trzymać je w kierunku środka planszy i po stronie przeciwnika. Regresja liniowa nie jest w stanie wycenić kombinacji, na przykład twoja królowa na b2 staje się nagle bardziej wartościowa, jeśli przeciwny król jest na a1.

Sieć neuronowa mogłaby mieć ukryte węzły dla pojęć, takich jak „przewaga materialna”, „bezpieczeństwo czarnego króla”, „kontrola centrum”, „obie wieże na teczce d”, „izolowany pion gawron królowej” lub „biskup” ruchliwość." Niektóre z nich można oszacować tylko na podstawie danych wejściowych płytki, podczas gdy inne mogą wymagać ukrytej warstwy. Sieć neuronowa może wykorzystać je jako dane wejściowe do ostatecznej oceny pozycji. Te pojęcia pomagają ekspertowi ocenić pozycję, więc sieć neuronowa powinna być w stanie dokonywać dokładniejszych ocen niż regresja liniowa. Jednak utworzenie sieci neuronowej wymaga więcej pracy, ponieważ musisz wybrać jej strukturę i trzeba trenować o wiele więcej parametrów.