Różnice między regresją logistyczną a perceptronami


16

Jak rozumiem, sztuczna sieć neuronowa perceptron / jednowarstwowa z funkcją aktywacji logistycznej sigmoidu jest tym samym modelem co regresja logistyczna. Oba modele podano w równaniu:

F(x)=11eβX

Algorytm uczenia się perceptronu jest online i oparty na błędach, podczas gdy parametry regresji logistycznej można nauczyć przy użyciu różnych algorytmów wsadowych, w tym spadku gradientu i BFGS o ograniczonej pamięci, lub algorytmu online, takiego jak gradient gradientu stochastycznego. Czy są jakieś inne różnice między regresją logistyczną a sigmoidalnym perceptronem? Czy należy oczekiwać, że wyniki regresora logistycznego wyszkolonego ze stochastycznym spadkiem gradientu będą podobne do perceptronu?


2
Wygląda na to, że to pytanie jest podobne i wydaje się, że zawiera lepsze odpowiedzi :)
Ralph Tigoumo

Odpowiedzi:


1

Wspomniałeś już o ważnych różnicach. Wyniki nie powinny się tak bardzo różnić.


1
To nie daje odpowiedzi na pytanie. Aby skrytykować lub poprosić autora o wyjaśnienia, zostaw komentarz pod postem.
Xi'an

1
Właściwie próbowałem odpowiedzieć na oba pytania: 1) „Czy istnieją jakieś inne różnice między regresją logistyczną a sigmoidalnym perceptronem?” oraz 2) „Czy należy oczekiwać, że wyniki regresora logistycznego wyszkolonego ze stochastycznym spadkiem gradientu będą podobne do perceptronu?”
Michael Dorner,

7
To rozsądne stanowisko, @MichaelDorner. Czy mógłbyś nieco rozszerzyć swoją odpowiedź, aby była bardziej zrozumiała?
gung - Przywróć Monikę

3

Uważam, że jedną różnicą, której brakuje, jest fakt, że regresja logistyczna zwraca zasadnicze prawdopodobieństwo klasyfikacji, podczas gdy perceptrony klasyfikują się według twardej granicy.

Jest to wspomniane w artykule Wiki na temat wielomianowej regresji logistycznej .


2

W rzeczywistości istnieje duża znacząca różnica, która jest związana z różnicami technicznymi, o których wspomniałeś. Regresja logistyczna modeluje funkcję średniej rozkładu Bernoulliego jako równanie liniowe (średnia jest równa prawdopodobieństwu p zdarzenia Bernoulliego). Stosując łącze logit jako funkcję średniej ( p ), logarytm szans (log-odds) można uzyskać analitycznie i wykorzystać jako odpowiedź na tak zwany uogólniony model liniowy. Oszacowanie parametrów w tym GLM jest następnie procesem statystycznym, który daje wartości p i przedziały ufności dla parametrów modelu. Oprócz przewidywania pozwala to na interpretację modelu na podstawie wnioskowania przyczynowego. Tego nie da się osiągnąć za pomocą liniowego Perceptronu.

Perceptron jest procesem inżynierii odwrotnej regresji logistycznej: zamiast logitu y przyjmuje odwrotną logit (logistyczną) funkcję wx i nie stosuje probabilistycznych założeń ani do oszacowania modelu, ani parametru. Szkolenie online da dokładnie takie same oszacowania dla wag / parametrów modelu, ale nie będziesz w stanie zinterpretować ich na podstawie wnioskowania przyczynowego z powodu braku wartości p, przedziałów ufności i cóż, podstawowego modelu prawdopodobieństwa.

Krótko mówiąc, regresja logistyczna jest GLM, która może wykonywać przewidywanie i wnioskowanie, podczas gdy liniowy Perceptron może tylko przewidywać (w takim przypadku będzie działał tak samo jak regresja logistyczna). Różnica między nimi jest również podstawową różnicą między modelowaniem statystycznym a uczeniem maszynowym.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.