Używanie MLE vs. OLS

Kiedy lepiej jest stosować oszacowanie maksymalnego prawdopodobieństwa zamiast zwykłych najmniejszych kwadratów? Jakie są zalety i ograniczenia każdego z nich? Staram się zebrać praktyczną wiedzę na temat tego, gdzie wykorzystać każdą z nich w typowych sytuacjach.

regression maximum-likelihood least-squares

— użytkownik38133
źródło

Jak wyjaśniono tutaj , OLS jest tylko szczególnym przykładem MLE. Oto ściśle powiązane pytanie, z pochodną OLS pod względem MLE.

Rozkład warunkowy odpowiada modelowi szumu (dla OLS: Gaussowski i taki sam rozkład dla wszystkich wejść). Istnieją inne opcje (t-Student radzący sobie z wartościami odstającymi lub pozwolić, aby rozkład hałasu zależał od danych wejściowych )

— jpmuc
źródło

(-1) To nieprawda, że student można zależało, aby radzić sobie z odstających . Zobacz przykład tutaj lub rozdział 2 tego podręcznika, aby uzyskać więcej wyjaśnień.

t

$t$

— user603

OLS jest metodą przybliżania / szacowania minimalizującą odległość, podczas gdy ML jest metodą maksymalizacji „prawdopodobieństwa”. OLS nie potrzebuje stochastycznych założeń, aby zapewnić swoje rozwiązanie minimalizujące odległość, podczas gdy ML zaczyna od przyjęcia wspólnej gęstości gęstości / funkcji prawdopodobieństwa. Fakt, że w niektórych okolicznościach oba zapewniają takie samo rozwiązanie, w żaden sposób nie czyni jednego szczególnym przykładem drugiego.

— Alecos Papadopoulos