MLE vs najmniejsze kwadraty w dopasowywanych rozkładach prawdopodobieństwa

Mam wrażenie, że na podstawie kilku artykułów, książek i artykułów, które przeczytałem, zalecanym sposobem dopasowania rozkładu prawdopodobieństwa na zbiorze danych jest oszacowanie maksymalnego prawdopodobieństwa (MLE). Jednak jako fizyk bardziej intuicyjny sposób polega na dopasowaniu pdf modelu do empirycznego pdf danych przy użyciu najmniejszych kwadratów. Dlaczego zatem MLE jest lepszy od najmniejszych kwadratów w dopasowywaniu rozkładów prawdopodobieństwa? Czy ktoś mógłby wskazać mi artykuł naukowy / książkę, która odpowiada na to pytanie?

Mam przeczucie, że MLE nie zakłada modelu szumu, a „szum” w empirycznym pliku pdf jest heteroscedastyczny i nie jest normalny.

Jednym z użytecznych sposobów myślenia na ten temat jest zauważenie, że zdarzają się przypadki, gdy najmniejsze kwadraty i MLE są takie same, np. Oszacowanie parametrów, w których losowy element ma rozkład normalny. Tak więc, zamiast (jak spekulujesz), że MLE nie zakłada modelu hałasu, chodzi o to, że zakłada on, że występuje przypadkowy hałas, ale przyjmuje bardziej wyrafinowany obraz tego, jak to jest ukształtowane, niż zakładając ma rozkład normalny.

Każda książka na temat wnioskowania statystycznego będzie zajmować się ładnymi właściwościami MLE pod względem wydajności i spójności (ale niekoniecznie stronniczości). MLE mają również tę zaletę, że są asymptotycznie normalni w rozsądnych warunkach.