Oszacowanie MLE a MAP, kiedy użyć którego?

MLE = oszacowanie maksymalnego prawdopodobieństwa

MAP = Maksimum a posteriori

MLE jest intuicyjny / naiwny, ponieważ zaczyna się od prawdopodobieństwa obserwacji danego parametru (tj. Funkcji prawdopodobieństwa) i próbuje znaleźć parametr najlepiej zgodny z obserwacją . Ale nie bierze pod uwagę wcześniejszej wiedzy.

MAP wydaje się bardziej rozsądny, ponieważ bierze pod uwagę wcześniejszą znajomość zasady Bayesa.

Oto powiązane pytanie, ale odpowiedź nie jest dokładna. /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

Myślę więc, że MAP jest znacznie lepszy. Czy to prawda? A kiedy powinienem użyć którego?

Jeśli w ramach konfiguracji problemu podano wcześniejsze prawdopodobieństwo, skorzystaj z tej informacji (tj. Użyj MAP). Jeśli nie podano ani nie przyjęto takich wcześniejszych informacji, MAP nie jest możliwy, a MLE jest rozsądnym podejściem.

Bayesian zgodziłby się z tobą, a częsty nie. Jest to kwestia opinii, perspektywy i filozofii. Myślę, że próba argumentowania, że ​​jedna metoda jest zawsze lepsza od drugiej, jest bardzo szkodliwa dla społeczności statystyk. Wiele problemów będzie miało rozwiązania bayesowskie i częste, które są podobne, o ile Bayesian nie ma zbyt silnego z góry.

Zakładając, że masz dokładne wcześniejsze informacje, MAP jest lepszy, jeśli problem ma zerową funkcję straty w oszacowaniu. Jeśli strata nie jest równa zero (a w wielu rzeczywistych problemach nie jest), może się zdarzyć, że MLE osiągnie niższą oczekiwaną stratę. W takich przypadkach lepiej nie ograniczać się do MAP i MLE jako jedynych dwóch opcji, ponieważ oba są nieoptymalne.

Krótka odpowiedź @bean wyjaśnia to bardzo dobrze. Chciałbym jednak wskazać na sekcję 1.1 artykułu Gibbs Sampling dla niewtajemniczonych przez Resnika i Hardisty'ego, która przybliża sprawę do głębi. Piszę kilka wierszy z tego artykułu z bardzo niewielkimi modyfikacjami (odpowiedzi te powtarzają kilka rzeczy, które OP wie o kompletności)

MLE

Formalnie MLE dokonuje wyboru (parametru modelu), który najprawdopodobniej wygeneruje zaobserwowane dane.

MAPA

Oszacowany MAP to wybór, który najprawdopodobniej wynika z zaobserwowanych danych. W przeciwieństwie do MLE, estymacja MAP stosuje Regułę Bayesa, dzięki czemu nasze szacunki mogą uwzględniać wcześniejszą wiedzę na temat tego, czego oczekujemy od naszych parametrów w postaci wcześniejszego rozkładu prawdopodobieństwa.

Łapać

Oszacowania MLE i MAP dają nam najlepsze oszacowanie, zgodnie z ich odpowiednimi definicjami „najlepszego”. Zauważ jednak, że użycie jednego oszacowania - czy to MLE, czy MAP - wyrzuca informacje. Zasadniczo parametr może mieć dowolną wartość (z domeny); czy nie uzyskalibyśmy lepszych oszacowań, gdybyśmy wzięli pod uwagę cały rozkład, a nie tylko pojedynczą oszacowaną wartość parametru? Jeśli to zrobimy, wykorzystamy wszystkie informacje o parametrze, które możemy wykasować z obserwowanych danych, X.

Więc z tym haczykiem możemy nie chcieć użyć żadnego z nich. Ponadto, jak już wspomniano przez fasoli i Tim, jeśli trzeba użyć jednego z nich, stosowanie MAP jeśli masz przed. Jeśli nie masz priorytetów, MAP zmniejsza się do MLE. Sprzężone priory pomogą rozwiązać problem analitycznie, w przeciwnym razie użyj Gibbs Sampling.

Jak wiemy,

$$\begin{equation}\begin{aligned} \hat\theta^{MAP}&=\arg \max\limits_{\substack{\theta}} \log P(\theta|\mathcal{D})\\ &= \arg \max\limits_{\substack{\theta}} \log \frac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\\ &=\arg \max\limits_{\substack{\theta}} \log P(\mathcal{D}|\theta)P(\theta) \\ &=\arg \max\limits_{\substack{\theta}} \underbrace{\log P(\mathcal{D}|\theta)}_{\text{log-likelihood}}+ \underbrace{\log P(\theta)}_{\text{regularizer}} \end{aligned}\end{equation}$$

Prior jest traktowany jako regularyzator i jeśli znasz wcześniejszy rozkład, na przykład Gaussin ( ) w regresji liniowej, i lepiej jest dodać regularyzacja dla lepszej wydajności.$\exp(-\frac{\lambda}{2}\theta^T\theta)$

Jeśli dane są mniejsze, a masz dostępne dane dotyczące priorytetów - „PRZEJDŹ NA MAPĘ”. Jeśli masz dużo danych, MAP zbiegnie się w MLE. Dlatego w przypadku wielu scenariuszy danych zawsze lepiej jest wykonać MLE niż MAP.