W jaki sposób mundur wcześniejszy prowadzi do tych samych szacunków na podstawie maksymalnego prawdopodobieństwa i trybu z tyłu?

Badam różne metody szacowania punktowego i czytam, że kiedy używam oszacowań MAP vs ML, kiedy używamy „jednolitego wcześniejszego”, oszacowania są identyczne. Czy ktoś może wyjaśnić, czym jest „jednolity” uprzedni i podać (proste) przykłady, kiedy estymatory MAP i ML będą takie same?

— użytkownik1516425
źródło

@AndreSilva MAP = Maximum a posteriori - tryb a posterior

— Glen_b

Spójrz tutaj: math.stackexchange.com/questions/1327752/…

— Royi

Odpowiedzi:

Jest to rozkład równomierny (ciągły lub dyskretny).

Zobacz też

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Jeśli użyjesz munduru przed zestawem zawierającym MLE, wówczas MAP = MLE zawsze. Powodem tego jest to, że w ramach tej poprzedniej struktury rozkład a posteriori i prawdopodobieństwo są proporcjonalne.

— MAPMLE
źródło

To jest, moim zdaniem, dobra odpowiedź. Warto dodać, że powodem, dla którego rozkład tylny i prawdopodobieństwo są proporcjonalne, jest to, że rozkład tylny jest proporcjonalny do iloczynu prawdopodobieństwa i wcześniejszego. Kiedy przeor przyjmuje wszędzie tę samą wartość, co w rozkładzie równomiernym, wówczas rozkład tylny jest po prostu proporcjonalny do prawdopodobieństwa.

— TooTone

@TooTone Chciałbym również dodać punkt o niewłaściwości.

— Stéphane Laurent,

Jednolity przełożony może być postrzegany jako dający zestaw użytkowników lub jednakowe prawdopodobieństwo dla każdej klasy, którą próbujesz przewidzieć. Na przykład, jeśli mamy problem z dwiema klasami, a rozkład dla pozytywnych przykładów wynosi 10% (tj. Wcześniejsze prawdopodobieństwo 0,1), możemy ustawić jednolitą wcześniej dla pozytywnych przypadków na 0,5, aby przezwyciężyć efekt nierównowagi oryginału dystrybucja.

— soufanom

Uwaga: w przypadku jednolitego przed MAP i ML zderzają się tylko wtedy, gdy jednolity przedtem zawiera się we wszystkich prawidłowych wartościach parametru. Mianowicie, jeśli parametr jest ciągły, a pierwszeństwo jest jednolite tylko w [0, 1], to nie zostanie zachowane.

— Royi

@Drazick: dobra uwaga. Jest w rzeczywistości „gorszy” od tego, a mianowicie (wartość) MAP zależy od wyboru dominującej miary, jak wyjaśniono w tym artykule Druihleta i Marina .

— Xi'an

MLE jest oszacowaniem wystąpienia danego zdarzenia przy danym parametrze, natomiast MAP jest oszacowaniem parametru przy danym zdarzeniu. Kiedy dalej wykorzystujemy twierdzenie Bayesa podczas szacowania MAP, sprowadza się ono do $P(D|\theta)P(\theta)$ gdzie $P(\theta)$ jest jedynym dodatkowym terminem w odniesieniu do MLE. Oszacowanie średniej i wariancji MAP będzie takie samo, jak oszacowanie średniej i wariancji MLE, ponieważ Prior pozostaje za każdym razem taki sam i w ogóle się nie zmienia. Zatem działa tylko jako stała, a zatem nie odgrywa żadnej roli w wpływie na wartość średniej i wariancji.

— gg1782191
źródło

(-1) Oszacowanie maksymalnego prawdopodobieństwa (parametru) jest oszacowaniem parametru, a nie „oszacowaniem wystąpienia danego zdarzenia”. Pozostała część odpowiedzi jest również nieco zagmatwana / myląca, na przykład nie jest jasne, do czego odnoszą się słowa „średnia i wariancja”.

— Juho Kokkala

@Tim, czy możesz przedstawić dowód (lub zarys), który pokazuje The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Dziękuję

— ciekawy_dan

Twierdzenie @curious_dan Bayes jest

p (θ | X) \propto p (X | θ) p (θ)

$p(\theta|X) \propto p(X|\theta) p(\theta)$ , gdyby

p (θ) \propto 1

$p(\theta) \propto 1$ jest jednolity, a następnie zmniejsza się do

p (θ | X) \propto p (X | θ) \times 1

$p(\theta|X) \propto p(X|\theta) \times 1$ , więc maksymalizujesz tylko prawdopodobieństwo, więc jest to to samo co MLE.

— Tim

dziękuję, @Tim --- Rozumiem, dlaczego tak jest w przypadku wartości maksymalnej / oczekiwanej, ale nie jest dla mnie jasne, że wariancja będzie taka sama

— ciekawy_dan

@curious_dan wariancja czego? Dotyczy to każdego oszacowanego parametru.

— Tim