Przykład oceny maksymalnej a posteriori

Czytałem o oszacowaniu maksymalnego prawdopodobieństwa i oszacowaniu maksymalnego a posteriori i jak dotąd spotkałem się z konkretnymi przykładami tylko z oszacowaniem maksymalnego prawdopodobieństwa. Znalazłem kilka abstrakcyjnych przykładów maksymalnego oszacowania a posteriori, ale nic konkretnego jeszcze z liczbami: S.

Może być bardzo przytłaczający, działa tylko z abstrakcyjnymi zmiennymi i funkcjami, a aby nie zagłuszyć się w tej abstrakcyjności, od czasu do czasu miło jest odnosić rzeczy do świata rzeczywistego. Ale oczywiście to tylko moja obserwacja (i niektórych innych ludzi) :)

Czy zatem ktoś mógłby podać prosty, ale konkretny przykład oszacowania Maximum A Posteriori z liczbami? To by bardzo pomogło :)

Dziękuję Ci!

Pierwotnie opublikowałem to pytanie na MSE, ale nie mogłem tam znaleźć odpowiedzi:

/math/449386/example-of-maximum-a-posteriori-estimation

Postępowałem zgodnie z instrukcjami podanymi tutaj na temat delegowania:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

bayesian estimation posterior

— jjepsuomi
źródło

1. przykład

Typowym przypadkiem jest tagowanie w kontekście przetwarzania języka naturalnego. Zobacz tutaj na szczegółowe wyjaśnienia. Chodzi przede wszystkim o to, aby móc określić kategorię leksykalną słowa w zdaniu (czy to rzeczownik, przymiotnik, ...). Podstawową ideą jest to, że masz model swojego języka składający się z ukrytego modelu markowa ( HMM ). W tym modelu stany ukryte odpowiadają kategoriom leksykalnym, a stany obserwowane - faktycznym słowom.

Odpowiedni model graficzny ma postać,

model graficzny kanonicznego HMM

$\mathbf{y} = (y1,...,y_{N})$ $\mathbf{x} = (x1,...,x_{N})$

Po szkoleniu celem jest znalezienie prawidłowej sekwencji kategorii leksykalnych, które odpowiadają danemu zdaniu wejściowemu. Jest to sformułowane jako znalezienie sekwencji znaczników, które są najbardziej kompatybilne / najprawdopodobniej zostały wygenerowane przez model językowy, tj

f (y) = {a r g m a x}_{x \in Y} p (x) p (y | x)

$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$

2. przykład

W rzeczywistości lepszym przykładem byłaby regresja. Nie tylko dlatego, że jest łatwiejszy do zrozumienia, ale także dlatego, że wyjaśnia różnice między maksymalnym prawdopodobieństwem (ML) a maksymalnym a posteriori (MAP).

$t$

y (x; w) = \sum_{i} w_{i} ϕ_{i} (x)

$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$

ϕ (x)

$\phi(\mathbf{x})$

w

$\mathbf{w}$

t = y (x; w) + ϵ

$t = y(\mathbf{x};\mathbf{w}) + \epsilon$

$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

E (w) = \frac{1}{2} \sum_{n} {(t_{n} - w^{T} ϕ (x_{n}))}^{2}

$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$

co daje dobrze znane rozwiązanie błędu najmniejszych kwadratów. Teraz ML jest wrażliwy na hałas i pod pewnymi warunkami niestabilny. MAP pozwala wybierać lepsze rozwiązania, nakładając ograniczenia na wagi. Na przykład typowym przypadkiem jest regresja kalenicy, w której wymaga się, aby wagi miały jak najmniejszą normę,

E (w) = \frac{1}{2} \sum_{n} {(t_{n} - w^{T} ϕ (x_{n}))}^{2} + λ \sum_{k} w_{k}^{2}

$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$

$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

w = {a r g m i n}_{w} p (w; λ) p (t | w; ϕ)

$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$

Zauważ, że w MAP wagi nie są parametrami jak w ML, ale zmiennymi losowymi. Niemniej jednak zarówno ML, jak i MAP są punktowymi estymatorami (zwracają optymalny zestaw wag, a nie rozkład optymalnych wag).

— jpmuc
źródło

+1 Cześć @juampa dziękuję za odpowiedź :) Ale wciąż szukam bardziej konkretnego przykładu :)

— jjepsuomi

w

$w$

O (n^{3})

$O(n^{3})$

f (y) = {a r g m a x}_{x \in X} p (x) p (y | x)

$f(y) = \mathbf{argmax}_{\mathbf{x} \in X}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$