Czy istnieje wcześniejszy koniugat dla rozkładu Laplace'a?


13

Czy istnieje wcześniejszy koniugat dla rozkładu Laplace'a ? Jeśli nie, to czy istnieje znane wyrażenie w formie zamkniętej, które aproksymuje tylne parametry rozkładu Laplace'a?

Przeszukiwałem całkiem sporo bez powodzenia, więc moje obecne pytanie brzmi „nie” w powyższych pytaniach ...


1
Google „polson i scott normalna wariancja oznacza mieszanki” - da to trochę przybliżonych bayes przy użyciu MAP za pomocą algorytmu em.
prawdopodobieństwo prawdopodobieństwa

Odpowiedzi:


12

Spójrzmy na nich jeden po drugim (biorąc drugi jak podano).

Z linku (z modyfikacją następującej konwencji używania greckich symboli jako parametrów):

f(x|μ,τ)=12τexp(|xμ|τ)

- parametr skali :

L(τ)τk1eSτ

dla pewnych wartości i . To jest prawdopodobieństwo odwrotnej postaci gamma.kS

Tak więc parametr skali ma koniugat przed - przez sprawdzenie, koniugat przed jest odwrotną gamma.

- parametr lokalizacji

Jest to w istocie trudniejsze, ponieważnie upraszcza się w coś wygodnego w ; Nie sądzę, że istnieje jakiś sposób na „zbieranie warunków” (w pewnym sensie taki jest, ale i tak nie musimy).i|xiμ|μ

Jednolity przeor po prostu obetnie tył, co nie jest takie złe w pracy, jeśli wydaje się to prawdopodobne jako przeor.

Jedną interesującą możliwością, która może czasami być przydatna, jest raczej łatwe włączenie wcześniejszego Laplace'a (tej o tej samej skali co dane) za pomocą pseudoobserwacji. Można również przybliżyć niektóre inne (ściślejsze) wcześniej za pomocą kilku pseudoobserwacji)

W rzeczywistości, aby uogólnić na podstawie tego, gdybym pracował z Laplace'em, miałbym pokusę, aby po prostu uogólnić od stałej skali stałej wagi do pracy z wersją Laplace'a z ważoną obserwacją (równoważnie, potencjalnie inna skala dla każdy punkt danych) - prawdopodobieństwo dziennika jest nadal tylko ciągłą, częściową funkcją liniową, ale nachylenie może się zmieniać o wartości inne niż całkowite w punktach łączenia. Wtedy istnieje dogodny „koniugat” wcześniejszy - po prostu kolejny „ważony” Laplace lub, w rzeczywistości, forma lubexp ( - j w j | μ - θ j | )exp(j|μθj|/ϕj)exp(jwj|μθj|)(choć musiałaby być odpowiednio skalowana, aby uzyskać rzeczywistą gęstość) - bardzo elastyczna rodzina rozkładów, która najwyraźniej skutkuje późniejszym „tej samej postaci” co prawdopodobieństwo ważonej obserwacji i czymś łatwym w obsłudze i remis; w rzeczy samej nawet pseudoobserwacja nadal działa.

Jest także na tyle elastyczny, że można go wykorzystać do przybliżenia innych priorytetów.

(Mówiąc bardziej ogólnie, można było pracować na skali kłody i użyć ciągłego, logicznie płasko-wklęsłego wklęsłego loga przed, a tył również byłby w takiej formie; w szczególnym przypadku uwzględniałby asymetryczny Laplace)

Przykład

Aby pokazać, że dość łatwo sobie z tym poradzić - poniżej znajduje się wcześniejsze (kropkowane szare), prawdopodobieństwo (przerywane, czarne) i tylne (pełne, czerwone) dla parametru lokalizacji ważonego Laplace'a (... to było ze znanymi skalami ).

wprowadź opis zdjęcia tutaj

Myślę, że podejście ważone Laplace'a działałoby dobrze w MCMC.

-

Zastanawiam się, czy wynikowy tryb tylny jest ważoną medianą?

- właściwie (aby odpowiedzieć na moje pytanie), wygląda na to, że odpowiedź brzmi „tak”. To sprawia, że ​​praca z nim jest przyjemniejsza.

-

Wspólny przeor

Oczywistym podejściem byłoby napisanie : względnie łatwo byłoby mieć w takiej samej formie jak powyżej - gdzie może być czynnikiem skalującym w stosunku do przeora, więc przeor byłby określony względem - a następnie odwrotna gamma przed , bezwarunkowo.μ | τ τ τ τf(μ,τ)=f(μ|τ)f(τ)μ|ττττ

Niewątpliwie coś bardziej ogólnego dla wspólnego przeora jest całkiem możliwe, ale nie sądzę, że będę kontynuował wspólną sprawę dalej niż tutaj.

-

Nigdy wcześniej nie widziałem ani nie słyszałem o tym ważonym laplace wcześniejszym podejściu, ale wymyślenie go było dość proste, więc prawdopodobnie zostało już zrobione. (Referencje są mile widziane, jeśli ktoś o nich wie.)

Jeśli nikt nie zna żadnych odniesień, może powinienem coś napisać, ale byłoby to zadziwiające.


Wow, świetna odpowiedź. Na pewno nie znam żadnych odniesień do czegoś podobnego. Jeśli coś znajdziesz lub napiszesz, daj mi znać!
Rasmus Bååth

1
Jednym z możliwych sposobów uzyskania parametru położenia jest użycie normalnej reprezentacji mieszanki wariancji laplace. Jest to warunkowo koniugat przed ...
probabilislogiczny

@probabilityislogic, który jest interesujący. We wcześniejszych edycjach wstawiałem wiersz wskazujący, że Laplace był mieszaniną normalną w skali wykładniczej, ponieważ zastanawiałem się, czy można coś z tym zrobić, ale gdy zredagowałem odpowiedź dalej, to już nie pasowało i wziąłem to znowu. Z twojego pomocnego komentarza wynika, że ​​można go w ten sposób wykorzystać; to może się przydać.
Glen_b
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.