Edycje: Dodałem prosty przykład: wnioskowanie o średniej . Wyjaśniłem też nieco, dlaczego wiarygodne przedziały niepasujące do przedziałów ufności są złe.
Ja, dość pobożny Bayesjan, jestem w trakcie pewnego rodzaju kryzysu wiary.
Mój problem jest następujący. Załóżmy, że chcę przeanalizować niektóre dane IID . Chciałbym:
najpierw zaproponuj model warunkowy:
Następnie wybierz opcję poprzedzającą :
Na koniec zastosuj regułę Bayesa, obliczyć tylną część: (lub jakieś przybliżenie, jeśli powinno być niemożliwe do obliczenia) i odpowiedz na wszystkie pytania dotyczące
Jest to rozsądne podejście: jeśli prawdziwy model danych jest rzeczywiście „wewnątrz” mojego warunku (odpowiada pewnej wartości θ 0 ), to mogę przywołać teorię decyzji statystycznych, aby powiedzieć, że moja metoda jest dopuszczalna (patrz Szczegóły Roberta „Wybór Bayesa”; „Wszystkie statystyki” również dają jasny opis w odpowiednim rozdziale).
Jednak, jak wszyscy wiedzą, założenie, że mój model jest poprawny, jest dość aroganckie: dlaczego natura powinna wpaść w ramkę modeli, które rozważałem? O wiele bardziej realistyczne jest założenie, że rzeczywisty model danych różni się od p ( X | θ ) dla wszystkich wartości θ . Jest to zwykle nazywane „błędnie określonym” modelem.
Mój problem polega na tym, że w tym bardziej realistycznym, źle określonym przypadku nie mam dobrych argumentów za byciem Bayesianem (tj. Obliczeniem rozkładu tylnego) w porównaniu do zwykłego obliczenia estymatora maksymalnej wiarygodności (MLE):
Rzeczywiście, według Kleijna, vd Vaart (2012) , w źle określonym przypadku rozkład tylny:
zbiega się jako do dystrybucji dirac wyśrodkowanej wθ M L
nie ma prawidłowej wariancji (chyba że dwie wartości są po prostu takie same), aby zapewnić wiarygodne przedziały przedziałów ufności dla dopasowania tylnego dla . (Należy zauważyć, że chociaż przedziały ufności są oczywiście czymś, na czym Bayesianie nie przejmują się nadmiernie, jakościowo oznacza to, że rozkład tylny jest wewnętrznie niewłaściwy, ponieważ sugeruje, że jego wiarygodne przedziały nie mają właściwego zasięgu)
W związku z tym płacimy premię obliczeniową (wnioskowanie bayesowskie jest na ogół droższe niż MLE) za brak dodatkowych właściwości
Wreszcie moje pytanie: czy są jakieś argumenty, zarówno teoretyczne, jak i empiryczne, przemawiające za wykorzystaniem wnioskowania bayesowskiego nad prostszą alternatywą MLE, gdy model jest źle określony?
(Ponieważ wiem, że moje pytania są często niejasne, daj mi znać, jeśli czegoś nie rozumiesz: spróbuję to sformułować)
Edycja: rozważmy prosty przykład: wnioskowanie o średniej podstawie modelu Gaussa (ze znaną wariancją aby jeszcze bardziej uprościć). Uważamy przeora Gaussa: oznaczamy średnią wcześniejszą, odwrotną wariancją wcześniejszego. Niech będzie empiryczną średnią . Na koniec zwróć uwagę: . σ μ 0 β 0 ˉ X X i μ = ( β 0 μ 0 + n
Rozkład tylny to:
W prawidłowo określonym przypadku (gdy naprawdę ma rozkład Gaussa), ten tylny ma następujące miłe właściwości
Jeśli są generowane z modelu hierarchicznego, w którym ich wspólna średnia jest wybierana z wcześniejszego rozkładu, wtedy wiarygodne przedziały tylne mają dokładne pokrycie. Zależnie od danych, prawdopodobieństwo, że będzie w dowolnym przedziale, jest równe prawdopodobieństwu, które posterior przypisuje temu przedziałowi θ
Nawet jeśli wcześniejsze nie jest poprawne, wiarygodne przedziały mają prawidłowe pokrycie w limicie w którym zanika wcześniejszy wpływ na tył
tylny ponadto ma dobre właściwości częstokształtne: każdy estymator bayesowski skonstruowany z tylnego jest gwarantowany jako dopuszczalny, średnia tylna jest wydajnym estymatorem (w sensie Cramera-Rao) średniej, wiarygodne przedziały są asymptotycznie przedziałami ufności.
W źle określonym przypadku większość z tych właściwości nie jest gwarantowana przez teorię. Aby naprawić pomysły, załóżmy, że prawdziwym modelem dla jest to, że są to rozkłady Studentów. Jedyną właściwością, którą możemy zagwarantować (Kleijn i in.) Jest to, że rozkład tylny koncentruje się na rzeczywistym w granicy . Ogólnie rzecz biorąc, wszystkie właściwości pokrycia zniknęłyby. Co gorsza, ogólnie możemy zagwarantować, że w tym limicie właściwości pokrycia są zasadniczo błędne: rozkład tylny przypisuje błędne prawdopodobieństwo różnym obszarom przestrzeni.X i n → ∞