Czy nieprecyzyjny przeor jest tym samym co przeorat nieinformacyjny?

27

To pytanie dotyczy terminologii. Czy „niejasny przeor” jest taki sam jak nieinformacyjny przeor, czy też istnieje między nimi jakaś różnica? Mam wrażenie, że są takie same (od wspólnego szukania niejasnych i nieinformacyjnych informacji), ale nie jestem pewien.

bayesian prior terminology

— Bayesian
źródło

1

Niejasne: tak. Nieinformacyjnie: Nie.

— kardynał

18

Gelman i in. (2003) mówią:

od dawna istnieje potrzeba wcześniejszych dystrybucji, które mogą gwarantować odgrywanie minimalnej roli w dystrybucji tylnej. Takie rozkłady są czasem nazywane „referencyjnymi wcześniejszymi rozkładami”, a wcześniejsza gęstość jest opisana jako niejasna, płaska lub nieinformacyjna . [Podkreślenie z oryginalnego tekstu]

Na podstawie mojej lektury dyskusji o przeorze Jeffreysa w Gelman i in. (2003, s. 62ff), nie ma zgody co do istnienia naprawdę nieinformacyjnego przeora, a wystarczające są wystarczająco niejasne / płaskie / rozproszone priory.

Niektóre z ich punktów:

Wszelkie wcześniejsze zawierają informacje, w tym informacje dotyczące osób trzecich, które stwierdzają, że żadne informacje nie są znane.
- Na przykład, jeśli wiemy, że nie wiemy nic o danym parametrze, to wiemy coś o tym.
W większości stosowanych kontekstów nie ma wyraźnej przewagi nad naprawdę nieinformacyjnym przeorem, gdy wystarczające są wystarczająco niejasne priorytety, aw wielu przypadkach istnieją zalety - jak znalezienie odpowiedniego wcześniejszego - użycia niejasnej parametryzacji koniugatu przed.
Zasada Jeffreysa może być użyteczna do konstruowania priorów, które minimalizują zawartość informacji Fishera w modelach jednowymiarowych, ale nie ma analogii dla przypadku wielowymiarowego
Porównując modele, przeor Jeffreysa będzie się różnić w zależności od rozkładu prawdopodobieństwa, dlatego też priory będą musieli się zmienić
na ogół toczy się wiele dyskusji na temat tego, czy w ogóle istnieje nieinformacyjny przeor (z powodu 1, ale także patrz dyskusja i odniesienia na str. 66 w Gelman i wsp., dotyczące historii tej debaty).

zauważ, że to jest wiki społeczności - podstawowa teoria jest na granicy mojego zrozumienia i byłbym wdzięczny za wkład w tę odpowiedź.

Gelman i in. 2003 Bayesian Data Analysis, Chapman and Hall / CRC

— David
źródło

1

Sam Gelman wyszedł poza prioryty „nieinformacyjne”, patrz np. Stat.columbia.edu/~cook/movabletype/archives/2007/07/... i artykuł, do którego odwołuję się w mojej odpowiedzi, oraz inne jego prace. Takie podejście wydaje się coraz bardziej rozpowszechnione wśród statystów stosowanych.

— JMS

@JMS Gelman i in. glin. 2003 podniósł ten punkt, a ja starałem się go podsumować, wydaje się, że rozważają nieinformacyjne priory do celów tła / teoretycznych / heurystycznych

— David LeBauer

Tak, podręcznik statystyk bayesowskich z pewnością nie może ich zignorować. Chciałem tylko dodać, że trendem w stosowanej statystyce od tego czasu było odejście od tych tradycyjnych wyborów, chociaż trwają prace nad „obiektywnym Bayesem”

— JMS

Myślę, że ludzie używają informacji na dwa sposoby, opisując priory, w sensie nieformalnym i teoretycznym. Możesz więc zastosować maksymalną entropię przed, która zawiera jak najmniej informacji, w sensie teoretycznym. Korzystając z tej dystrybucji, możesz (możesz) zasygnalizować, że „nic nie wiesz o parametrze”, może to być bardzo pouczające w bardziej nieformalnym sensie ...

— Rasmus Bååth,

9

Zdecydowanie nie, chociaż często są używane zamiennie. Niejasny uprzedni (względnie niedoinformowany, niezbyt faworyzujący niektóre wartości w stosunku do innych) parametru może faktycznie wywołać bardzo informacyjny uprzedni w przypadku innej transformacji . Jest to przynajmniej część motywacji przeora Jeffreysa, który początkowo został skonstruowany tak, aby był jak najmniej informacyjny. $\theta$ $f(\theta)$

Niejasne priory mogą również zrobić kilka nieszczęsnych rzeczy dla twojego modelu. Klasycznym teraz przykładem jest użycie jako priors na komponentach wariancji w modelu hierarchicznym. $\mathrm{InverseGamma}(\epsilon, \epsilon)$ $\epsilon\rightarrow 0$

Nieprawidłowe ograniczenie wstępne daje w tym przypadku niewłaściwe tylne. Popularną alternatywą było wzięcie jako bardzo małego, co powoduje, że wcześniejszy wygląd wygląda prawie jednolicie na . Ale skutkuje to również tym, że a posterior jest prawie niewłaściwy, i doszło do dopasowania modelu i wnioskowania. Zobacz Wcześniejsze rozkłady Gelmana dla parametrów wariancji w modelach hierarchicznych, aby uzyskać pełną ekspozycję. $\epsilon$ $\mathbb{R}^+$

Edycja: @csgillespie (słusznie!) Wskazuje, że nie odpowiedziałem całkowicie na twoje pytanie. Moim zdaniem nieinformacyjny przeor to taki, który jest niejasny w tym sensie, że nie faworyzuje szczególnie jednego obszaru przestrzeni parametrów nad innym, ale czyniąc to, nie powinien wywoływać pouczających priorów na temat innych parametrów. Tak więc nieinformacyjny przeor jest niejasny, ale niejasny przeor niekoniecznie nie jest informacyjny. Jednym z przykładów, w których ma to miejsce, jest wybór zmiennych bayesowskich; „niejasny” wcześniejszy stopień prawdopodobieństwa włączenia zmiennych może faktycznie wywołać całkiem pouczający uprzedni o całkowitej liczbie zmiennych zawartych w modelu!

Wydaje mi się, że poszukiwanie prawdziwie nieinformacyjnych priorów jest doniosłe (choć wielu by się nie zgodziło); lepiej używać tak zwanych „słabo” informacyjnych priorów (które, jak sądzę, są w pewnym sensie niejasne). Naprawdę, jak często wiemy nic o parametrze w pytaniu?

— JMS
źródło

Twoja odpowiedź jest bardzo miła, ale tak naprawdę nie podajesz, co to jest „nieinformacyjny przeor” i czym różni się od „niejasnego przeora”;)

— csgillespie

@cgillespie: Masz rację, zredagowano :)

— JMS

wynikający z ostatniego akapitu i wspierający quiksotyczny charakter wyszukiwania: jeśli wiemy, że nie wiemy nic o danym parametrze, to wiemy coś o tym.

— David LeBauer,

Całkiem! Wielka ironia polega na tym, że wielu, którzy poświęcają tak dużo energii na załamywanie rąk nad wyborem wcześniejszego, nie zastanawiają się dwa razy przed zmniejszeniem prawdopodobieństwa. Błędnie określone prawdopodobieństwo jest ogólnie bardziej podatne na problemy. Ale to zupełnie inne pytanie ...

— JMS

5

Lambert i wsp. (2005) podnoszą pytanie: „Jak niejasne jest niejasne? Badanie symulacyjne wpływu stosowania niejasnych wcześniejszych dystrybucji w MCMC przy użyciu WinBUGS ”. Piszą: „Nie opowiadamy się za terminem„ nieinformacyjna wcześniejsza dystrybucja ”, ponieważ uważamy, że wszyscy priory przekazują pewne informacje”. Zgadzam się, ale zdecydowanie nie jestem ekspertem w dziedzinie statystyki bayesowskiej.

— Bernd Weiss
źródło

2

Zgadza się to z moim subiektywnym uprzednim przekonaniem, że nie istnieje coś takiego jak nieinformacyjny przeor.

— onestop

@onestop, proszę wziąć pod uwagę przyczynienie się do mojej odpowiedzi CW

— David LeBauer

To jest dokładnie problem poruszony w artykule, który zawarłem w mojej odpowiedzi ( z Dokumentacja WinBUGS używała ich długo po dyskredytacji tych priorytetów

I G (ϵ, ϵ)

$IG(\epsilon, \epsilon)$

ϵ \to 0

$\epsilon \rightarrow 0$

— JMS

3

Podejrzewam, że „niejasny przeor” oznacza przeora, o którym wiadomo, że koduje pewną niewielką, ale niezerową ilość wiedzy na temat prawdziwej wartości parametru, podczas gdy „nieinformacyjny przeor” oznaczałby całkowitą ignorancję w odniesieniu do wartości tego parametru. Być może posłużyłby on do wykazania, że analiza nie była całkowicie obiektywna.

Na przykład bardzo szeroki gaussowski może być niejasnym przedtem dla parametru, w którym nieinformacyjny przeor byłby jednolity. Gaussian byłby bardzo płaski w skali zainteresowania, ale mimo to faworyzowałby jedną konkretną wartość nieco bardziej niż jakąkolwiek inną (ale mogłoby to uczynić problem bardziej matematycznie wykonalnym).

— Dikran Torbacz
źródło

rodzi się pytanie, czy mundur byłby naprawdę pozbawiony informacji? jaka byłaby maksymalna i minimalna wartość nieinformacyjnego munduru? Czy przełożony nie byłby informacyjny po przejściu na inną skalę?

— David LeBauer,

1

Jednolite priory niekoniecznie nie mają charakteru informacyjnego i vice versa, zależy to od charakteru problemu. Myślę, że pomysł minimalnie pouczającego przeora jest często bardziej realistyczny, przy użyciu MAXENT i grup transformacji, aby zdecydować o wcześniejszym rozkładzie, który przekazuje minimalną ilość informacji zgodną ze znanymi ograniczeniami (np. Że przeor powinien być niezmienny dla skalowania). W przypadku wielu problemów niewłaściwe priory działają dobrze, więc niekoniecznie musi istnieć dobrze określone minimum i maksimum.

— Dikran Torbacz

2

Nieinformacyjne priory mają różne formy. Te formy obejmują niejasne priorytety i niewłaściwe priorytety. Tak niejasny przeor jest częścią nieinformacyjnych przeorów.

— użytkownik26652
źródło