Czy można najpierw dopasować model Bayesa, a następnie zacząć osłabiać priory?

Podczas częstych statystyk istnieje długa lista dużych „no-nosów”, takich jak przeglądanie wyników testów statystycznych przed podjęciem decyzji o zebraniu większej ilości danych. Zastanawiam się na ogół, czy istnieje podobna lista numerów zerowych dla metodologii stosowanych w statystyce bayesowskiej, a konkretnie, czy jedna z nich jest następująca.

Niedawno zdałem sobie sprawę, że w przypadku niektórych modeli, które pasowałem, moim procesem było najpierw dopasowanie modelu do pouczających priorów, aby sprawdzić, czy działa, czy też wybuchło, a następnie osłabienie priorsów do niedoinformujących lub słabo informujących i zamontuj model.

Moja motywacja do tego naprawdę wiąże się z tym, że piszę te modele w JAGS / Stan i moim zdaniem traktuję to bardziej jako zadanie programistyczne niż statystyczne. Robię więc pierwszą próbę, tak jakby ją zmontowałem, aby szybko zbiegła się przy użyciu pouczających priorów, co ułatwia wykrycie błędów w modelu, który napisałem. Następnie, po debugowaniu modelu, zmieniam go na nieprzydatne lub słabo informujące priory.

Moje pytanie dotyczy tego, czy w tym procesie łamię jakieś poważne reguły. Na przykład, aby moje wnioski były ważne i aby uniknąć wykorzystywania stopni swobody badaczy, czy muszę zobowiązać się do określonych priorytetów, zanim zacznę pasować do jakichkolwiek modeli?

Subiektywni Bayesianie mogą się nie zgadzać, ale z mojej perspektywy przeor jest tylko częścią modelu, podobnie jak prawdopodobieństwo. Zmiana uprzedniej w odpowiedzi na zachowanie modelu nie jest lepsza ani gorsza niż zmiana funkcji prawdopodobieństwa (np. Wypróbowanie różnych rozkładów błędów lub różnych sformułowań modelu).

Może być niebezpieczny, jeśli pozwala ci wybrać się na wyprawę wędkarską, ale alternatywy mogą być gorsze. Na przykład, w przypadku, o którym wspomniałeś, gdy Twój model wysadza się w powietrze i otrzymujesz nonsensowne współczynniki, wtedy nie masz dużego wyboru, tylko spróbować ponownie.

Istnieją również kroki, które można podjąć, aby nieco zminimalizować niebezpieczeństwa związane z wyprawą na ryby:

• Zdecyduj z góry, którego wcześniej użyjesz w końcowej analizie
• Bądź otwarty, kiedy publikujesz lub opisujesz swoją analizę dotyczącą całej procedury
• Robiąc jak najwięcej z danymi symulowanymi i / lub trzymając dane do ostatecznej analizy. W ten sposób nie za bardzo zanieczyścisz swoją analizę.

Jeśli eksperymentujesz z priorytetami i wybierasz jeden pod względem wydajności na dostępnych danych, nie jest to już „uprzednia”. Nie tylko zależy to od danych (jak w empirycznej analizie Bayesa), ale także zależy od tego, co chcesz zobaczyć (co jest gorsze). W końcu używasz narzędzi bayesowskich, ale nie można tego nazwać analizą bayesowską.

Myślę, że w tej sprawie nic ci nie jest z trzech powodów:

1. W rzeczywistości nie dostosowujesz swoich priorytetów w odpowiedzi na swoje wyniki. Jeśli powiedziałeś coś w stylu: „Korzystam z priory XYZ i w zależności od szybkości konwergencji i moich wyników DIC, modyfikuję mój wcześniejszy abc”, to powiedziałbym, że popełniasz „nie”, ale w tym przypadku brzmi jakbyś naprawdę tego nie robił.

2. W kontekście bayesowskim priory są jawne. Możliwe jest zatem nieprawidłowe poprawianie swoich priorytetów, ale wynikające z nich priorytety będą zawsze widoczne do wglądu dla innych osób, które mogą zapytać, dlaczego macie te szczególne priorytety. Może jestem tu naiwny, ponieważ łatwo jest rzucić okiem na coś takiego jak przeor i powiedzieć: „Hmm, wygląda rozsądnie” po prostu dlatego, że ktoś to zaproponował, ale ...

3. Myślę, że to, co robisz, jest związane z radą Gelmana (i innych), aby zbudować model JAGS kawałek po kawałku, najpierw pracując z danymi syntetycznymi, a następnie danymi rzeczywistymi, aby upewnić się, że nie wystąpił błąd specyfikacji . To nie jest tak naprawdę czynnik częstokroć metodologii i nie jest tak naprawdę metodologią eksperymentalną.

Z drugiej strony nadal sam się tego uczę.

PS Kiedy mówisz, że pierwotnie ustawiłeś go tak, by szybko zbiegał się z „informacyjnymi aurorzy”, masz na myśli faktycznie informacyjny aurorzy, którzy są motywowani danym problemem, czy po prostu ci aurorzy, którzy z arbitralnych powodów silnie naciskają / ograniczają tylną część, aby przyspieszyć „konwergencję” „do jakiegoś arbitralnego punktu? Jeśli to pierwszy przypadek, dlaczego odsuwasz się od tych (zmotywowanych) priorów?

Myślę, że może to być „nie, nie” niezależne od szkoły bayesowskiej. Jeffreys chciałby użyć nieinformacyjnych priorów. Lindley może chcieć, abyś używał pouczających priorów. Empiryczni Bayesianie proszą, abyś pozwolił, aby dane wpłynęły na przeora. Ale myślę, że chociaż każda szkoła przedstawia inną sugestię dotyczącą wyboru przeora, wszystkie mają podejście, które nie oznacza, że ​​możesz wziąć przeora i ciągle go ulepszać, dopóki nie uzyskasz pożądanych rezultatów. To na pewno byłoby jak patrzenie na dane i ciągłe gromadzenie danych i testowanie, aż dojdziesz do z góry założonego pojęcia, jaka powinna być odpowiedź.

Częstotliwość lub Bayesian to nie ma znaczenia, nie sądzę, aby ktokolwiek chciał, abyś grał sztuczki z danymi (lub masował je). Może jest to coś, na co wszyscy możemy się zgodzić, a zabawny wiersz Petera jest naprawdę apropo.

Powiedziałbym „nie”, nie musicie angażować się w konkretne priorytety. Ogólnie podczas każdej analizy danych bayesowskich należy przeprowadzić analizę wrażliwości modelu na wcześniejsze. Obejmuje to wypróbowanie różnych innych priorytetów, aby zobaczyć, co stanie się z wynikami. Może to ujawnić lepszy lub bardziej niezawodny wcześniej, który należy zastosować.

Dwa oczywiste „nie-nie” to: zbyt wiele zabawy z uprzednim, aby uzyskać lepsze dopasowanie, co powoduje nadmierne dopasowanie i zmiana innych parametrów modelu, aby uzyskać lepsze dopasowanie. Jako przykład pierwszego: zmiana wartości początkowej na średniej, tak aby była ona bliższa średniej próbki. Po drugie: zmiana zmiennych / cech wyjaśniających w regresji, aby uzyskać lepsze dopasowanie. Jest to problem występujący w każdej wersji regresji i zasadniczo unieważnia stopnie swobody.