Dlaczego metody bayesowskie nie wymagają wielu poprawek testowych?

Andrew Gelman napisał obszerny artykuł o tym, dlaczego testowanie Bayesian AB nie wymaga korekty wielu hipotez: Dlaczego (zwykle) nie musimy się martwić o wiele porównań , 2012.

Nie do końca rozumiem: dlaczego metody bayesowskie nie wymagają wielu poprawek testowych?

A ~ Distribution1 + Common Distribution
B ~ Distribution2 + Common Distribution
C ~ Distribution3 + Common Distribution
Common Distribution ~ Normal

Rozumiem, że powyższe podejście bayesowskie uwzględnia wspólny rozkład leżący u podstaw wszystkich hipotez (w przeciwieństwie do częstej korekty Bonferroniego). Czy moje rozumowanie jest prawidłowe?

Jednym dziwnym sposobem odpowiedzi na pytanie jest zwrócenie uwagi na to, że metoda bayesowska nie pozwala na to, ponieważ metody bayesowskie są zgodne z przyjętymi regułami dowodowymi, a metody częste są często z nimi sprzeczne. Przykłady:

• Przy statystykach częstych, porównywanie leczenia A do B musi karać za porównywanie leczenia C i D z powodu rodzinnych rozważań o błędzie typu I; w przypadku Bayesian porównanie AB jest samo w sobie.
• W przypadku sekwencyjnych testów częstych zwykle wymagane są kary za wielokrotne przeglądanie danych. W grupowym ustawieniu sekwencyjnym wcześniejsze porównanie dla A vs B musi zostać ukarane za późniejsze porównanie, które nie zostało jeszcze wykonane, a późniejsze porównanie musi zostać ukarane za wcześniejsze porównanie, nawet jeśli wcześniejsze porównanie nie zmieniło przebiegu nauka.

Problem wynika z odwrócenia przepływu czasu i informacji przez częstego użytkownika, co powoduje, że częstokroć musi zastanowić się, co mogło się stać, a nie co się wydarzyło . Natomiast oceny bayesowskie zakotwiczają wszystkie oceny do wcześniejszego rozkładu, który kalibruje dowody. Na przykład wcześniejszy rozkład różnicy AB kalibruje wszystkie przyszłe oceny AB i nie musi uwzględniać CD.

W przypadku testów sekwencyjnych istnieje duże zamieszanie dotyczące sposobu korygowania oszacowań punktowych, gdy eksperyment kończy się wcześnie przy użyciu wnioskowania częstych. W świecie bayesowskim wcześniejsze „cofanie się” do jakichkolwiek szacunków punktowych, a zaktualizowany rozkład boczny stosuje się do wnioskowania w dowolnym momencie i nie wymaga żadnych złożonych rozważań dotyczących przestrzeni próbki.

Ten typ modelu hierarchicznego zmniejsza szacunki i redukuje liczbę fałszywych twierdzeń w rozsądnym zakresie w przypadku małej lub umiarkowanej liczby hipotez. Czy gwarantuje to określony poziom błędu typu I? Nie.

Ta szczególna sugestia Gelmana (który uznaje problem polegający na spojrzeniu na zbyt wiele różnych rzeczy, a następnie zbyt łatwo mylnie stwierdzając, że widzisz coś dla niektórych z nich - w rzeczywistości jeden z jego domowych tematów na swoim blogu) różni się od skrajnej alternatywy punkt widzenia, który utrzymuje, że metody bayesowskie nie muszą uwzględniać mnogości, ponieważ liczy się tylko twoje prawdopodobieństwo (i wcześniejsze).

Bardzo interesujące pytanie, oto moje zdanie na ten temat.

Chodzi o kodowanie informacji, a następnie obrócenie korby bayesowskiej. Wydaje się to zbyt piękne, aby mogło być prawdziwe - ale oba są trudniejsze niż się wydaje.

Zaczynam od zadania pytania

Jakie informacje są wykorzystywane, gdy martwimy się o wiele porównań?

Mogę coś wymyślić - pierwszy to „pogłębianie danych” - testuj „wszystko”, aż dostaniesz wystarczającą liczbę pozytywnych / negatywnych wyników (sądzę, że prawie każda osoba przeszkolona w statystykach byłaby narażona na ten problem). Masz również mniej złowrogi, ale w zasadzie ten sam „Mam tyle testów do uruchomienia - na pewno nie wszystko może być poprawne”.

Po zastanowieniu się nad tym zauważam, że nie słyszy się zbyt wiele o konkretnych hipotezach lub konkretnych porównaniach. Chodzi o „kolekcję” - to powoduje, że myślę o wymienności - porównywana hipoteza jest w pewnym sensie „podobna” do siebie. A jak zakodujesz wymienność w analizie bayesowskiej? - hiper-priory, modele mieszane, efekty losowe itp. !!!

Ale wymienność pozwala tylko na części. Czy wszystko jest wymienne? A może masz „rzadkość” - na przykład tylko kilka niezerowych współczynników regresji z dużą pulą kandydatów. Modele mieszane i normalnie rozmieszczone efekty losowe nie działają tutaj. Utkną one pomiędzy szumem zgniatania a pozostawieniem nietkniętych sygnałów (np. W twoim przykładzie utrzymaj parametry „prawda” locationB i locationC równe, i ustaw „parametr true” dowolnie duży lub mały i obserwuj, jak zawodzi standardowy mieszany model liniowy.) . Ale można to naprawić - np. Przy pomocy priorów z „kolcami i płytami” lub priorów z „podkowy”.

Tak naprawdę chodzi bardziej o to, aby opisać, o jakiej hipotezie mówisz, i uzyskać jak najwięcej znanych cech odzwierciedlonych w przeszłości i prawdopodobieństwie. Podejście Andrew Gelmana jest po prostu sposobem na niejawną obsługę szerokiej klasy wielu porównań. Podobnie jak najmniejsze kwadraty i normalne rozkłady zwykle działają dobrze w większości przypadków (ale nie wszystkie).

Jeśli chodzi o to, jak to robi, możesz pomyśleć o rozumowaniu osoby w następujący sposób - grupa A i grupa B mogą mieć ten sam środek - spojrzałem na dane, a środki są „bliskie” - stąd, aby uzyskać lepsze oszacowanie w obu przypadkach powinienem zebrać dane, ponieważ początkowo sądziłem, że mają one ten sam środek. - Jeśli nie są takie same, dane dostarczają dowodów, że są „bliskie”, więc łączenie „trochę” nie zaszkodzi mi tak bardzo, jeśli moja hipoteza była błędna (a la wszystkie modele są błędne, niektóre są przydatne)

Zauważ, że wszystkie powyższe zawiasy w początkowej przesłance „mogą być takie same”. Zabierz to i nie ma uzasadnienia dla łączenia. Prawdopodobnie można również zobaczyć sposób myślenia o testach w „rozkładzie normalnym”. „Najprawdopodobniej zero”, „jeśli nie zero, najprawdopodobniej blisko zera”, „ekstremalne wartości są mało prawdopodobne”. Rozważ tę alternatywę:

• średnie grupy A i grupy B mogą być równe, ale mogą być również drastycznie różne

W takim razie argument o „odrobinie puli” jest bardzo złym pomysłem. Lepiej jest wybrać sumowanie całkowite lub zerowanie. Znacznie bardziej jak Cauchy, kolec i płyta, rodzaj sytuacji (dużo masy wokół zera i dużo masy dla ekstremalnych wartości)

Całe wielokrotne porównania nie muszą być rozpatrywane, ponieważ podejście bayesowskie obejmuje informacje, które prowadzą nas do zmartwień o wcześniejsze i / lub prawdopodobieństwo . W pewnym sensie jest to przypomnienie, aby właściwie przemyśleć, jakie informacje są dla Ciebie dostępne i upewnić się, że uwzględniłeś je w swojej analizie.

Po pierwsze, ponieważ rozumiem prezentowany model, myślę, że różni się on nieco od propozycji Gelmana, a bardziej przypomina:

A ~ Distribution(locationA)
B ~ Distribution(locationB)
C ~ Distribution(locationC)

locationA ~ Normal(commonLocation)
locationB ~ Normal(commonLocation)
locationC ~ Normal(commonLocation)

commonLocation ~ hyperPrior

W praktyce po dodaniu tego commonLocationparametru wnioskowania dotyczące parametrów 3 rozkładów (tutaj lokalizacje 1, 2 i 3) nie są już od siebie niezależne. Ponadto commonLocationma tendencję do zmniejszania wartości oczekiwanych parametrów w kierunku wartości centralnej (ogólnie oszacowanej). W pewnym sensie działa on jako regularyzacja wszystkich wniosków, co sprawia, że ​​potrzeba korekty wielokrotnej korekty nie jest potrzebna (ponieważ w praktyce wykonujemy jedno oszacowanie wielowymiarowe z uwzględnieniem interakcji między każdą z nich za pomocą modelu).

Jak wskazano w drugiej odpowiedzi, ta korekta nie daje żadnej kontroli nad błędem typu I, ale w większości przypadków metoda bayesowska nie oferuje żadnej takiej kontroli nawet w pojedynczej skali wnioskowania, a korektę wielokrotnego porównania należy traktować inaczej w bayesowskiej oprawa.