Czy statystyki bayesowskie są rzeczywiście poprawą w stosunku do tradycyjnych (częstych) statystyk dla badań behawioralnych?

Podczas udziału w konferencjach zwolennicy statystyki bayesowskiej mieli niewielki nacisk na ocenę wyników eksperymentów. Jest chwalony za bardziej wrażliwy, odpowiedni i wybiórczy w stosunku do prawdziwych ustaleń (mniej fałszywych wyników pozytywnych) niż częste statystyki.

Zagłębiłem się nieco w ten temat i jak dotąd nie jestem przekonany o korzyściach płynących z używania statystyk bayesowskich. Analizy bayesowskie posłużyły jednak do obalenia badań Daryla Bema wspierających wstępne rozpoznanie, dlatego jestem ostrożnie ciekawy, w jaki sposób analizy bayesowskie mogłyby przynieść korzyści nawet moim własnym badaniom.

Ciekawi mnie więc:

Moc w analizie bayesowskiej a analiza częstokroć
Podatność na błąd typu 1 w każdym typie analizy
Kompromis w złożoności analizy (Bayesian wydaje się bardziej skomplikowany) w porównaniu do uzyskanych korzyści. Tradycyjne analizy statystyczne są proste, z dobrze ustalonymi wytycznymi dotyczącymi wyciągania wniosków. Prostota może być postrzegana jako korzyść. Czy warto się poddawać?

Dzięki za wgląd!

bayesian power frequentist

— jeden przystanek
źródło

Statystyka bayesowska to statystyka tradycyjna - czy możesz podać konkretny przykład tego, co masz na myśli jako statystykę tradycyjną?

@OphirYoktan: Mówi o prawdopodobieństwie częstotliwości kontra prawdopodobieństwo Bayesa. Jest nawet wspomniany w tytule pytania.

Myślę, że to pytanie należy przenieść tutaj: stats.stackexchange.com

— Mark Lapierre

Zadałem pytanie na temat meta, czy powinno to dotyczyć tematu.

Myślę, że to pytanie może mieć „dobrą” lub „poprawną” odpowiedź. Np. Jeśli ktoś mógłby powiedzieć „dla każdego testu częstokroć z błędem typu 1

i błędem typu 2

, istnieje test bayesowski z błędem typu 1

i błędem typu 2

”, to byłaby dobra odpowiedź. Lub coś w rodzaju „każdy test dla częstych jest równoważny testowi bayesowskiemu z nieinformacyjnym uprzednim”. Tzn. Nie musi to być wojna religijna między częstymi a bayesianami. Kłócę się tylko dlatego, że nie rozumiem, w jaki sposób odpowiedzi odnoszą się do konkretnych pytań w OP.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Odpowiedzi:

Szybka odpowiedź na wypunktowaną treść:

1) Błąd mocy / typu 1 w analizie Bayesa vs. analiza częstych

Pytanie o typ 1 i moc (tj. Jeden minus prawdopodobieństwo błędu typu 2) oznacza, że możesz umieścić swój problem wnioskowania w powtarzającym się schemacie próbkowania. Czy możesz? Jeśli nie możesz, nie ma wielkiego wyboru, jak tylko odejść od częstych narzędzi wnioskowania. Jeśli możesz i jeśli zachowanie twojego estymatora w stosunku do wielu takich próbek ma znaczenie, i jeśli nie jesteś szczególnie zainteresowany w dokonywaniu stwierdzeń prawdopodobieństwa dotyczących konkretnych zdarzeń, to nie mam żadnego silnego powodu, aby się poruszać.

Argument ten nie polega na tym, że takie sytuacje nigdy nie powstają - z pewnością tak się dzieje - ale zazwyczaj nie pojawiają się one w obszarach, w których stosowane są metody.

2) Kompromis w złożoności analizy (Bayesian wydaje się bardziej skomplikowany) w porównaniu do uzyskanych korzyści.

Ważne jest, aby zapytać, gdzie idzie złożoność. W procedurach częstych implementacja może być bardzo prosta, np. Zminimalizować sumę kwadratów, ale zasady mogą być dowolnie złożone, zwykle obracają się wokół tego, który estymator (e) wybrać, jak znaleźć odpowiedni test (y), co myśleć, kiedy nie zgadzają się. Dla przykładu. zobacz wciąż ożywioną dyskusję, zebraną na tym forum, o różnych przedziałach ufności dla części!

W procedurach bayesowskich implementacja może być dowolnie złożona, nawet w modelach, które wyglądają, jakby „powinny” być proste, zwykle z powodu trudnych całek, ale zasady są niezwykle proste. To zależy raczej od tego, gdzie chciałbyś być.

3) Tradycyjne analizy statystyczne są proste, z dobrze ustalonymi wytycznymi dotyczącymi wyciągania wniosków.

Osobiście nie pamiętam, ale z pewnością moi uczniowie nigdy nie uważali ich za proste, głównie ze względu na zasadę proliferacji opisaną powyżej. Ale tak naprawdę nie chodzi o to, czy procedura jest prosta, ale czy jest bliższa racji, biorąc pod uwagę strukturę problemu.

Wreszcie zdecydowanie nie zgadzam się, że w obu paradygmatach istnieją „ugruntowane wytyczne do wyciągania wniosków”. I myślę, że to dobrze . Jasne, „znajdź p <.05” jest jasną wytyczną, ale dla jakiego modelu, z jakimi poprawkami itp.? Co mam zrobić, gdy moje testy się nie zgadzają? Potrzebny jest tu osąd naukowy lub inżynierski, tak jak i gdzie indziej.

— sprzężonyprior
źródło

Nie jestem pewien, czy pytanie o błędy typu 1 / typ 2 sugeruje cokolwiek o powtarzającym się systemie próbkowania. Wydaje się, że nawet jeśli moja hipoteza zerowa nie może być próbkowana wielokrotnie, nadal warto zapytać o prawdopodobieństwo błędu typu 1. Prawdopodobieństwo w tym przypadku nie obejmuje oczywiście wszystkich możliwych hipotez, a raczej wszystkich możliwych próbek z mojej pojedynczej hipotezy.

— SheldonCooper

Wydaje mi się, że ogólny argument jest następujący: chociaż popełnienie błędu typu 1 (lub 2) można zdefiniować dla wnioskowania typu „jeden strzał” (typ 1 vs 2 jest tylko częścią typologii błędów, które mogę popełnić), chyba że mój popełnienie tego błędu jest osadzone w powtarzanych próbach, żaden typ błędu nie może mieć częstego prawdopodobieństwa.

— conjugateprior

Mówię tylko, że popełnianie błędu typu 1 (lub 2) jest zawsze osadzone w powtarzanych próbach. Każda próba pobiera zestaw obserwacji z hipotezy zerowej. Więc nawet jeśli trudno sobie wyobrazić próbkowanie innej hipotezy, wciąż istnieją powtarzane próby, ponieważ łatwo jest wyobrazić sobie próbkowanie innego zestawu obserwacji z tej samej hipotezy.

— SheldonCooper

Zagadaj mnie: jak decydować „co jest losowe?” Załóżmy na przykład, że masz urnę, ktoś pobiera próbkę „losowo” z urny. Załóżmy również, że obecny jest także „inteligentny obserwator” i znają dokładną zawartość urny. Czy pobieranie próbek jest nadal „losowe”, chociaż „inteligentny obserwator” może z całą pewnością przewidzieć, co zostanie losowane? Czy coś się zmieniło w urnie, jeśli już nie są obecne?

— probabilityislogic

Problem, który mam z „powtarzającą się” naturą częstych, jest taki, że aby działać, warunki muszą pozostać takie same. Ale jeśli warunki pozostaną takie same, powinieneś być w stanie połączyć swoje zbiory danych razem i uzyskać lepsze oszacowanie. Częstotliwość ignoruje informacje z przeszłości dokładnie w warunkach, w których uzasadnione jest ich uwzględnienie.

— probabilityislogic

Statystyki bayesowskie można wyprowadzić z kilku logicznych zasad. Spróbuj wyszukać „prawdopodobieństwo jako logika rozszerzona”, a znajdziesz więcej dogłębnej analizy podstaw. Ale w zasadzie statystyki bayesowskie opierają się na trzech podstawowych „desiderata” lub zasadach normatywnych:

Prawdopodobieństwo zdania ma być reprezentowane przez pojedynczą liczbę rzeczywistą
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
Prawdopodobieństwo zdania należy konsekwentnie obliczać . Oznacza to, że a) jeżeli wiarygodność można uzasadnić na więcej niż jeden sposób, wszystkie odpowiedzi muszą być równe; b) W dwóch problemach, w których przedstawiamy te same informacje, musimy przypisać te same prawdopodobieństwa; oraz c) musimy wziąć pod uwagę wszystkie dostępne informacje. Nie możemy dodawać informacji, których nie ma, i nie możemy ignorować informacji, które posiadamy.

Te trzy desiderata (wraz z regułami logiki i teorii mnogości) jednoznacznie określają reguły sumy i iloczynu teorii prawdopodobieństwa. Tak więc, jeśli chcesz uzasadnić zgodnie z powyższymi trzema dezyderatami, musisz przyjąć podejście bayesowskie. Nie musisz przyjmować „filozofii bayesowskiej”, ale musisz przyjąć wyniki liczbowe. Pierwsze trzy rozdziały tej książki opisują je bardziej szczegółowo i stanowią dowód.

Wreszcie „maszyneria bayesowska” to najpotężniejsze narzędzie do przetwarzania danych, jakie masz. Wynika to głównie z tego, że desiderata 3c) wykorzystuje wszystkie posiadane informacje (wyjaśnia to również, dlaczego Bayes może być bardziej skomplikowany niż podmioty inne niż Bayes). Decydowanie o tym, co jest istotne, może być dość trudne przy użyciu intuicji. Twierdzenie Bayesa robi to za ciebie (i robi to bez dodawania arbitralnych założeń, również ze względu na 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Teraz, jeśli obliczenia stają się „zbyt trudne”, musisz albo zbliżyć liczby, albo zignorować niektóre informacje.

Rzeczywisty przykład z wypracowanymi liczbami znajduje się w mojej odpowiedzi na to pytanie

— prawdopodobieństwo prawdopodobieństwa
źródło

Nie jestem pewien, jak to odpowiada na pytanie. Częstokroć oczywiście nie zgadzają się z desideratum 1 z tej listy, więc reszta argumentu ich nie dotyczy. Nie odpowiada również na żadne konkretne pytania w PO, takie jak: „czy analiza Bayesa jest bardziej wydajna lub mniej podatna na błędy niż analiza częstokroć”.

— SheldonCooper

@sheldoncooper - jeśli częsty nie zgadza się z dezyderatem 1, to na jakiej podstawie mogą skonstruować 95% przedział ufności? Muszą wymagać dodatkowego numeru.

— probabilityislogic

@sheldoncooper - i dalej, prawdopodobieństwa próbkowania musiałyby zostać ponownie zdefiniowane, ponieważ one również są tylko 1 liczbą. Częstotliwość nie może odrzucić dezyderatu 1 bez odrzucenia własnej teorii

— prawdopodobieństwo

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

„nie mogą odrzucić dezyderatu 1 bez odrzucenia własnej teorii” - co przez to rozumiesz? Częstokroć nie ma pojęcia „wiarygodności”. Mają pojęcie „częstości występowania w powtarzanych próbach”. Ta częstotliwość spełnia warunki podobne do twoich trzech dezyderat, a zatem spełnia podobne zasady. Zatem dla wszystkiego, dla którego zdefiniowane jest pojęcie częstotliwości, możesz bez problemu korzystać z praw prawdopodobieństwa.

— SheldonCooper

I am not familiar with Bayesian Statistics myself but I do know that Skeptics Guide to the Universe Episode 294 has and interview with Eric-Jan Wagenmakers where they discuss Bayesian Statistics. Here is a link to the podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294