Przykłady podejścia bayesowskiego i częstego dającego różne odpowiedzi

Uwaga: Jestem świadomy filozoficznych różnic między statystykami bayesowskimi i częstymi.

Na przykład „jakie jest prawdopodobieństwo, że moneta na stole jest głowami”, nie ma sensu w statystykach częstych, ponieważ ma już wylądowane głowy lub reszki - nie ma w tym nic probabilistycznego. Zatem pytanie nie ma odpowiedzi w kategoriach częstych.

Ale taka różnica nie jest tą różnicą, o którą pytam.

Chciałbym raczej wiedzieć, w jaki sposób ich przewidywania dotyczące poprawnie sformułowanych pytań różnią się w rzeczywistości, wyłączając wszelkie różnice teoretyczne / filozoficzne, takie jak przykład, o którym wspomniałem powyżej.

Innymi słowy:

Jaki jest przykład pytania, na które można odpowiedzieć zarówno w statystykach częstych, jak i bayesowskich, na które odpowiedź różni się między nimi?

(np. Być może jedna z nich odpowiada „1/2” na określone pytanie, a druga odpowiada „2/3”).

Czy są jakieś takie różnice?

• Jeśli tak, jakie są przykłady?

• Jeśli nie, to kiedy w ogóle ma to znaczenie, czy korzystam ze statystyk bayesowskich czy częstych podczas rozwiązywania konkretnego problemu?
  Dlaczego miałbym unikać jednego na rzecz drugiego?

Ten przykład pochodzi z tego miejsca . (Myślę nawet, że dostałem ten link od SO, ale nie mogę go już znaleźć.)

$n=14$$k=10$$\theta$$\theta$

$$f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)=f(y_{f,1}=\text{heads})f(y_{f,2}=\text{heads}|\theta)=\theta^2.$$ $\text{Beta}(\alpha_0,\beta_0)$ $$\begin{eqnarray*} f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|y)&=&\int f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)\pi(\theta|y)d\theta\notag\\ &=&\frac{\Gamma\left(\alpha _{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\int \theta^2\theta ^{\alpha _{0}+k-1}\left( 1-\theta \right) ^{\beta _{0}+n-k-1}d\theta\notag\\ &=&\frac{\Gamma\left(\alpha_{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\frac{\Gamma\left(\alpha_{0}+k+2\right)\Gamma\left(\beta_{0}+n-k\right)}{\Gamma\left(\alpha_{0}+\beta_{0}+n+2\right)}\notag\\ &=&\frac{(\alpha_{0}+k)\cdot(\alpha_{0}+k+1)}{(\alpha_{0}+\beta_{0}+n)\cdot(\alpha_{0}+\beta_{0}+n+1)} \end{eqnarray*}$$ $\text{Beta}(1, 1)$$(10/14)^2\approx.51$

Zobacz moje pytanie tutaj , które wspomina artykuł Edwina Jaynesa, który podaje przykład poprawnie skonstruowanego częstego przedziału ufności, w którym istnieje wystarczająca ilość informacji w próbie, aby mieć pewność, że prawdziwa wartość statystyki nie leży w żadnym przedziale ufności ( a zatem przedział ufności różni się od wiarygodnego przedziału bayesowskiego).

Powodem tego jest jednak różnica w definicji przedziału ufności i przedziału wiarygodnego, co z kolei jest bezpośrednią konsekwencją różnicy w definicjach prawdopodobieństwa częstości i bayesowskich. Jeśli poprosisz bayesianina o stworzenie przedziału ufności bayesowskiej (a nie wiarygodnego), podejrzewam, że zawsze będzie istniał uprzedni okres, dla którego przedziały będą takie same, więc różnice sprowadzają się do wyboru wcześniejszego.

To, czy metody częste lub bayesowskie są odpowiednie, zależy od pytania, które chcesz postawić, a na koniec to różnica w filozofii decyduje o odpowiedzi (pod warunkiem, że wymagany wysiłek obliczeniowy i analityczny nie jest brany pod uwagę).

Mówiąc nieco z przymrużeniem oka, można argumentować, że częstotliwość długofalowa jest całkowicie rozsądnym sposobem ustalenia względnej wiarygodności zdania, w którym to przypadku statystyki częstokroć są nieco dziwnym podzbiorem subiektywnego bayesianizmu - więc każde pytanie, na które częsty może odpowiedzieć subiektywista Bayesian może również odpowiedzieć w ten sam sposób lub w inny sposób, jeśli wybiorą różne priorytety. ; o)

Uważam, że ten dokument zapewnia bardziej celowe poczucie kompromisów w rzeczywistych zastosowaniach między nimi. Częściowo może to wynikać z moich preferencji dotyczących interwałów, a nie testów.

Gustafson, P. and Greenland, S. (2009). Oszacowanie interwału dla niechlujnych danych obserwacyjnych . Nauki statystyczne 24: 328–342.

W odniesieniu do przedziałów warto pamiętać, że częste przedziały ufności często wymagają / pokrywają jednolity zakres (dokładnie lub co najmniej większy niż x% dla każdej wartości parametru, która nie ma zerowego prawdopodobieństwa), a jeśli nie mieć to - nie są tak naprawdę przedziały ufności. (Niektórzy pójdą dalej i powiedzą, że muszą również wykluczyć odpowiednie podzbiory, które zmieniają zasięg).

Zasięg bayesowski jest zwykle definiowany przez rozluźnienie, że „średni zasięg”, biorąc pod uwagę przyjęte założenia, okazuje się dokładnie poprawny. Gustafson i Grenlandia (2009) nazywają tych wszechmocnych a priori i rozważają te omylne, aby zapewnić lepszą ocenę.

Gdyby ktoś zadał pytanie, na które ma odpowiedź zarówno częsty, jak i bayesowski, podejrzewam, że ktoś inny byłby w stanie zidentyfikować dwuznaczność pytania, przez co nie byłoby „dobrze uformowane”.

Innymi słowy, jeśli potrzebujesz odpowiedzi na częste pytania, użyj metod częstych. Jeśli potrzebujesz odpowiedzi bayesowskiej, skorzystaj z metod bayesowskich. Jeśli nie wiesz, czego potrzebujesz, być może nie zdefiniowałeś tego pytania jednoznacznie.

Jednak w prawdziwym świecie istnieje często kilka różnych sposobów definiowania problemu lub zadawania pytań. Czasami nie jest jasne, który z tych sposobów jest lepszy. Jest to szczególnie powszechne, gdy klient jest statystycznie naiwny. Innym razem na jedno pytanie jest dużo trudniej odpowiedzieć niż na inne. W takich przypadkach często idzie się najłatwiej, próbując upewnić się, że jego klienci dokładnie zgadzają się z tym, jakie pytanie zadaje lub jaki problem rozwiązuje.

Polecam zapoznanie się z ćwiczeniem 3.15 darmowego podręcznika Teoria informacji, wnioskowanie i algorytmy uczenia się autorstwa MacKay.

Gdy 250 razy obrócił się na krawędzi, belgijska moneta o nominale jednego euro podniosła głowę 140 razy i ogon 110. „Wygląda mi to bardzo podejrzanie”, powiedział Barry Blight, wykładowca statystyki w London School of Economics. „Gdyby moneta była obiektywna, szansa na uzyskanie tak ekstremalnego wyniku byłaby mniejsza niż 7%”. Ale czy te dane świadczą o tym, że moneta jest stronnicza, a nie sprawiedliwa?

$p$$0.07$$6:1$