Jakie są / lub niejawne priory w statystyce częstokrzyskiej?

Słyszałem, że Jaynes twierdzi, że częstokroć operatorzy działają „z ukrytym uprzedzeniem”.

Co to są lub są te ukryte priorytety? Czy to oznacza, że ​​modele częste to wszystkie specjalne przypadki modeli bayesowskich, które czekają na odkrycie?

W teorii decyzji częstokrzyskich istnieją pełne wyniki klas, które charakteryzują dopuszczalne procedury jako procedury Bayesa lub jako limity procedur Bayesa. Na przykład Stein warunek konieczny i wystarczający (Stein. 1955; Farrell, 1968b) stwierdza, że ​​przy następujących założeniach

1. gęstość próbkowania jest ciągła w θ i ściśle dodatnia dla Θ ; i$f(x|\theta)$$\theta$$\Theta$
2. funkcja straty jest ściśle wypukła, ciągła, a jeśli E ⊂ Θ jest zwarta, lim ‖ δ ‖ → + ∞ inf θ ∈ E L ( θ , δ ) = + ∞ $L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

estymator jest dopuszczalny tylko wtedy, gdy istnieje$\delta$

• sekwencja rosnących zestawów zwartych, tak że Θ = ⋃ n F n ,$(F_n)$$\Theta=\bigcup_n F_n$
• sekwencja miar skończonych ze wsparciem F n , i$(\pi_n)$$F_n$

• sekwencja estymatorów Bayesa związana z π n taka, że$(\delta_n)$$\pi_n$

  1. istnieje zestaw zwarty taki, że inf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. jeśli jest zwarty, sup n π n ( E ) < + $E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. i$\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$
  4. .$\lim_n R(\theta,\delta_n)= R(\theta,\delta)$

[reprodukowane z mojej książki, Bayesian Choice , Theorem 8.3.0, s. 407]

W tym ograniczonym znaczeniu częstokroć właściwość dopuszczalności jest obdarzona tłem bayesowskim, stąd kojarzy się dorozumiany uprzedni (lub jego ciąg) z każdym dopuszczalnym estymatorem.

Sidenote: Smutny przypadek, że Charles Stein zmarł 25 listopada w Palo Alto w Kalifornii. Miał 96 lat.

Istnieje podobny (jeśli uwzględniony matematycznie) wynik dla oszacowania niezmiennego lub ekwiwariantowego, a mianowicie, że najlepszym estymatorem ekwiwariantnym jest estymator Bayesa dla każdej grupy przechodniej działającej na modelu statystycznym, związany z właściwą miarą Haara, , indukowaną na Θ przez tę grupę i odpowiadającą jej niezmienniczą stratę. Szczegółowe informacje można znaleźć w Pitman (1939), Stein (1964) lub Zidek (1969). Najprawdopodobniej właśnie to miał na myśli Jaynes , który przekonywał siłą o rozwiązaniu paradoksów marginalizacji według zasad niezmienniczości .$\pi^*$$\Theta$

Ponadto, jak wyszczególniono w odpowiedzi „ Civilstat” , inne częste pojęcie optymalności, a mianowicie minimaxity, jest również powiązane z procedurami bayesowskimi, ponieważ procedura minimax, która minimalizuje błąd maksymalny (w przestrzeni parametrów), jest często procedurą maksymiminy, która maksymalizuje błąd minimalny ( we wszystkich wcześniejszych dystrybucjach), dlatego jest to procedura Bayesa lub limit procedur Bayesa.

P .: Czy jest jakieś ekscytujące jedzenie na wynos, którego mogę użyć, aby przenieść moją bayesowską intuicję na modele dla częstych?

Najpierw unikałbym używania terminu „model częstokroć”, ponieważ istnieją modele próbkowania (dane to realizacja $x$$X\sim f(x|\theta)$$\theta$$95$$95$

Odpowiedź Xi'ana jest bardziej kompletna. Ale skoro poprosiłeś także o mdłe dania na wynos, oto jeden. (Pojęcia, o których wspominam, nie są dokładnie takie same jak powyższe ustawienia dopuszczalności.)

$\theta$$\hat{\theta}$ „s najgorszym przypadku ryzyka powinna być lepsza niż najgorszym ryzyko jakichkolwiek innych Estymator jest. Okazuje się, że MLE są często (w przybliżeniu) minimax. Zobacz szczegóły, np. Tutaj lub tutaj .

$\pi$$\pi$ , że estymator Bayesa to minimax.

W tym sensie można by rzetelnie powiedzieć: Frequentist (wykorzystujący minimax) jest jak Bayesian, który wybrał (szacunek punktowy na podstawie) najmniej korzystnego przeora.

Być może mógłbyś to streścić, mówiąc: taki częsty jest konserwatywnym bayesowskim, wybierając nie subiektywne priory lub nawet nieinformacyjne priory, ale (w tym konkretnym sensie) najgorsze przypadki.

Wreszcie, jak powiedzieli inni, porównywanie Częstotliwości i Bayesianów w ten sposób jest bardzo trudne. Bycie częstym specjalistą niekoniecznie oznacza, że używasz określonego estymatora. Oznacza to po prostu, że zadajesz pytania dotyczące właściwości próbkowania estymatora, podczas gdy pytania te nie są najwyższym priorytetem Bayesian. (Tak więc każdy Bayesjan, który ma nadzieję na dobre właściwości próbkowania, np. „Skalibrowane Bayes”, jest również częstym uczestnikiem.)
Nawet jeśli zdefiniujesz częstego uczestnika jako tego, którego estymatorzy zawsze mają optymalne właściwości próbkowania, istnieje wiele takich właściwości i nie zawsze możesz spotkaj ich wszystkich naraz. Trudno więc mówić ogólnie o „wszystkich modelach dla częstych”.