Czy estymator Bayesa wymaga, aby prawdziwy parametr był możliwym wariantem wcześniejszego?

To może być trochę filozoficzne pytanie, ale zaczynamy: W teorii decyzji ryzyko estymatora Bayesa dla jest określone w odniesieniu do wcześniejszego rozkładu \ pi na \ Theta .$\hat\theta(x)$$\theta\in\Theta$$\pi$$\Theta$

Z jednej strony, aby prawda wygenerowała dane (tj. „Istnieje”), musi być możliwą zmienną poniżej , np. Mieć niezerowe prawdopodobieństwo, niezerową gęstość itp .; Z drugiej strony, nie jest znany, stąd wybór przed, więc nie mamy żadnej gwarancji, że prawdziwe jest możliwe variate pod wybraliśmy.$\theta$$\theta$$\pi$$\theta$$\theta$$\pi$

Teraz wydaje mi się, że musimy w jakiś sposób wybrać $\pi$ , aby $\theta$ byłaby możliwą odmianą. W przeciwnym razie niektóre twierdzenia nie miałyby zastosowania. Na przykład, oszacowanie minimaksa nie byłoby oszacowaniem Bayesa dla najmniej korzystnego z góry, ponieważ moglibyśmy uczynić to uprzednio arbitralnie złym, wykluczając duży region wokół i włączając $\theta$ ze swojej domeny. Jednak zagwarantowanie, że $\theta$ rzeczywiście należy do dziedziny, może być trudne do osiągnięcia.

Więc moje pytania to:

1. Czy ogólnie przyjmuje się, że rzeczywista $\theta$ jest możliwą odmianą $\pi$ ?
2. Czy można to zagwarantować?
3. Czy przypadki naruszające to przynajmniej można w jakiś sposób wykryć, więc nie można polegać na twierdzeniach takich jak minimax, gdy warunki nie są spełnione?
4. Jeśli nie jest to wymagane, dlaczego mają zastosowanie standardowe wyniki teorii teorii?

Bardzo miłe pytanie! Rzeczywiście miałoby sens, że „dobry” wcześniejszy rozkład daje dodatnie prawdopodobieństwo lub dodatnią wartość gęstości dla „prawdziwego” parametru , ale z czysto decyzyjnego punktu widzenia nie musi tak być. Prosty przeciwny przykład do tej „intuicji”, że powinien być konieczny, gdy jest wcześniejszą gęstością, a jest „prawdziwą” wartością parametru, jest genialny wynik minimaksji Caselli i Strawdermana (1981): przy szacowaniu średniej normalnej na podstawie pojedynczej obserwacji z dodatkowym ograniczeniem, że ,$\theta_0$

$$\pi(\theta_0)>0$$ $\pi(\cdot)$$\theta_0$$\mu$$x\sim{\cal N}(\mu,1)$$|\mu|<\rho$$\rho$jest na tyle mała, szczegółowo, minimaksowe odpowiada estymatora A (co najmniej korzystne) jednolity przed o , co oznacza, że daje równą wagę i ( i żadna inna wartość średniej ) Kiedy wzrasta, najmniej sprzyjający poprzedni, jego wsparcie rośnie, ale pozostaje skończonym zestawem możliwych wartości. Jednak późniejsze oczekiwanie, , może przyjąć dowolną wartość .$\rho\le 1.0567$$\{-\rho,\rho\}$$\pi$$-\rho$$\rho$$\mu$ $$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$$ $\rho$$\mathbb{E}[\mu|x]$$(-\rho,\rho)$

Istotą dyskusji (patrz komentarze) może być to, że gdyby estymator Bayesa był ograniczony do punktu wsparcia , jego właściwości byłyby zupełnie inne.$\pi(\cdot)$

Podobnie, gdy rozważane są dopuszczalne estymatory, estymatory Bayesa powiązane z odpowiednim wcześniejszym na zwartym zbiorze są zwykle dopuszczalne, chociaż mają ograniczone wsparcie.

W obu przypadkach pojęcie częstokroć (minimaksymalność lub dopuszczalność) jest definiowane na podstawie możliwego zakresu parametrów, a nie na „prawdziwej” wartości parametru (co daje odpowiedź na pytanie 4). Na przykład, patrząc na ryzyko tylne lub na ryzyko Bayesa nie obejmuje prawdziwej wartości .

$$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$$ $$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$$ $\theta_0$

Ponadto, jak wskazano w powyższym przykładzie, gdy estymator Bayesa jest zdefiniowany przez wyrażenie formalne, takie jak średnia tylna dla straty kwadratowej (lub ), estymator może przyjmować wartości poza wsparciem w przypadkach, gdy wsparcie to nie jest wypukłe.

$$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$$ $L_2$$\pi$

Na marginesie, podczas czytania

aby prawda θ wygenerowała dane (tj. „istnieje”), θ musi być możliwą zmienną w ramach π, np. mieć niezerowe prawdopodobieństwo, niezerową gęstość

Uważam to za wprowadzenie w błąd co do znaczenia przeora. Wcześniejszy rozkład nie powinien oznaczać faktycznego mechanizmu fizycznego (lub rzeczywistego), który widział wartość parametru wygenerowaną z po której nastąpiła obserwacja wygenerowana z . Prior jest miarą odniesienia w przestrzeni parametrów, która zawiera wcześniejsze informacje i subiektywne przekonania na temat parametru i nie jest w żaden sposób wyjątkowa. Analiza bayesowska jest zawsze względna w stosunku do wcześniej wybranych do przeprowadzenia tej analizy bayesowskiej. Dlatego nie ma absolutnej konieczności, aby prawdziwy parametr należał do obsługi . Oczywiście, gdy to wsparcie jest kompaktowym połączonym zestawem,$\theta_0$$\pi$$x$$f(x|\theta_0)$$\pi$${\mathscr A}$, żadnej wartości parametru poza zestawem nie można konsekwentnie oszacować za pomocą średniej tylnej ale to nawet nie wyklucza dopuszczalności estymatora.${\mathscr A}$$\hat{\theta}^\pi$

1. Tak, ogólnie przyjmuje się, że prawda należy do dziedziny wcześniejszej. Statystyk jest odpowiedzialny za sprawdzenie, czy tak jest.$\theta$

2. Zazwyczaj tak. Na przykład, podczas szacowania parametru średniej lub lokalizacji, każdy przed będzie miał prawdziwą wartość w swojej dziedzinie. (Jeśli wiadomo, że parametr jest większy od zera, np. „Średnia liczba wypadków drogowych na Bay Bridge dziennie”, wcześniejszy nie musi oczywiście zawierać wartości ujemnych.) Jeśli szacujemy prawdopodobieństwo, wszelkie przed będzie miał prawdziwą wartość w swojej dziedzinie. Jeśli konstruujemy wyrażenie poprzedzające na wariacji wariancji, każde wyrażenie poprzedzające będzie miało prawdziwą wartość w swojej dziedzinie ... i tak dalej.$(-\infty, \infty)$$[0,1]$$(0, \infty)$

3. Jeśli twój tyłek jest „ułożony” na jednej krawędzi domeny przeora, a twój przełożony niepotrzebnie ogranicza domenę na tej samej krawędzi, jest to wskaźnik ad-hoc, że niepotrzebne ograniczenie może powodować problemy. Powinno to jednak nastąpić tylko wtedy, gdy: a) zbudowałeś przeora, którego forma opiera się głównie na wygodzie, a nie na faktycznej wcześniejszej wiedzy, oraz b) wymuszona przez niego forma uprzedniego ograniczenia ogranicza dziedzinę parametru do podzbioru tego, co jego „ domenę naturalną można uznać za.

Przykładem takiej jest stara, miejmy nadzieję, już dawno przestarzała, praktyka polegająca na ograniczaniu wcześniejszego terminu wariacją nieco od zera w celu uniknięcia potencjalnych trudności obliczeniowych. Jeśli prawdziwa wartość wariancji mieści się między granicą a zerem, cóż ... ale faktyczne myślenie o potencjalnych wartościach wariancji na podstawie danych lub (na przykład) umieszczenie wcześniejszego dziennika w dzienniku wariancji, pozwoli aby uniknąć tego problemu, a podobna łagodna spryt powinna pozwolić ci na uniknięcie ograniczeń związanych z domeną w ogóle.

4. Odpowiedzi udzielił nr 1.

Prosta, intuicyjna odpowiedź jest taka, że wcześniejsze odzwierciedlają twoją wcześniejszą wiedzę na temat$\theta$a minimalna wiedza, którą powinieneś mieć, dotyczy jej domeny. Jeśli użyjesz wcześniej opcji ograniczonej, zakładasz, że wartości poza granicami mają zerowe prawdopodobieństwo, są niemożliwe, a jest to bardzo mocne założenie, którego nie należy przyjmować bez dobrego uzasadnienia. Dlatego ludzie, którzy nie chcą opierać się na wcześniejszych założeniach, używają niejasnych priorytetów$-\infty$ do $\infty$.

Oprócz ograniczonego przypadku, gdy próbka rośnie, a dokładniej przekazuje więcej informacji, twój tylny powinien w końcu zbiegać się do $\theta$ bez względu na wcześniejsze .