Co jest takiego fajnego w twierdzeniu o reprezentacji de Finetti?

Z teorii statystyki Mark J. Schervish (strona 12):

Chociaż twierdzenie DeFinetti o reprezentacji 1.49 ma zasadnicze znaczenie dla motywowania modeli parametrycznych, w rzeczywistości nie jest wykorzystywane w ich implementacji.

W jaki sposób twierdzenie jest kluczowe dla modeli parametrycznych?

— gui11aume
źródło

Myślę, że ma to kluczowe znaczenie dla modeli bayesowskich. Właśnie rozmawiałem o tym z singletonem. Jego znaczenie w statystyce bayesowskiej jest pomijane, z wyjątkiem tych Bayesian, którzy byli zwolennikami deFinetti. Zobacz odniesienie do Diaconisa i Freedmana z 1980 r.

— Michael Chernick

@cardinal: strona 12 (zaktualizowałem pytanie).

— gui11aume

Zauważ, że Schervish powiedział: „... centralne dla modeli parametrycznych ...”.

motivating

$\textbf{motivating}$

— Zen,

Często zastanawiałem się, ile tego przedstawienia jest „rzeczywiste”, a ile opiera się na konkretnych interpretacjach twierdzenia. Można go równie łatwo wykorzystać do opisania wcześniejszej dystrybucji, jak do opisu modelu.

— probabilityislogic

Odpowiedzi:

De Finetti za reprezentowanie Twierdzenie daje w jednym odbiorze, w subiektywistycznej interpretacji prawdopodobieństwa, w raison d'être modeli statystycznych i znaczenie parametrów i ich rozkładów a priori.

Załóżmy, że zmienne losowe reprezentują wyniki kolejnych rzutów monety, przy wartościach i odpowiadających odpowiednio wynikom „Głowy” i „Ogony”. Analizując, w kontekście subiektywistycznej interpretacji rachunku prawdopodobieństwa, znaczenia typowego modelu częstościowego, w którym są niezależne i identycznie rozmieszczone, De Finetti zauważył, że warunek niezależności oznaczałby na przykład, że a zatem wyniki pierwszego rzuty nie zmieniłyby mojej niepewności co do wyniku $X_1,\dots,X_n$ $1$ $0$ $X_i$

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$ -ty rzut. Na przykład, jeśli wierzę że jest to zrównoważona moneta, to po otrzymaniu informacji, że pierwsze rzutów okazało się „główkami”, nadal uważam, pod warunkiem, na podstawie tych informacji, że prawdopodobieństwo uzyskania „głów” na rzut 1000 jest równe . W efekcie hipoteza niezależności sugerowałaby, że nie można dowiedzieć się czegokolwiek o monecie, obserwując wyniki jej rzutów.

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

Ta obserwacja doprowadziła De Finetti do wprowadzenia stanu słabszego niż niezależność, który rozwiązuje tę pozorną sprzeczność. Kluczem do rozwiązania De Finetti jest rodzaj symetrii dystrybucyjnej zwanej wymiennością.

$\textbf{Definition.}$ Dla danego zbioru skończonego losowych obiektów, niech oznaczają ich wspólny rozkład. Ten skończony zestaw jest wymienny, jeśli , dla każdej permutacji . Sekwencja losowych obiektów jest wymienna, jeśli każdy z jej skończonych podzbiorów jest wymienny. $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

Zakładając jedynie, że sekwencja zmiennych losowych jest wymienna, De Finetti udowodnił godne uwagi twierdzenie, które rzuca światło na znaczenie powszechnie stosowanych modeli statystycznych. W szczególnym przypadku, gdy przyjmują wartości i , Twierdzenie De Finetti o reprezentacji mówi, że jest wymienny tylko wtedy, gdy istnieje zmienna losowa , z rozkładem , takim że w którym . Co więcej, mamy to $\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$ co jest znane jako silne prawo wielkich liczb De Finetti.

To Twierdzenie o reprezentacji pokazuje, w jaki sposób powstają modele statystyczne w kontekście bayesowskim: pod hipotezą wymienności obserwowalnych , a tak, że biorąc pod uwagę wartość , obserwowalne są niezależne i identycznie rozmieszczone. Co więcej, Silne prawo De Finetti pokazuje, że nasza wcześniejsza opinia na temat nieobserwowalnego , reprezentowana przez rozkład , jest opinią na temat granicy , zanim będziemy mieli informacje o wartościach realizacji dowolnego z $\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ „s. Parametr odgrywa rolę użytecznej konstrukcji pomocniczej, która pozwala nam uzyskać prawdopodobieństwa warunkowe obejmujące tylko obserwowalne poprzez relacje takie jak $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

— Zen
źródło

Dziękuję za tę wnikliwą odpowiedź! Twoja uwaga na temat niezależności jest bardzo ważna, co uświadamiam sobie po raz pierwszy.

— gui11aume

(„użyteczne” było lepsze :))

— Neil G

Trudno mi zrozumieć zdanie „istnieje parametr więc (biorąc pod uwagę ) to iid”. Z twierdzenia o reprezentacji wydaje się, że wszystko, co możemy wywnioskować, to że . Oznacza to, że oczekiwana wartość gęstości rzeczywistej jest taka sama, jak wartość oczekiwana gęstości iid bernoulli z parametrem . Czy możesz wyjaśnić mi, w jaki sposób możemy obniżyć oczekiwaną wartość, abyśmy mogli twierdzić o samej prawdziwej gęstości?

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

— user795305

Całkiem jest . Ponieważ jest on uwzględniany jako , są warunkowo podane jako .

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

— Zen

@Zen Thanks! Rozumiem pierwsze zdanie, jednak część „, ponieważ jest to "nadal nie jest dla mnie jasne. Skąd wiesz, że to w ten sposób wpływa? Wygląda na to, że tracisz oczekiwaną wartość z tożsamości, którą napisałem w poprzednim komentarzu, ale nie jestem pewien, jak to uzasadnione.

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

— user795305

Wszystko jest matematycznie poprawne w odpowiedzi Zen. Nie zgadzam się jednak w niektórych kwestiach. Pamiętaj, że nie twierdzę / nie uważam, że mój punkt widzenia jest dobry; wręcz przeciwnie, uważam, że te kwestie nie są jeszcze do końca jasne. Są to nieco filozoficzne pytania, o których lubię dyskutować (i dobre ćwiczenie z angielskiego) i jestem również zainteresowany wszelkimi radami.

O przykładzie z „Głowami”, komentarz Zen: „hipoteza niezależności sugerowałaby, że nie można dowiedzieć się niczego o monecie, obserwując wyniki jej rzutów”. Nie jest to prawdą z perspektywy częstych: poznanie monety oznacza poznanie , co jest możliwe poprzez oszacowanie (oszacowanie punktu lub przedział ufności) z poprzednich wyników. Jeśli częsty obserwuje „głów”, wówczas stwierdza, że jest prawdopodobnie bliskie , a zatem konsekwencji. $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
Nawiasem mówiąc, w tym przykładzie rzucania monetą, co to jest losowy ? Wyobrażając sobie, że każda z dwóch osób gra nieskończoną liczbę razy w tę samą monetę, dlaczego mieliby znaleźć inną ? Mam na myśli, że cechą losowania monet jest stała która jest wspólną wartością dla każdego gracza („prawie każdy gracz” z technicznych powodów matematycznych). Bardziej konkretnym przykładem, dla którego nie ma interpretowalnego losowego jest przypadek losowego próbkowania z zastąpieniem w skończonej populacji i . $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
O książce Schervisha i pytaniu postawionym przez PO myślę, że (szybko mówiąc) Schervish oznacza, że wymienność jest „chłodnym” założeniem, a następnie twierdzenie deFinetti jest „fajne”, ponieważ mówi, że każdy model wymienny ma reprezentację parametryczną. Oczywiście całkowicie się zgadzam. Jeśli jednak model wymienny, taki jak i wtedy byłbym zainteresowany wykonaniem wnioskowanie o i , a nie o realizacji . Jeśli interesuje mnie tylko realizacja , nie widzę żadnego zainteresowania zakładaniem wymienności. $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

Jest późno...

— Stéphane Laurent
źródło

Cześć Stéphane! Dziękuję za komentarze na temat mojej odpowiedzi. Jeśli chodzi o twój pierwszy punkt, że , w mojej odpowiedzi wszystko jest wyrażone w kontekście bayesowskim. Nie ma prawdziwej próby ustalenia kontrastu z innymi paradygmatami wnioskowania. Krótko mówiąc, próbowałem wyrazić, co dla mnie, jako Bayesa, oznacza twierdzenie De Finettiego.

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

— Zen

O twoim drugim pocisku: losowy jest (as) granicą , jak podano w LLN De Finetti. Tak więc, gdy jakiś Bayesian mówi, że mój wcześniejszy to , oznacza to, że ten rozkład reprezentuje jego niepewność co do tego limitu, zanim będzie miał dostęp do danych. Różni Bayesianie mogą mieć różne priorytety, ale przy odpowiednich warunkach regularności będą mieli zgodę temat (podobni posteriori), ponieważ otrzymają coraz więcej informacji na temat wyników rzutów.

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

— Zen,

Naprawiony, ale nieznany nie jest koncepcją bayesowską.

θ

$\theta$

— Zen,

O twojej trzeciej kuli, biorąc pod uwagę: 1) że Schervish jest statystą bayesowskim; 2) Ilość czasu i energii, które spędza na omawianiu wymienności w swojej książce; Uważam, że dla niego rola twierdzenia De Finetti jest bardzo głęboka, wykraczająca daleko poza chłód. Ale zgadzam się, że i tak jest bardzo fajne!

— Zen,

Aby wyjaśnić mój punkt widzenia: nie sądzę, aby w „podstawowym” (niehierarchicznym) modelu bayesowskim istniała przypadkowa . Istnieje ustalona nieznana , a poprzednia dystrybucja opisuje wiarę na ten temat. Rolą zmiennej losowej jest jedynie matematyczne traktowanie wnioskowania bayesowskiego, nie ma ona żadnej interpretacji w eksperymencie. Jeśli naprawdę zakładasz wymienne, ale nie niezależne obserwacje, takie jak przykład mojej trzeciej kuli, musisz umieścić hiperpriory na i .

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

— Stéphane Laurent,

Być może zainteresuje Cię artykuł na ten temat (do uzyskania dostępu wymagana jest subskrypcja czasopisma - spróbuj uzyskać do niego dostęp ze swojej uczelni):

O'Neill, B. (2011) Wymienność, korelacja i efekt Bayesa. Międzynarodowy przegląd statystyczny 77 (2), s. 241–250.

Ten artykuł omawia twierdzenie o reprezentacji jako podstawę zarówno bayesowskich, jak i częstych modeli IID, a także stosuje je do przykładu rzucania monetą. Powinno to wyjaśnić dyskusję na temat założeń paradygmatu częstych. W rzeczywistości wykorzystuje szersze rozszerzenie do twierdzenia o reprezentacji wykraczające poza model dwumianowy, ale nadal powinno być przydatne.

— Statystyki
źródło

Czy masz taką wersję papierową? Nie mam dostępu do bankomatu :-(

— IMA

@Stats Przeczytałem ten artykuł po zobaczeniu twojej odpowiedzi. Muszę powiedzieć, że to najlepszy artykuł ilustrujący Bayesian i Frequentist w tej kwestii, jaką kiedykolwiek widziałem. Chciałbym przeczytać ten artykuł znacznie wcześniej. (+1)

— KevinKim