Twierdzenie Halmosa-Savage'a mówi, że dla dominującego modelu statystycznego statystyka jest wystarczający, jeśli (i tylko jeśli) dla wszystkich istnieje wersja pochodnej Radon Nikodym, mierzalna wersja gdzie jest uprzywilejowany środek taki, że do i .$(\Omega, \mathscr A, \mathscr P)$$T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr A')$$\{P \in \mathscr{P} \}$$T$$\frac{dP}{dP*}$$dP*$$P*=\sum_{i=1}^\infty P_i c_i$$c_i >0, \sum _{i=1}^\infty c_i =1$$P_i \in \mathscr P$

Próbowałem zrozumieć intuicyjnie, dlaczego to twierdzenie jest prawdziwe, ale nie udało mi się, więc moje pytanie brzmi, czy istnieje intuicyjny sposób zrozumienia tego twierdzenia.

Techniczny lemat

Nie jestem pewien, czy jest to intuicyjne, ale główny wynik techniczny leżący u podstaw twierdzenia Halmosa-Savage'a jest następujący:

Lemat. Niech będzie miarą -finite na . Załóżmy, że jest zbiorem miar takich, że dla każdego , . Następnie istnieje ciąg nieujemnych liczb i ciąg elementów , taki że i dla każdego .$\mu$$\sigma$$(S, \mathcal{A})$$\aleph$$(S, \mathcal{A})$$\nu \in \aleph$$\nu \ll \mu$$\{c_i\}_{i=1}^\infty$$\aleph$$\{\nu_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\nu \ll \sum_{i=1}^\infty c_i \nu_i$$\nu \in \aleph$

Zostało to zaczerpnięte dosłownie z Twierdzenia A.78 w Schervish's Theory of Statistics (1995) . W tym miejscu przypisuje to Lehmannnowi Testing Statistics Hypotheses (1986) ( link do trzeciej edycji ), w której wynik przypisuje się Halmosowi i Savage'owi (patrz Lemat 7). Innym dobrym odniesieniem są statystyki matematyczne Shao (drugie wydanie, 2003) , gdzie odpowiednie wyniki to Lemma 2.1 i Twierdzenie 2.2.

Powyższy lemat mówi, że jeśli zaczniesz od rodziny miar zdominowanych przez skończoną miarę, to tak naprawdę możesz zastąpić dominującą miarę przez policzalną wypukłą kombinację miar z rodziny. Schervish pisze przed stwierdzeniem Twierdzenia A.78,$\sigma$

„W zastosowaniach statystycznych często mamy klasę miar, z których każda jest absolutnie ciągła w odniesieniu do pojedynczej miary skończonej. Byłoby miło, gdyby pojedyncza miara dominująca znajdowała się w klasie oryginalnej lub mogła być zbudowana z klasa. Poniższe twierdzenie rozwiązuje ten problem. ”$\sigma$

Konkretny przykład

Załóżmy, że dokonujemy pomiaru wielkości która naszym zdaniem jest równomiernie rozłożona w przedziale dla niektórych nieznanych . W tym problemie statystycznym domyślnie bierzemy pod uwagę zbiór miar prawdopodobieństwa Borela na składający się z równomiernych rozkładów we wszystkich przedziałach postaci . Oznacza to, że jeśli oznacza miarę Lebesgue'a, a dla , oznacza rozkład (tj. $X$$[0, \theta]$$\theta > 0$$\mathcal{P}$$\mathbb{R}$$[0, \theta]$$\lambda$$\theta > 0$$P_\theta$$\operatorname{Uniform}([0, \theta])$

$$P_\theta(A) = \frac{1}{\theta} \lambda(A \cap [0, \theta]) = \int_A \frac{1}{\theta} \mathbf{1}_{[0, \theta]}(x) \, dx$$ dla każdego Borel ), wtedy mamy po prostu Jest to zbiór rozkładów kandydujących do naszego pomiaru .$A \subseteq \mathbb{R}$ $$\mathcal{P} = \{P_\theta : \theta > 0\}.$$ $X$

Rodzina jest wyraźnie zdominowana przez miarę Lebesgue'a (która jest -finite), więc powyższy lemat (z ) gwarantuje istnienie sekwencji liczb nieujemnych sumujących się do i sekwencja rozkładów jednolitych w takich, że dla każdego . W tym przykładzie możemy jawnie skonstruować takie sekwencje!$\mathcal{P}$$\lambda$$\sigma$$\aleph = \mathcal{P}$$\{c_i\}_{i=1}^\infty$$1$$\{Q_i\}_{i=1}^\infty$$\mathcal{P}$

$$P_\theta \ll \sum_{i=1}^\infty c_i Q_i$$ $\theta > 0$

Po pierwsze, niech będzie wyliczeniem dodatnich liczb wymiernych ( można to zrobić jawnie ) i niech dla każdego . Następnie pozwól , aby . Twierdzę, że ta kombinacja i działa.$(\theta_i)_{i=1}^\infty$ Q i = P θ i i c i = 2 - i ∑ ∞ i = 1 c i = 1 { c i } ∞ i = 1 { Q i } ∞ i = 1$Q_i = P_{\theta_i}$$i$$c_i = 2^{-i}$$\sum_{i=1}^\infty c_i = 1$$\{c_i\}_{i=1}^\infty$$\{Q_i\}_{i=1}^\infty$

Aby to zobaczyć, napraw i pozwól, aby był podzbiorem Borela tak aby . Musimy pokazać, że . Ponieważ i każdy zbiór jest nieujemny, wynika z tego, że dla każdego . Ponadto, ponieważ każdy jest dodatni, wynika z tego, że dla każdego . Oznacza to, że dla wszystkich mamy Ponieważ każdy$\theta > 0$$A$$\mathbb{R}$$\sum_{i=1}^\infty c_i Q_i(A) = 0$$P_\theta(A) = 0$$\sum_{i=1}^\infty c_i Q_i(A) = 0$$c_i Q_i(A) = 0$$i$$c_i$$Q_i(A) = 0$$i$$i$

$$Q_i(A) = P_{\theta_i}(A) = \frac{1}{\theta_i} \lambda(A \cap [0, \theta_i]) = 0.$$ $\theta_i$jest dodatni, wynika z tego, że dla każdego .$\lambda(A \cap [0, \theta_i]) = 0$$i$

Teraz wybierz podciąg z który zbiegnie się do z góry (można to zrobić ponieważ jest gęsty w ). Następnie jako , więc na podstawie ciągłości pomiaru dochodzimy do wniosku, że a więc . To potwierdza roszczenie.$\{\theta_{i_k}\}_{k=1}^\infty$$\{\theta_i\}_{i=1}^\infty$$\theta$$\mathbb{Q}$$\mathbb{R}$$A \cap [0, \theta_{\theta_{i_k}}] \downarrow A \cap [0, \theta]$$k \to \infty$

$$\lambda(A \cap [0, \theta]) = \lim_{k \to \infty} \lambda(A \cap [0, \theta_{i_k}]) = 0,$$ $P_\theta(A) = 0$

Tak więc w tym przykładzie byliśmy w stanie wyraźnie skonstruować policzalną wypukłą kombinację miar prawdopodobieństwa z naszej zdominowanej rodziny, która wciąż dominuje całą rodzinę. Powyższy lemat gwarantuje, że można to zrobić dla każdej zdominowanej rodziny (przynajmniej tak długo, jak długo dominującą miarą jest -finite).$\sigma$

Twierdzenie Halmosa-Savage'a

Przejdźmy teraz do twierdzenia Halmosa-Savage'a (dla którego użyję nieco innej notacji niż w pytaniu ze względu na osobiste preferencje). Biorąc pod uwagę twierdzenie Halmosa-Savage'a, twierdzenie faktoryzacji Fishera-Neymana jest tylko jednym zastosowaniem lematu Dooba-Dynkina i reguły łańcucha pochodnych Radon-Nikodym!

Twierdzenie Halmosa-Savage'a. Niech będzie dominującym modelem statystycznym (co oznacza, że jest zbiorem miar prawdopodobieństwa na i istnieje -finite miara na taki, że dla wszystkich ). Niech będzie funkcją mierzalną, gdzie jest standardowym Borelem przestrzeń. Zatem następujące są równoważne:$(\mathcal{X}, \mathcal{B}, \mathcal{P})$$\mathcal{P}$$\mathcal{B}$$\sigma$$\mu$$\mathcal{B}$$P \ll \mu$$P \in \mathcal{P}$$T : (\mathcal{X}, \mathcal{B}) \to (\mathcal{T}, \mathcal{C})$$(T, \mathcal{C})$

1. $T$ jest wystarczające dla (co oznacza, że ​​istnieje jądro prawdopodobieństwa tak, że jest wersją dla wszystkich i ).$\mathcal{P}$$r : \mathcal{B} \times \mathcal{T} \to [0, 1]$$r(B, T)$$P(B \mid T)$$B \in \mathcal{B}$$P \in \mathcal{P}$
2. Istnieje sekwencja liczb nieujemnych, na przykład i sekwencja miar prawdopodobieństwa w takich, że dla wszystkich , gdzie , i dla każdego istnieje -measurable wersja .$\{c_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\{P_i\}_{i=1}^\infty$$\mathcal{P}$$P \ll P^*$$P \in \mathcal{P}$$P^* = \sum_{i=1}^\infty c_i P_i$$P \in \mathcal{P}$$T$$dP/dP^*$

Dowód. Powyższym lematem możemy natychmiast zastąpić przez dla jakiejś sekwencji liczb nieujemnych i sekwencja miar prawdopodobieństwa w .$\mu$$P^* = \sum_{i=1}^\infty c_i P_i$$\{c_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\{P_i\}_{i=1}^\infty$$\mathcal{P}$

(1. implikuje 2.) Załóżmy, że jest wystarczający. Następnie musimy pokazać, że istnieją wersje dp dla wszystkich . Niech będzie jądrem prawdopodobieństwa w twierdzeniu twierdzenia. Dla każdego i mamy Zatem jest wersją dla wszystkich .$T$$T$$dP/dP^*$$P \in \mathcal{P}$$r$$A \in \sigma(T)$$B \in \mathcal{B}$

$$\begin{aligned} P^*(A \cap B) &= \sum_{i=1}^\infty c_i P_i(A \cap B) \\ &= \sum_{i=1}^\infty c_i \int_A P_i(B \mid T) \, dP_i \\ &= \sum_{i=1}^\infty c_i \int_A r(B, T) \, dP_i \\ &= \int_A r(B, T) \, dP^*. \end{aligned}$$ $r(B, T)$$P^*(B \mid T)$$B \in \mathcal{B}$

Dla każdego , niech oznacza wersję pochodnej Radon-Nikodym na mierzalnej przestrzeni (więc w szczególności jest mierzalny). Następnie dla wszystkich i mamy Tak więc w rzeczywistości jest$P \in \mathcal{P}$$f_P$$dP/dP^*$$(\mathcal{X}, \sigma(T))$$f_P$$T$$B \in \mathcal{B}$$P \in \mathcal{P}$

$$\begin{aligned} P(B) &= \int_{\mathcal{X}} P(B \mid T) \, dP \\ &= \int_{\mathcal{X}} r(B, T) \, dP \\ &= \int_{\mathcal{X}} r(B, T) f_P \, dP^* \\ &= \int_{\mathcal{X}} P^*(B \mid T) f_P \, dP^* \\ &= \int_{\mathcal{X}} E_{P^*}[\mathbf{1}_B f_P \mid T] \, dP^* \\ &= \int_B f_P \, dP^*. \end{aligned}$$ $f_P$$T$-mierzalna wersja na . Dowodzi to, że pierwszy warunek twierdzenia implikuje drugi.$dP/dP^*$$(\mathcal{X}, \mathcal{B})$

(2. implikuje 1.) Załóżmy, że dla każdego można wybrać wersję dla f_P . Dla każdego niech oznacza określoną wersję (np. jest funkcją taką, że to wersja ). Ponieważ jest standardową przestrzenią Borela, możemy wybrać w sposób, który czyni ją jądrem prawdopodobieństwa (patrz np. Twierdzenie B.32 w Teorii statystyki Schervisha (1995)). Pokażemy, że$T$$f_P$$dP/dP^*$$P \in \mathcal{P}$$B \in \mathcal{B}$$r(B, t)$$P^*(B \mid T = t)$$r(B, t)$$r(B, T)$$P^*(B \mid T)$$(T, \mathcal{C})$$r$$r(B, T)$jest wersją dla dowolnego i dowolnego . Tak więc niech i . Następnie dla wszystkich mamy To pokazuje, że jest wersją dla dowolnego i dowolnego , a dowodem jest gotowy.$P(B \mid T)$$P \in \mathcal{P}$$B \in \mathcal{B}$$A \in \sigma(T)$$B \in \mathcal{B}$$P \in \mathcal{P}$

$$\begin{aligned} P(A \cap B) &= \int_A \mathbf{1}_B f_P \, dP^* \\ &= \int_A E_{P^*}[\mathbf{1}_B f_P \mid T] \, dP^* \\ &= \int_A P^*(B \mid T) f_P \, dP^* \\ &= \int_A r(B, T) f_P \, dP^* \\ &= \int_A r(B, T) \, dP. \end{aligned}$$ $r(B, T)$$P(B \mid T)$$P \in \mathcal{P}$$B \in \mathcal{B}$

Podsumowanie. Ważnym rezultatem technicznym leżącym u podstaw twierdzenia Halmosa-Savage'a jest to, że dominująca rodzina miar prawdopodobieństwa jest faktycznie zdominowana przez policzalną wypukłą kombinację miar prawdopodobieństwa z tej rodziny. Biorąc pod uwagę ten wynik, reszta twierdzenia Halmosa-Savage'a to głównie manipulacje podstawowymi właściwościami pochodnych Radon-Nikodym i warunkowe oczekiwania.