Przedział ufności dla wariancji przy jednej obserwacji

Jest to problem z „7 Olimpiady Kołmogorowskiej w teorii prawdopodobieństwa”:

Biorąc pod uwagę jedno spostrzeżenie z rozkładu nazwa z oboma parametrami nieznanymi, podaj przedział ufności dla z poziomem ufności co najmniej 99%. $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

Wydaje mi się, że powinno to być niemożliwe. Mam rozwiązanie, ale jeszcze go nie przeczytałem. jakieś pomysły?

Wyślę rozwiązanie za kilka dni.

[Edycja uzupełniająca: oficjalne rozwiązanie opublikowane poniżej. Rozwiązanie kardynała jest dłuższe, ale daje lepszy przedział ufności. Dziękujemy również Maxowi i Glen_b za ich wkład.]

— Jonathan Christensen
źródło

Wydaje mi się również niemożliwe; Czekam na odpowiedź

— Peter Flom - Przywróć Monikę

Sprawdź tę stronę .

— zakładano, że nie występuje w

Oto artykuł z lepszym formatowaniem: papier .

— zakłada się, że nie występuje w

Heh Pamiętam, jak czytałem artykuł na ten temat (jeden interwał obserwacji) wiele lat temu. Może to był ten .

— Glen_b

@Max, dzięki za link! Nie miałem jeszcze czasu, żeby się temu przyjrzeć, ale zrobię to. Poniżej opublikowałem „oficjalną” odpowiedź.

— Jonathan Christensen,

Patrząc przez pryzmat prawdopodobieństwa nierówności i powiązań z przypadkiem wielokrotnej obserwacji, wynik ten może nie wydawać się tak niemożliwy, a przynajmniej bardziej prawdopodobny.

Niech z i nieznane. Możemy napisać dla . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Główne zastrzeżenie : to przedział ufności dla gdzie jest kwantylem na poziomie rozkładu chi-kwadrat z jednym stopniem wolność. Ponadto, ponieważ interwał dokładnie pokrycia podczas , to jest najwęższa możliwa odstęp postaci do pewnego . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Powód do optymizmu

Przypomnijmy, że w przypadku , gdy , typowy przedział ufności dla wynosi gdzie jest poziomowym kwantylem chi-kwadrat z stopni swobody. Dotyczy to oczywiście każdego . Chociaż jest to najbardziej popularny przedział (z oczywistych powodów nazywany interwałem o jednakowym ogonie ), nie jest to ani jedyny, ani nawet najmniejszy! Jak powinno być oczywiste, kolejnym ważnym wyborem jest $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Ponieważ , a następnie ma również zasięg co najmniej . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Patrząc w tym świetle, możemy być optymistami, że przedział w głównym twierdzeniu jest prawdziwy dla . Główna różnica polega na tym, że w przypadku pojedynczej obserwacji nie ma rozkładu chi-kwadrat o zerowym stopniu swobody, więc musimy mieć nadzieję, że zastosowanie kwantyla o jednym stopniu swobody zadziała. $n = 1$

Pół kroku do naszego celu ( wykorzystanie prawego ogona )

Zanim przejdziemy do dowodu głównego twierdzenia, spójrzmy najpierw na wstępne twierdzenie, które nie jest tak silne ani satysfakcjonujące statystycznie, ale może daje dodatkowy wgląd w to, co się dzieje. Możesz przejść do dowodu głównego roszczenia poniżej, bez większych (jeśli w ogóle) strat. W tej i następnej części dowody - choć nieco subtelne - opierają się tylko na elementarnych faktach: monotoniczności prawdopodobieństw oraz symetrii i niejednoznaczności rozkładu normalnego.

Roszczenie pomocnicze : jest przedziałem ufności dla tak długo, jak . Tutaj jest kwantylem na poziomie standardowej normy. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Dowód . iprzez symetrię, więc w poniższym przykładzie możemy przyjąć bez utraty ogólności. Teraz dla i , a więc z widzimy, że Działa to tylko dla , ponieważ jest to potrzebne dla . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Dowodzi to roszczenia pomocniczego. Chociaż jest ilustracyjny, nie jest satysfakcjonujący ze statystycznego punktu widzenia, ponieważ do działania wymaga absurdalnie dużej . $\alpha$

Potwierdzenie głównego roszczenia

Udoskonalenie powyższego argumentu prowadzi do wyniku, który będzie działał dla dowolnego poziomu zaufania. Najpierw zauważ, że Zestaw i . Następnie Jeśli możemy wykazać, że prawa strona zwiększa się dla każdego ustalonego , możemy zastosować podobny argument jak w poprzednim argumencie. Jest to co najmniej prawdopodobne, ponieważ chcielibyśmy wierzyć, że jeśli średnia wzrośnie, to bardziej prawdopodobne staje się, że zobaczymy wartość o module przekraczającym

P. (| X | > θ) = P. (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P. (| Z + za | > b) = Φ (za - b) + Φ (- za - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (Musimy jednak uważać na to, jak szybko masa maleje w lewym ogonie!)

Ustaw . Następnie Zauważ, że i dla dodatniego , zmniejsza się . Teraz dla łatwo zauważyć, że . Te wspólne fakty łatwo sugerują, że dla wszystkich i każdego ustalonego . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (za + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Dlatego pokazaliśmy, że dla i , $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Rozwiązując to wszystko, jeśli weźmiemy , otrzymamy która ustanawia główne roszczenie. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2)}) \geq P. (Z^{2)} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Uwaga końcowa : uważna lektura powyższego argumentu pokazuje, że wykorzystuje on jedynie symetryczne i nieimodalne właściwości rozkładu normalnego. Stąd podejście działa analogicznie do uzyskiwania przedziałów ufności z pojedynczej obserwacji z dowolnej symetrycznej, nieimodalnej rodziny o skali lokalizacji, np. Rozkładów Cauchy'ego lub Laplace'a.

— kardynał
źródło

Łał! i oczekuje się, że studenci przedstawią tego rodzaju argumenty w krótkim czasie egzaminu z Olimpiady?

— Dilip Sarwate,

@Dilip: Nie mam pojęcia! Nie jestem zaznajomiony z formatem tej olimpiady ani z oczekiwanymi rozwiązaniami. Z dosłownego odczytania pomyślałbym, że odpowiedź Scortchi byłaby do przyjęcia. Bardziej zainteresowałem się próbą ustalenia, jak daleko można się posunąć dzięki „nietrywialnemu” rozwiązaniu. Moja (dość minimalna) eksploracja przebiegała zgodnie z tym samym tokiem myślenia opisanym w odpowiedzi (z jednym objazdem). Jest całkiem prawdopodobne, że istnieje lepsze rozwiązanie. :-)

— kardynał

Jest to znacznie dłużej niż „oficjalne” rozwiązanie, ale lepiej wiąże wariancję, więc zaznaczam ją jako „poprawną” odpowiedź. Poniżej opublikowałem „oficjalną” odpowiedź, a także wyniki symulacji i dyskusję. Dzięki, @cardinal!

— Jonathan Christensen,

@Jathanathan: Dzięki. Tak, mogłem uczynić dowód nieco bardziej zwięzłym. Ze względu na szeroką gamę tła uczestników tutaj często oddaję się dodatkowym (lub być może nadmiernym) szczegółom. :-)

— kardynał

Czas na kontynuację! Oto rozwiązanie, które otrzymałem:

$[0,T(X))$ $T(\cdot)$
$(\forall μ \in R) (\forall σ > 0) {P.}_{μ, σ_{2)}} (σ^{2)} > T. (X)) < 0,01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P. (| X | / σ \leq t) = P. (X^{2)} \leq t^{2)} σ^{2)}) = P. (σ^{2)} \geq X^{2)} / t^{2)}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ $T(X) = 10000X^2.$

Przedział ufności (który jest bardzo szeroki) jest nieco konserwatywny w symulacji, bez pokrycia empirycznego (w 100 000 symulacji) poniżej 99,15%, ponieważ zmieniałem CV na wiele rzędów wielkości.

$6300X^2$ $10000X^2$

$(0,4900X^2)$

— Jonathan Christensen
źródło

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$ . Innymi słowy, interwał podany w mojej odpowiedzi jest najwęższym z podanych formularzy.

— kardynał

pchisq(1/4900,1,lower.tail=F)R0.9886

(0, 4900 X^{2})

$(0,4900X^2)$

Dzięki za wszystkie komentarze, @cardinal. Myślę, że twoja zmiana jest poprawna, chociaż wpisałem ją tak, jak było w oryginalnych rozwiązaniach - chyba literówka.

— Jonathan Christensen

$(0,\infty)$

— Scortchi - Przywróć Monikę
źródło

Myślę, że byłoby pomocne, gdybyś powiedział, dlaczego nie możesz uzyskać przedziału ufności o skończonej długości.

— przyjęto, że nie występuje w

@Max Nie jestem wystarczająco bystry - ale pytanie nie wymagało jednego.

— Scortchi - Przywróć Monikę

+1 za to. Pytanie nie mówiło o CI z minimalnym zakresem, a w rzeczywistości sugeruje, że można to zaakceptować dzięki jego ciekawemu sformułowaniu „przedział ufności z poziomem ufności co najmniej 99%”.

— Ari B. Friedman,