Czy obliczanie „rzeczywistego prawdopodobieństwa pokrycia” jest tym samym, co obliczanie „wiarygodnego przedziału”?

10

Czytałem podręcznik statystyk na poziomie podstawowym. W rozdziale dotyczącym szacowania maksymalnego prawdopodobieństwa odsetka sukcesu w danych o rozkładzie dwumianowym podał wzór na obliczenie przedziału ufności, a następnie nonszalancko wspomniano

Rozważmy jego rzeczywiste prawdopodobieństwo pokrycia, to znaczy prawdopodobieństwo, że metoda wygeneruje przedział, który uchwyci prawdziwą wartość parametru. Może to być nieco mniej niż wartość nominalna.

Dalej pojawia się propozycja skonstruowania alternatywnego „przedziału ufności”, który prawdopodobnie zawiera rzeczywiste prawdopodobieństwo pokrycia.

Po raz pierwszy spotkałem się z ideą nominalnego i faktycznego prawdopodobieństwa pokrycia. Przechodząc tutaj przez stare pytania, wydaje mi się, że zrozumiałem: istnieją dwa różne pojęcia, które nazywamy prawdopodobieństwem, z których pierwszym jest prawdopodobieństwo, że zdarzenie, które jeszcze się nie wydarzyło, da określony rezultat, a drugie jest prawdopodobne, że przypuszczenie agenta obserwującego o wyniku zdarzenia, które już się wydarzyło, jest prawdziwe. Wydawało się również, że przedziały ufności mierzą tylko pierwszy rodzaj prawdopodobieństwa, a coś zwane „wiarygodnymi przedziałami” mierzy drugi rodzaj prawdopodobieństwa. Podsumowując, założyłem, że przedziały ufności są tymi, które obliczają „nominalne prawdopodobieństwo pokrycia”, a wiarygodne przedziały obejmują „rzeczywiste prawdopodobieństwo pokrycia”.

Ale może źle zinterpretowałem książkę (nie jest całkowicie jasne, czy różne metody obliczeniowe, które oferuje, dotyczą przedziału ufności i przedziału wiarygodności, czy też dwóch różnych rodzajów przedziału ufności), czy też innych źródeł, do których kiedyś dochodziłem moje obecne zrozumienie. Zwłaszcza komentarz, który dostałem na inne pytanie,

Przedziały ufności dla częstych, wiarygodne dla Bayesian

zmusiło mnie do wątpienia w moje wnioski, ponieważ książka nie opisywała metody bayesowskiej w tym rozdziale.

Proszę więc wyjaśnić, czy moje rozumowanie jest prawidłowe lub czy popełniłem błąd logiczny w drodze.

confidence-interval terminology coverage-probability

— rumtscho
źródło

Nominalne prawdopodobieństwo pokrycia jest prawdopodobieństwem pokrycia „docelowym”: tym, które staramy się osiągnąć, gdy wyprowadzamy metodę zapewniającą przedział ufności. Rzeczywisty zasięg to „prawdziwy” zasięg. Niektóre osoby twierdzą, że przedział ufności jest dokładny, gdy rzeczywisty zasięg jest równy zakresowi nominalnemu. Scotchi i Unwisdom wspomnieli, że przedział ufności nigdy nie jest dokładny dla danych dyskretnych. Innym przykładem jest użycie asymptotycznego przedziału ufności: jest on dokładny tylko wtedy, gdy . Całkowicie rozumiem twój pomysł, ponieważ „rzeczywisty” jest również synonimem „teraźniejszości”.

n \to \infty

$n \to \infty$

— Stéphane Laurent,

5

Zasadniczo rzeczywiste prawdopodobieństwo pokrycia nigdy nie będzie równe prawdopodobieństwu nominalnemu podczas pracy z rozkładem dyskretnym.

Przedział ufności jest zdefiniowany jako funkcja danych. Jeśli pracujesz z rozkładem dwumianowym, możliwe jest tylko wiele możliwych wyników ( $n+1$ a dokładniej), więc istnieje tylko wiele możliwych przedziałów ufności. Ponieważ parametr $p$ jest ciągły, dość łatwo zauważyć, że prawdopodobieństwo pokrycia (które jest funkcją $p$ ) nie może być lepsza niż około 95% (lub cokolwiek innego).

Ogólnie prawdą jest, że metody oparte na CLT będą miały prawdopodobieństwa pokrycia poniżej wartości nominalnej, ale inne metody mogą być bardziej zachowawcze.

— Nieroztropność
źródło

1

Oto przydatne formalne stwierdzenie definicji: Biorąc pod uwagę przykładową przestrzeń

⟨ Ω, F, P ⟩

$\langle\Omega,\mathcal{F},P\rangle$ i nieznany parametr

θ

$\theta$ , a

1 - α

$1-\alpha$ procedura zaufania składa się z pary funkcji

L \leq U : Ω \to R

$L\leq U:\Omega\to\mathbb{R}$ takie, że

P [{ω \in Ω | [L (ω), U (ω)] ∋ θ}] \approx 1 - α .

$P\big[\left\{\omega\in\Omega\vert [L(\omega),U(\omega)]\ni\theta\right\}\big]\approx 1-\alpha.$ Lewa strona tego wyrażenia to

coverage probability

$\textit{coverage probability}$ (zauważ, że zależy to od θ), a RHS jest nominalnym poziomem ufności . Jeśli infimum (ponad

Ω

$\Omega$ ) LHS jest równy RHS, wówczas procedura jest dokładna .

— Unwisdom

8

Nie ma to nic wspólnego z wiarygodnymi przedziałami bayesowskimi a częstymi przedziałami ufności. 95% (powiedzmy) przedział ufności jest zdefiniowany jako zapewniający co najmniej 95% pokrycia, niezależnie od prawdziwej wartości parametru $\pi$ . Kiedy więc nominalny zasięg wynosi 95%, faktyczny zasięg może wynosić 97%, kiedy $\pi=\pi_1$ , 96,5% kiedy $\pi=\pi_2$ , ale bez wartości $\pi$ czy to mniej niż 95%. Problem (tj. Rozbieżność między zasięgiem nominalnym a rzeczywistym) powstaje przy dyskretnych rozkładach, takich jak dwumianowy.

Jako przykład rozważ obserwację $x$ sukcesy z $n$ próby dwumianowe o nieznanym prawdopodobieństwie sukcesu $\pi$ :

\begin{array}{ccc} x & π_{U} & Pr (X = x | π = 0.7) & I (π_{U} \leq 0.7) \\ 0 & 0.3930378 & 0.000729 & 0 \\ 1 & 0.5818034 & 0.010206 & 0 \\ 2 & 0.7286616 & 0.059535 & 1 \\ 3 & 0.8468389 & 0.185220 & 1 \\ 4 & 0.9371501 & 0.324135 & 1 \\ 5 & 0.9914876 & 0.302526 & 1 \\ 6 & 1.0000000 & 0.117649 & 1 \end{array}

$\begin{array}{c,c,c} x & \pi_\mathrm{U} & \Pr(X= x | \pi=0.7) & I(\pi_\mathrm{U}\leq 0.7)\\ 0 & 0.3930378 & 0.000729 & 0\\ 1 & 0.5818034 & 0.010206 & 0\\ 2 & 0.7286616 & 0.059535 & 1\\ 3 & 0.8468389 & 0.185220 & 1\\ 4 & 0.9371501 & 0.324135 & 1\\ 5 & 0.9914876 & 0.302526 & 1\\ 6 & 1.0000000 & 0.117649 & 1\\ \end{array}$ Pierwsza kolumna pokazuje możliwe zaobserwowane wartości

x

$x$ . Drugi pokazuje dokładne ^†

95 %

$95\%$ Górnym ^‡ zaufanie związany

π_{U} = π : [Pr (X > x | π) = 0.95]

$\pi_\mathrm{U} =\pi: [\Pr(X>x | \pi)=0.95]$ którą obliczysz w każdym przypadku. Załóżmy teraz

π = 0.7

$\pi=0.7$ : trzecia kolumna pokazuje prawdopodobieństwo każdej zaobserwowanej wartości

x

$x$ pod tym przypuszczeniem; czwarty pokazuje, dla których przypadków obliczony przedział ufności obejmuje prawdziwą wartość parametru, oznaczając je znakiem a

1

$1$ . Jeśli zsumujesz prawdopodobieństwa dla przypadków, w których przedział ufności obejmuje prawdziwą wartość, otrzymasz rzeczywistą ochronę,

0.989065

$0.989065$ . Dla różnych prawdziwych wartości

π

$\pi$ , rzeczywisty zasięg będzie inny:

ubezpieczenia

Pokrycie nominalne osiąga się tylko wtedy, gdy prawdziwe wartości parametrów pokrywają się z możliwymi do uzyskania górnymi granicami.

[Właśnie przeczytałem twoje pytanie i zauważyłem, że autor twierdzi, że rzeczywiste może być mniejsze niż nominalne prawdopodobieństwo pokrycia. Sądzę więc, że mówią o przybliżonej metodzie obliczania przedziału ufności, chociaż to, co powiedziałem powyżej, nadal obowiązuje. Wykres może sugerować zgłaszanie średniego poziomu ufności na poziomie około $98\%$ ale - uśrednianie wartości nieznanego parametru?]

† Dokładnie w tym sensie, że rzeczywiste pokrycie nigdy nie jest mniejsze niż pokrycie nominalne dla dowolnej wartości $\pi$ i równe dla niektórych wartości $\pi$ - @ Rozum Unwisdom, nie @ Stephane.

‡ Częstsze są oczywiście interwały z górną i dolną granicą; ale nieco bardziej skomplikowane do wyjaśnienia, i jest tylko jeden dokładny przedział do rozważenia z górną granicą. (Patrz Blaker (2000), „Krzywe ufności i poprawione dokładne przedziały ufności dla dyskretnych rozkładów”, Canadian Journal of Statistics , 28 , 4 i odniesienia).

— Scortchi - Przywróć Monikę
źródło

Dziękuje za odpowiadanie. Teraz, gdy wiem, jakie jest rzeczywiste prawdopodobieństwo pokrycia, czy zgadujesz, dlaczego użytkownik w tym pytaniu został wysłany na pytania wyjaśniające różnicę między przedziałami wiarygodności i pewności? To tutaj wpadłem na pomysł, że rzeczywisty / nominalny prob zasięg. dualność jest powiązana. stats.stackexchange.com/questions/63922/…

— rumtscho

Prawdopodobnie dlatego, że OP podaje jedynie link do miejsca, w którym widział terminy „nominalny” i „rzeczywisty” (zamiast streszczania lub cytowania z niego w pytaniu, tak jak ty), a następnie poświęca resztę swojego pytania błędnej interpretacji ich używać w tym kontekście.

— Scortchi - Przywróć Monikę

2

Myślę, że różnica polega na zastosowaniu przybliżeń dokonanych przy obliczaniu przedziałów ufności. Na przykład, jeśli użyjemy dość standardowego CI z

oszacowanie \pm 1,96 \times szacowany błąd standardowy

$\text{estimate}\pm 1.96 \times \text {estimated standard error}$

Możemy to nazwać „95% przedziałem ufności”. Zazwyczaj jednak dokonuje się tutaj kilku przybliżeń. Jeśli nie dokonamy przybliżeń, możemy obliczyć faktyczny zasięg. Typowa sytuacja nie jest w stanie oszacować błędu standardowego. Wówczas przedziały są zbyt wąskie, aby uchwycić prawdziwą wartość z 95% prawdopodobieństwem. Mogą uchwycić prawdziwą wartość tylko z prawdopodobieństwem 85%. Prawdopodobieństwo „rzeczywistego pokrycia” można obliczyć za pomocą pewnego rodzaju symulacji Monte Carlo (np. Wygenerować $1000$ przykładowe zestawy danych przy użyciu wybranej wartości rzeczywistej, a następnie oblicz 95% CI dla każdego i znajdź to $850$ faktycznie zawiera prawdziwą wartość).

— prawdopodobieństwo prawdopodobieństwa
źródło