Dlaczego nie używamy rozkładu t do konstruowania przedziału ufności dla proporcji?

Aby obliczyć przedział ufności (CI) dla średniej z nieznanym odchyleniem standardowym populacji (sd), szacujemy odchylenie standardowe populacji, stosując rozkład t. W szczególności gdzie . Ponieważ jednak nie mamy oszacowania punktowego odchylenia standardowego populacji, szacujemy poprzez przybliżenie gdzie$CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X}$$\sigma_{\bar X} = \frac{\sigma}{\sqrt n}$$CI=\bar{X} \pm t_{95\% }(se)$$se = \frac{s}{\sqrt n}$

Natomiast w przypadku proporcji populacji, aby obliczyć CI, przybliżamy jako gdzie dostarczył i$CI = \hat{p} \pm Z_{95\% }(se)$$se = \sqrt\frac{\hat{p}(1-\hat{p})}{n}$$n \hat{p} \ge 15$$n(1-\hat{p}) \ge 15$

Moje pytanie brzmi: dlaczego popieramy standardowy rozkład proporcji populacji?

Zarówno standardowy rozkład normalny, jak i rozkład t Studenta są raczej słabymi przybliżeniami rozkładu

dla małego $n,$ tak słabego, że błąd zmniejsza różnice między tymi dwoma rozkładami.

O to porównanie trzech rozkładzie (z pominięciem przypadki P lub 1 - p są równe zero, w których stosunek jest nieokreślona) dla n = 10 , p = 1 / 2 :$\hat p$$1-\hat p$$n=10, p=1/2:$

"Empiryczną" dystrybucyjna jest $Z,$ która musi być dyskretna ponieważ szacuje P są ograniczone do skończonego zbioru { 0 , 1 / n , 2 / n , ... , n / N } .$\hat p$$\{0, 1/n, 2/n, \ldots, n/n\}.$

$t$ dystrybucja wydaje się zrobić lepszą pracę zbliżenia.

Dla $n=30$ oraz $p=1/2,$ można zauważyć różnicę pomiędzy rozkładu normalnego i t Studenta rozkładu jest całkowicie pomijalne:

Ponieważ rozkład t Studenta jest bardziej skomplikowany niż standardowa Normalna (to tak naprawdę cała rodzina rozkładów indeksowana według „stopni swobody”, poprzednio wymagających całych rozdziałów tabel, a nie pojedynczej strony), standardowa Normalna jest używana dla prawie wszystkich przybliżenia.

Uzasadnienie zastosowania rozkładu t w przedziale ufności dla średniej opiera się na założeniu, że podstawowe dane są zgodne z rozkładem normalnym, co prowadzi do rozkładu chi-kwadrat przy szacowaniu odchylenia standardowego, a zatem $\frac{\bar{x}-\mu}{s/ \sqrt{n}} \sim t_{n-1}$. Jest to dokładny wynik przy założeniu, że dane są dokładnie normalne, co prowadzi do przedziałów ufności z dokładnie 95% pokryciem przy zastosowaniu$t$, i mniej niż 95% pokryciem przy zastosowaniu$z$.

W przypadku odstępach Wald proporcje, można dostać tylko asymptotycznej normalności dla p - p$\frac{\hat{p}- p}{\sqrt{ \hat{p}(1-\hat{p} )/n}}$, gdy n jest wystarczająco duże, co zależy od s. Rzeczywiste prawdopodobieństwo pokrycia procedury, ponieważ leżące u podstaw liczby sukcesów są dyskretne, jest czasami niższe, a czasem wyższe niż nominalne prawdopodobieństwo pokrycia 95% w zależności od nieznanego$p$. Tak więc nie ma teoretycznego uzasadnienia dla użycia$t$, i nie ma gwarancji, że z praktycznego punktu widzenia użycie$t$tylko w celu poszerzenia przedziałów faktycznie pomogłoby osiągnąć nominalny zasięg 95%.

Prawdopodobieństwo pokrycia można dokładnie obliczyć, choć jego symulacja jest dość prosta. Poniższy przykład pokazuje symulowane prawdopodobieństwo pokrycia, gdy n = 35. Pokazuje to, że prawdopodobieństwo pokrycia przy użyciu przedziału z jest na ogół nieco mniejsze niż 0,95, podczas gdy prawdopodobieństwo pokrycia dla przedziału t może być ogólnie nieco mniejsze średnio 0,95, w zależności od twoich wcześniejszych przekonań na temat prawdopodobnych wartości p .

Zarówno AdamO, jak i jsk dają świetną odpowiedź.

Chciałbym powtórzyć ich uwagi zwykłym angielskim:

Kiedy rozkład podstawowy jest normalny, wiesz, że istnieją dwa parametry: średnia i wariancja . Rozkład T oferuje sposób wnioskowania na podstawie średniej bez znajomości dokładnej wartości wariancji. Zamiast użycia rzeczywistych wariancji, tylko przykładowe środki i przykładowe wariancje są potrzebne. Ponieważ jest to dokładna dystrybucja, wiesz dokładnie, co otrzymujesz. Innymi słowy, prawdopodobieństwo pokrycia jest prawidłowe. Użycie t po prostu odzwierciedla chęć obejścia nieznanej wariancji populacyjnej.

Kiedy jednak wnioskujemy na podstawie proporcji, rozkład leżący u podstaw jest dwumianowy. Aby uzyskać dokładny rozkład, musisz spojrzeć na przedziały ufności Cloppera-Pearsona. Podana formuła jest formułą przedziału ufności Walda. Wykorzystuje rozkład normalny do przybliżenia rozkładu dwumianowego, ponieważ rozkład normalny jest rozkładem granicznym rozkładu dwumianowego. W tym przypadku, ponieważ jest to tylko przybliżenie, dodatkowy poziom precyzji przy użyciu statystyki t staje się zbędny, wszystko sprowadza się do wydajności empirycznej. Jak sugeruje odpowiedź BruceET, Agresti-Coull jest obecnie prostą i standardową formułą pozwalającą na takie zbliżenie.

Mój profesor dr Longnecker z Teksasu A&M wykonał prostą symulację, aby zilustrować działanie różnych aproksymacji w porównaniu do CI opartego na dwumianowym.

Więcej informacji można znaleźć w artykule Oszacowanie przedziału dla dwumianowej proporcji w nauce , tom. 16, str. 101–133 przez L. Browna, T. Cai i A. DasGupta. Zasadniczo zaleca się AC CI dla n> = 40.

$X_1, X_2, \dots X_n$$\mu$$\sigma$$H_0:\mu = \mu_0$$H_a: \mu \ne \mu_0$$Z = \frac{\bar X - \mu_0}{\sigma/\sqrt{n}}.$Gdy$H_0$jest prawdziwe,$Z \sim \mathsf{Norm}(0,1),$więc odrzucamy$H_0$na poziomie 5%, jeśli$|Z| \ge 1.96.$

Następnie „odwracając test”, mówimy, że 95% CI dla $\mu$ składa się z wartości $\mu_0$ , które nie prowadzą do odrzucenia - „wiarygodne” wartości $\mu.$CI ma postać $\bar X \pm 1.96\sigma/\sqrt{n},$gdzie$\pm 1.96$prawdopodobieństwo odcięcia 0,025 odpowiednio od górnej i dolnej części ogona standardowego rozkładu normalnego.

Jeżeli odchylenie standardowe populacji $\sigma$ jest nieznane i oszacowane przez próbne odchylenie standardowe $S,$ wówczas używamy statystyki $T=\frac{\bar X - \mu_0}{S/\sqrt{n}}.$$T$$n$$S$$\sigma.$

$T \sim \mathsf{T}(\nu = n-1),$$n-1$$\sigma$$\bar X \pm t^*S/\sqrt{n},$$\pm t^*$$\mathsf{T}(n-1).$

$n > 30,$$t^* \approx 2 \approx 1.96.$$S$$\sigma$$\sigma$$n > 30,$

$X$$n$$\hat p =X/n$$p.$$H_0:p = p_0$$H_a: p \ne p>0,$$Z = \frac{\hat p - p_0}{\sqrt{p_0(1-p_0)/n}}.$ Under $H_0,$ we know that $Z \stackrel{aprx}{\sim} \mathsf{Norm}(0,1).$ So we reject $H_0$ if $|Z| \ge 1.96.$

If we seek to invert this test to get a 95% CI for $p,$ we run into some difficulties. The 'easy' way to invert the test is to start by writing $\hat p \pm 1.96\sqrt{\frac{p(1-p)}{n}}.$ But his is useless because the value of $p$ under the square root is unknown. The traditional Wald CI assumes that, for sufficiently large $n,$ it is OK to substitute $\hat p$ for unknown $p.$ Thus the Wald CI is of the form $\hat p \pm 1.96\sqrt{\frac{\hat p(1-\hat p)}{n}}.$ [Unfortunately, the Wald interval works well only if the number of trials $n$ is at least several hundred.]

More carefully, one can solve a somewhat messy quadratic inequality to 'invert the test'. The result is the Wilson interval. (See Wikipedia.) For a 95% confidence interval a somewhat simplified version of this result comes from defining $\check n = n+4$ and $\check p = (X+2)/\check n$ and then computing the interval as $\check p \pm 1.96\sqrt{\frac{\check p(1-\check p)}{\check n}}.$ This style of binomial confidence interval is widely known as the Agresti-Coull interval; it has been widely advocated in elementary textbooks for about the last 20 years.

In summary, one way to look at your question is that CIs for normal $\mu$ and binomial $p$ can be viewed as inversions of tests.

(a) The t distribution provides an exact solution to the problem of needing to use $S$ for $\sigma$ when $\sigma$ is unknown.

(b) Using $\hat p$ for $p$ requires some care because the mean and variance of $\hat p$ both depend on $p.$ The Agresti-Coull CI provides one serviceable way to get CIs for binomial $p$ that are reasonably accurate even for moderately small $n.$

Note your use of the $\sigma$ notation which means the (known) population standard deviation.

The T-distribution arose as an answer to the question: what happens when you don't know $\sigma$?

He noted that, when you cheat by estimating $\sigma$ from the sample as a plug-in estimator, your CIs are on average too narrow. This necessitated the T-distribution.

Conversely, if you use the T distribution when you actually do know $\sigma$, your confidence intervals will on average be too wide.

Also, it should be noted that this question mirrors the answer solicited by this question.