Ostatnio znalazłem w artykule Klammera i in. stwierdzenie, że wartości p powinny być równomiernie rozłożone. Wierzę autorom, ale nie mogę zrozumieć, dlaczego tak jest.

Klammer, AA, Park, CY i Stafford Noble, W. (2009) Kalibracja statystyczna funkcji SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106–2113.

Wyjaśnić trochę. Wartość p rozkłada się równomiernie, gdy hipoteza zerowa jest prawdziwa i spełnione są wszystkie inne założenia. Powodem tego jest tak naprawdę definicja alfa jako prawdopodobieństwa błędu typu I. Chcemy, aby prawdopodobieństwo odrzucenia prawdziwej hipotezy zerowej było alfa, odrzucamy, gdy zaobserwowany , jedynym sposobem, w jaki dzieje się to dla dowolnej wartości alfa, jest to, gdy wartość p pochodzi z jednolitego dystrybucja. Cały sens stosowania prawidłowego rozkładu (normalny, t, f, chisq itp.) Polega na przekształceniu ze statystyki testowej w jednolitą wartość p. Jeśli hipoteza zerowa jest fałszywa, wówczas rozkład wartości p będzie (mam nadzieję) większy w stosunku do 0.$\text{p-value} < \alpha$

Funkcje Pvalue.norm.simi Pvalue.binom.simw pakiecie TeachingDemos dla R symulują kilka zestawów danych, obliczają wartości p i wykreślają je, aby zademonstrować ten pomysł.

Zobacz także:

Murdoch, D, Tsai, Y i Adcock, J (2008). Wartości P są zmiennymi losowymi. The American Statistician , 62 , 242-245.

po więcej szczegółów.

Edytować:

Ponieważ ludzie wciąż czytają tę odpowiedź i komentują, pomyślałem, że odniosę się do komentarza @ whuber.

Prawdą jest, że przy zastosowaniu złożonej hipotezy zerowej, takiej jak , wartości p będą rozkładane równomiernie tylko wtedy, gdy 2 średnie są dokładnie równe i nie będą jednolite, jeśli jest dowolną wartością, która jest mniejsza niż . Można to łatwo zauważyć za pomocą funkcji i ustawienia jej na wykonanie jednostronnego testu oraz symulacji za pomocą symulacji i hipotetycznych środków różnych (ale w kierunku, aby wartość null była prawdziwa).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

Jeśli chodzi o teorię statystyczną, nie ma to znaczenia. Zastanów się, czy twierdziłem, że jestem wyższy niż każdy członek twojej rodziny, jednym ze sposobów sprawdzenia tego twierdzenia byłoby porównanie mojego wzrostu z wzrostem każdego członka twojej rodziny pojedynczo. Inną opcją byłoby znalezienie członka rodziny, który jest najwyższy, i porównanie ich wzrostu z moim. Jeśli jestem wyższy od tej jednej osoby, to jestem również wyższy od reszty i moje twierdzenie jest prawdziwe, jeśli nie jestem wyższy od tej jednej osoby, moje twierdzenie jest fałszywe. Testowanie złożonego null może być postrzegane jako podobny proces, zamiast testowania wszystkich możliwych kombinacji, w których możemy przetestować tylko część równości, ponieważ jeśli możemy odrzucić, że na korzyśćμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$wtedy wiemy, że możemy również odrzucić wszystkie możliwości . Jeśli spojrzymy na rozkład wartości p dla przypadków, w których to rozkład nie będzie idealnie jednolity, ale będzie miał więcej wartości bliższych 1 niż 0, co oznacza, że ​​prawdopodobieństwo błędu typu I będzie mniejsze niż wybrana wartość czyni ją testem zachowawczym. Mundur staje się rozkładem granicznym, gdy zbliża się do$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(ludzie, którzy są bardziej aktualni w kategoriach statystyki statystycznej, prawdopodobnie mogliby to stwierdzić lepiej, jeśli chodzi o supremum dystrybucyjne lub coś w tym rodzaju). Konstruując nasz test, zakładając równą część wartości zerowej, nawet gdy wartość zerowa jest złożona, projektujemy nasz test, aby prawdopodobieństwo wystąpienia błędu typu I było co najwyżej w każdych warunkach, w których wartość null jest prawdziwa.$\alpha$

Zgodnie z hipotezą zerową, twoja statystyka testowa ma rozkład (np. Standardowa normalna). Pokazujemy, że wartość p ma rozkład prawdopodobieństwa innymi słowy, jest rozłożone równomiernie. Dzieje się tak, dopóki jest odwracalny, a niezbędnym warunkiem jest to, że nie jest dyskretną zmienną losową.$T$$F(t)$$P=F(T)$

Ten wynik jest ogólny: rozkład odwracalnego CDF zmiennej losowej jest równomierny dla .$[0,1]$

Niech oznacza zmienną losową z funkcją rozkładu skumulowanego dla wszystkich . Zakładając, że jest odwracalna, możemy wyprowadzić rozkład losowej wartości w następujący sposób:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

z którego możemy wnioskować, że rozkład jest równomierny na .$P$$[0,1]$

Ta odpowiedź jest podobna do odpowiedzi Charliego, ale unika konieczności definiowania .$t = F^{-1}(p)$

Prosta symulacja rozkładu wartości p w przypadku regresji liniowej między dwiema zmiennymi niezależnymi:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Nie sądzę, że większość z tych odpowiedzi w ogóle odpowiada na pytanie. Są one ograniczone do przypadku, gdy istnieje prosta hipoteza zerowa i gdy statystyka testowa ma odwracalny CDF (jak w ciągłej zmiennej losowej, która ma ściśle rosnący CDF). Te przypadki są przypadkami, którymi większość ludzi się przejmuje testem Z i testem t, chociaż do testowania średniej dwumianowej (na przykład) nie ma takiego CDF. To, co podano powyżej, wydaje mi się słuszne w tych ograniczonych przypadkach.

Jeśli hipotezy zerowe są złożone, rzeczy są nieco bardziej skomplikowane. Najbardziej ogólny dowód tego faktu, jaki widziałem w złożonej sprawie przy użyciu pewnych założeń dotyczących regionów odrzucenia, znajduje się w „Testing Statisitical Hypotheses” Lehmanna i Romano, str. 63-64. Spróbuję odtworzyć poniższy argument ...

Testujemy hipotezy zerowej kontra alternatywnej hipotezy oparciu o statystykę testową, którą będziemy oznaczać jako zmiennej losowej . Zakłada się, że statystyki testowe pochodzą z pewnej klasy parametrycznej, tj. , gdzie jest elementem rodziny rozkładów prawdopodobieństwa , a to przestrzeń parametrów. Hipoteza i hipoteza alternatywna tworzą partycję w tym $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Wynik testu może być oznaczony gdzie dla dowolnego zestawu definiujemy Tutaj jest naszym poziomem istotności, a oznacza region odrzucenia testu dla poziomu istotności .

Załóżmy, że regiony odrzucające spełniają jeśli . W tym przypadku zagnieżdżonych regionów odrzucania przydatne jest określenie nie tylko tego, czy hipoteza zerowa jest odrzucana na danym poziomie istotności , ale także określenie najmniejszego poziomu istotności, dla którego hipoteza zerowa zostałaby odrzucona. Ten poziom jest znany jako wartość p , ta liczba daje nam wyobrażenie o jak silne dane (przedstawione przez statystykę testową ) są sprzeczne z hipotezą zerową .

Załóżmy, że dla niektórych i że . Załóżmy dodatkowo, że regiony odrzucające zgodne z powyższą właściwością zagnieżdżania. Następnie następujące pozycje:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Jeśli dla wszystkich , to dla , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Jeśli dla mamy dla wszystkich , to dla mamy $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Zauważ, że ta pierwsza właściwość mówi nam tylko, że współczynnik fałszywie dodatnich jest kontrolowany , odrzucając, gdy wartość p jest mniejsza niż , a druga właściwość mówi nam (przy dodatkowym założeniu), że wartości p są równomiernie rozmieszczone pod wartością zerową hipoteza.$u$$u$

Dowód jest następujący:

1. Niech i załóżmy dla wszystkich . Następnie z definicji mamy dla wszystkich . Z monotoniczności i założenia wynika, że dla wszystkich . Pozwalając , wynika z tego, że .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Niech i załóżmy, że dla wszystkich . Następnie , a przez monotoniczność wynika, że . Biorąc pod uwagę (1), wynika z tego, że . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Zauważ, że założenie w (2) nie obowiązuje, gdy statystyka testowa jest dyskretna, nawet jeśli hipoteza zerowa jest prosta, a nie złożona. Weźmy na przykład z i . Tzn. Rzuć monetą dziesięć razy i sprawdź, czy jest sprawiedliwa w stosunku do stronniczości (zakodowana jako 1). Prawdopodobieństwo zobaczenia 10 głów w 10 uczciwych rzutach monetą wynosi (1/2) ^ 10 = 1/1024. Prawdopodobieństwo zobaczenia 9 lub 10 głów w 10 uczciwych rzutach monetą wynosi 11/1024. Dla każdego ściśle między 1/1024 a 11/1024 odrzuciłbyś null, jeśli , ale nie mamy tego dla tych wartości kiedy$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Zamiast tego dla takiego . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Jeśli wartości p są równomiernie rozłożone w ramach H0, oznacza to, że równie prawdopodobne jest zobaczenie wartości p 0,05 jako wartości p 0,80, ale nie jest to prawdą, ponieważ rzadziej obserwuje się wartość p- wartość 0,05 niż wartość p 0,80, ponieważ jest to dokładnie definicja rozkładu normalnego, z którego wzięta jest wartość p. Z definicji będzie więcej próbek mieszczących się w zakresie normalności niż poza nim. Dlatego bardziej prawdopodobne jest znalezienie większych wartości p niż mniejszych.