Moc eksperymentu z herbatą

W słynnym eksperymencie Fishera obserwowalna jest liczba poprawionych zgadywanych filiżanek$k$ mając dwa rodzaje filiżanek $A$ i $B$. Zwykle interesujące jest obliczenie obszaru krytycznego, aby odrzucić hipotezę zerową (dama losowo zgaduje), biorąc pod uwagę wielkość testu . Można to łatwo zrobić za pomocą rozkładu hipergeometrycznego. W ten sam sposób mogę obliczyć rozmiar testu, biorąc pod uwagę region krytyczny.$\alpha$

Inne pytanie brzmi: jak obliczyć moc testu, biorąc pod uwagę alternatywną hipotezę? Załóżmy na przykład, że dama jest w stanie poprawnie odgadnąć z pojedynczą filiżanką ( ). Jaka jest moc testu, przy założeniu całkowitej liczby filiżanek równej i całkowitej liczby filiżanek jednego rodzaju ? (Niestety) dama zna .$p=90\%$$P(\text{guess} A|\text{true} A)=P(\text{guess } B|\text{true } B)=0.9$$N=8$$n=N/2=4$$n$

Powiedział innymi słowy: co jest dystrybucja (liczba poprawnych pod kubki alternatywnej hipotezy), czy pani wie, że istnieją kubek z jednego rodzaju?$k=$$n$

Alternatywnie dama nie zgaduje losowo, ale „nie losowe zgadywanie” obejmuje nieskończoną liczbę różnych sytuacji. Zawsze może odgadnąć doskonale lub może tylko nieznacznie lepiej niż zgadywanie losowe ... a w ogólnym przypadku nie ma nawet przypadkowej „skali” nieprzypadkowej (więc nie mamy nawet siły krzywej, chyba że ograniczymy rodzaje nieprzypadkowych odpowiedzi, które może udzielić).

Aby więc obliczyć moc, musimy bardzo dokładnie określić , w jaki sposób jest ona nieprzypadkowa (i po prostu jak nieprzypadkowa jest w ten szczególny sposób).

Można przypuszczać, na przykład, że ma wrażenie, jak smakuje każda filiżanka tak, jakby mleko zostało dodane jako pierwsze - wskaźnik „pierwszeństwa mleka”, który jest zmienną losową $(-\infty,\infty)$ ma to inną (wyższą) średnią wartość, gdy mleko jest dodawane jako pierwsze - np. możemy przypuszczać, że jest to normalne lub logistyczne, ze średnią $\mu_0$ i wariancja $\sigma^2=1/\omega^2$ ($\omega^2$ jest znany jako „precyzja”), gdy mleko jest dodawane jako ostatnie i średnie $\mu_1$ i wariancja $\sigma^2$ przy pierwszym dodaniu mleka (w rzeczywistości można założyć prostsze, ale bardziej restrykcyjne domniemanie, powiedzmy: $\mu_1=-\mu_0=1$tak że wszystko jest teraz funkcją jednej zmiennej, precyzji). Tak więc dla każdej podanej wartości tych parametrów moglibyśmy obliczyć prawdopodobieństwo, że wszystkie 8 filiżanek zostanie poprawnie skorygowana (że cztery najmniejsze wartości „pierwszeństwa mleka”, których doświadcza, są związane z czterema filiżankami po drugiej mleczności); jeśli dokładne obliczenia byłyby dla nas zbyt trudne, moglibyśmy symulować je z dowolną pożądaną dokładnością. [W przypadku, gdy zakłada się, że nielosowość jest funkcją tylko jednej zmiennej, mielibyśmy krzywą mocy - wartość mocy dla każdej wartości parametru.]

To jeden szczególny rodzaj modelu, w jaki sposób może ona „lepiej niż losowo”, za pomocą której możemy określić parametry i uzyskać wartość mocy.

Możemy oczywiście założyć wiele innych form nieprzypadkowości niż to.

Rozkład prawidłowej liczby domysłów w ramach alternatywnej hipotezy jest zgodny z niecentralnym rozkładem hipergeometrycznym , który jest parametryzowany pod względem ilorazu szans, to znaczy o ile większe są szanse, że dama zgadnie „najpierw herbata”, gdy w Faktycznie herbata była dodawana jako pierwsza, w przeciwieństwie do tego, kiedy mleko było dodawane jako pierwsze (lub na odwrót). Jeśli iloraz szans wynosi 1, to otrzymujemy centralny rozkład hipergeometryczny.

Zobaczmy, czy to zadziała. Użyję R do celów ilustracyjnych, używając MCMCpackpakietu, który ma funkcję dnoncenhypergeom()obliczania gęstości (niecentralnego) rozkładu hipergeometrycznego. Ma argumenty xdla prawidłowej liczby prób (uważaj: jest to poprawna liczba prób w ramach jednego z dwóch warunków, na przykład, gdy herbata była naprawdę dodaje pierwszy), argumentów n1, n2oraz m1dla trzech z czterech marginesów, a psidla prawdziwy iloraz szans. Obliczmy gęstość dla xrównej od 0 do 4 (przy wszystkich marginesach równych 4), gdy rzeczywisty iloraz szans wynosi 1:

install.packages("MCMCpack")
library(MCMCpack)
sapply(0:4, function(x) dnoncenhypergeom(x, n1=4, n2=4, m1=4, psi=1))

Daje to:

[1] 0.01428571 0.22857143 0.51428571 0.22857143 0.01428571

Istnieje więc 1,43% szansy, że kobieta dokona 8 poprawnych domysłów (tj. Poprawnie zgadnie wszystkie 4 filiżanki, w których herbata została dodana jako pierwsza, a zatem zgadnie wszystkie 4 filiżanki, w których mleko zostało dodane w pierwszej kolejności) zgodnie z hipotezą zerową. Jest to w rzeczywistości ilość dowodów, które Fisher uznał za wystarczające do odrzucenia hipotezy zerowej.

Prawdopodobieństwa określone w pytaniu można wykorzystać do obliczenia ilorazu szans, a mianowicie: $(.90/(1-.90)) / (.10/(1-.10)) = 81$ (to znaczy, $\text{odds}(\text{guess}A|\text{true}A) / \text{odds}(\text{guess}A|\text{true}B)$). Jakie są teraz szanse, że pani poprawnie odgadnie wszystkie 8 filiżanek (tj. Poprawnie odgadnie wszystkie 4 filiżanki, w których herbata została dodana jako pierwsza, a zatem również 4 filiżanki, w których mleko zostało dodane w pierwszej kolejności)?

dnoncenhypergeom(4, n1=4, n2=4, m1=4, psi=81)

Daje to:

[1] 0.8312221

Zatem moc wynosi około 83%.