Przedział ufności i niepewność wartości P dla testu permutacji

Uczę się teraz testów losowych. Przychodzą mi na myśl dwa pytania:

1. Tak, to łatwe i intuicyjne, w jaki sposób obliczana jest wartość p za pomocą testu randomizacji (który moim zdaniem jest taki sam jak test permutacji?). Jak jednak możemy wygenerować 95% przedział ufności, tak jak w przypadku normalnych testów parametrycznych?

2. Gdy czytam dokument z University of Washington na temat testów permutacyjnych , na stronie 13 znajduje się zdanie, które mówi:

   Przy 1000 permutacji .... niepewność w pobliżu p = 0,05 wynosi około $\pm 1\%$ .

   Zastanawiam się, skąd ta niepewność.

Jak jednak możemy wygenerować 95% przedział ufności, tak jak w przypadku normalnych testów parametrycznych?

$^\dagger$$\delta$$\delta$$\alpha$$1-\alpha$

$\dagger$

Gelman zawiera omówienie dlaczego czasami może być problematyczne powszechnie uważają ich przedziały ufności tutaj .

Jednak nie jest trudno zbadać zasięg według określonych zestawów założeń (poprzez symulację) i nie brakuje osób nazywających interwały ładowania początkowego „przedziałami ufności” (nawet jeśli czasami nie mają nic podobnego do deklarowanego zasięgu).

Więcej szczegółów na temat tego, jak to zrobić w dwóch przykładowych przypadkach różnicy w środkach, omówiono w [3], gdzie są one nazywane przedziałami ufności randomizacji i pojawia się twierdzenie, kiedy są dokładne (które twierdzą, że nie mam „ próbowałem ocenić).

Przy 1000 permutacji .... niepewność w pobliżu p = 0,05 wynosi około ± 1%.

Zastanawiam się, skąd ta niepewność?

$\sqrt{\frac{p(1-p)}{n}}$

$p = 0.05$$n=1000$$0.0069$$90\%$$\pm 1.13\%$$\pm 1\%$$1.45$$85\%$

Więc przynajmniej w przybliżeniu możesz powiedzieć, że niepewność to „około 1%”

-

[1] Kempthorne and Folks (1971),
Prawdopodobieństwo, statystyki i analiza danych ,
Iowa State University Press

[2] LaMotte LR i Volaufová J, (1999),
„Prediction Intervals via Consonance Intervals”,
Journal of Royal Statistics Society. Seria D (The Statistician) , tom. 48, nr 3, str. 419–424

[3] Ernst, MD (2004),
„Metody permutacji: podstawa dokładnego wnioskowania”, Statistics Science , tom. 19, nr 4, 676–685