Czy dynamiczne zwiększanie wielkości próby jest w porządku, jeśli stwierdzono to z góry?

Zaraz zrobię badanie na temat zalet jednego bodźca w porównaniu do drugiego z projektem wewnątrz przedmiotu. Mam schemat permutacji, który ma na celu zmniejszenie efektów porządkowych niektórych części badania (kolejność typów zadań, kolejność bodźców, kolejność zestawów zadań). Schemat permutacji nakazuje podzielność wielkości próby przez 8.

Aby określić wielkość próbki, musiałbym albo zgadywać (co jest dobrą tradycją w mojej dziedzinie), albo obliczyć wielkość próbki dla mojej pożądanej mocy. Problem polega teraz na tym, że nie mam najmniejszego pojęcia, jak duży rozmiar efektu zamierzam zaobserwować (również dobra tradycja w mojej dziedzinie). Oznacza to, że obliczenie mocy jest nieco trudne. Z drugiej strony zgadywanie, może być również złe, ponieważ albo mogę wyjść z zbyt małej próby lub zapłacić zbyt dużo pieniędzy moim uczestnikom i spędzić zbyt dużo czasu w laboratorium.

Czy można z góry stwierdzić, że dodam uczestników w grupach po 8 osób, dopóki nie opuszczę korytarza dwóch wartości p? Np. 0,05 <p <0,30? Albo jak inaczej, poleciłbyś, czy powinienem kontynuować?

Po pierwsze, odpowiedz bezpośrednio na pytanie: nie, nie możesz tak po prostu iść, dopóki nie uzyskasz znaczącej wartości p. Proponowany projekt ma wskaźnik błędów typu I powyżej 5%. Jednak podstawowa idea jest poprawna, z tym wyjątkiem, że musisz dostosować wartości odcięcia. W rzeczywistości, jak wspomniano w komentarzach @cardinal, istnieje całe pole badań dla twojego pytania: są one nazywane sekwencyjnymi, grupowo-sekwencyjnymi lub bardziej ogólnie projektami adaptacyjnymi (nie są to te same rzeczy, ale cały czas linie Twojego pomysłu).

Oto odniesienie, które demonstruje niektóre z podstawowych pomysłów: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Optimization Trial Design: Sequential, Adaptive, and Enrichment Strategies Circulation. 2009; 119: 597-605

Czy zastanawiałeś się nad spojrzeniem na moc w różnych rozmiarach efektów? Na przykład często obliczam moc jako krzywą i kończę na niezliczonych potencjalnych scenariuszach wypalonych na wykresie, na których mogę następnie podjąć decyzję dotyczącą wielkości próby. Na przykład, mógłbym obliczyć potrzebną wielkość próby dla mierników efektów, od bardzo zbliżonych do zerowych, do nieco wyższych niż moje najśmielsze marzenia o przepływie przez przegląd.

Mogę również wykreślić inne scenariusze, w zależności od tego, ile nie wiem o danych. Na przykład poniżej znajduje się wykres, który oblicza moc, a nie wielkość próbki, ale ma podobną koncepcję. Wiem bardzo mało o danych, więc założyłem 10% częstość zdarzeń dla analizy przeżycia, a następnie obliczyłem moc badania (ustalono wielkość próby) w wielu warunkach:

W tym przypadku można nawet różnicować liczbę zdarzeń, co oznaczałoby wiele wykresów lub „Power Surface”. To wydaje się być o wiele szybszym sposobem, aby uzyskać kontrolę co najmniej tam, gdzie powinieneś szukać wielkości próbki, zamiast modyfikować wielkość próbki w locie. Lub przynajmniej dać próg, w którym możesz przestać dodawać ludzi. Na przykład, jeśli twoje obliczenia wskazują, że 1000 osób pozwoli ci zobaczyć efekt czegoś bardzo małego - na przykład współczynnika ryzyka wynoszącego 1,01 lub podobnego - wiesz, że jeśli trafisz, możesz przestać próbować dodawać ludzi, ponieważ nie jest to problem z zasilaniem, ale problem „nie ma tam nic”.

Podczas wykonywania obliczeń mocy pytanie, które zwykle zadaję (w mojej dziedzinie, która ma również te tradycje), brzmi: „Jak duży musiałby być efekt, aby ludzie się przejmowali?”. Jeśli Twoja metoda jest „znacznie” lepsza z poprawą o 0,1%, czy ktokolwiek się tym przejmuje? Co powiesz na poprawę o 0,01%?