Masz rację, ponieważ wielkość próbki wpływa na moc (tj. Błąd 1 - typ II), ale nie błąd typu I. Powszechnym nieporozumieniem jest to, że wartość p jako taka (poprawnie interpretowana) jest mniej wiarygodna lub ważna, gdy wielkość próbki jest niewielka - bardzo zabawny artykuł Fristona 2012 ma zabawne podejście do tego [1].
To powiedziawszy, problemy z badaniami o niskiej mocy są prawdziwe, a cytat jest w dużej mierze poprawny, powiedziałbym, tylko trochę nieprecyzyjny w swoim brzmieniu.
Podstawowym problemem związanym z badaniami o niskiej mocy jest to, że chociaż współczynnik wyników fałszywie dodatnich (błąd typu I) w testach hipotetycznych jest stały, to odsetek wyników dodatnich (mocy) spada. Stąd wynik dodatni (= znaczący) jest mniej prawdopodobny w badaniu słabym. Ta idea wyraża się w odsetku fałszywych odkryć [2], patrz także [3]. Wydaje się, że odnosi się to do cytatu.
Dodatkowym często wymienianym problemem dotyczącym słabszych badań jest to, że prowadzą one do zawyżonych rozmiarów efektów. Powodem jest to, że a) przy niższej mocy twoje szacunki prawdziwych efektów staną się bardziej zmienne (stochastyczne) wokół ich prawdziwej wartości, i b) tylko najsilniejszy z tych efektów przejdzie przez filtr istotności, gdy moc jest niska. Należy jednak dodać, że jest to problem zgłaszania, który można łatwo rozwiązać, omawiając i zgłaszając wszystkie, a nie tylko znaczące skutki.
Wreszcie ważną kwestią praktyczną w przypadku słabych badań jest to, że niska moc zwiększa problemy statystyczne (np. Stronniczość estymatorów), a także pokusę zabawy ze zmiennymi i podobnymi taktykami hakowania p. Korzystanie z tych „stopni swobody badacza” jest najbardziej skuteczne, gdy moc jest niska, a TO może mimo wszystko zwiększyć błąd typu I, patrz np. [4].
Z tych wszystkich powodów byłbym zatem sceptycznie nastawiony do słabych badań.
[1] Friston, K. (2012) Dziesięć ironicznych zasad dla nie-statystycznych recenzentów. NeuroImage, 61, 1300-1310.
[2] https://en.wikipedia.org/wiki/False_discovery_rate
[3] Przycisk, KS; Ioannidis, JPA; Mokrysz, C .; Nosek, BA; Flint, J .; Robinson, ESJ & Munafo, MR (2013) Awaria zasilania: dlaczego mała wielkość próby podważa niezawodność neurobiologii. Nat. Rev. Neurosci., 14, 365-376
[4] Simmons, JP; Nelson, LD i Simonsohn, U. (2011) Psychologia fałszywie dodatnia: nieujawniona elastyczność w gromadzeniu i analizie danych pozwala prezentować wszystko jako znaczące. Psychol Sci., 22, 1359-1366.