Nierówne rozmiary próbek: kiedy to nazwać, kończy się

Przeglądam artykuł w czasopiśmie akademickim, a autorzy napisali następujące uzasadnienie dla nieprzekazywania żadnych wnioskowania statystycznego (zidentyfikowałem charakter obu grup):

W sumie, 25 2349 (1,1%) respondentów X . Właściwie powstrzymujemy się od przedstawiania analiz, które statystycznie porównują grupę X do grupy Y (pozostałych 2324 uczestników), ponieważ wyniki te mogą być silnie napędzane przypadkiem, a wynik jest tak rzadki.

Moje pytanie: czy autorzy tego badania są uzasadnieni, rzucając ręcznikiem w stosunku do grup porównawczych? Jeśli nie, co mogę im polecić?

Testy statystyczne nie zakładają wielkości próby. Istnieją oczywiście różne założenia dla różnych testów (np. Normalność), ale równość wielkości próbek nie jest jednym z nich. O ile zastosowany test nie jest nieodpowiedni w inny sposób (nie mogę teraz wymyślić problemu), na poziom błędu typu I nie będą miały wpływu drastycznie nierówne rozmiary grup. Co więcej, ich sformułowanie sugeruje (moim zdaniem), że wierzą, że tak będzie. Dlatego są zdezorientowani w tych kwestiach.

Z drugiej strony, typ II poziom błędu bardzo będzie mieć wpływ bardzo nierówny s. To będzie prawdziwa bez względu na testy (np t -test, Manna-Whitneya U -test lub z -test równości proporcji będzie wszystko wpływa w ten sposób). Przykład tego znajduje się w mojej odpowiedzi tutaj: Jak interpretować porównanie średnich z różnych wielkości próby? Dlatego mogą być „usprawiedliwieni w rzucaniu ręcznikiem” w związku z tym problemem. (W szczególności, jeśli oczekujesz nieistotnego wyniku, niezależnie od tego, czy efekt jest prawdziwy, czy nie, jaki jest sens testu?) $n$$t$$U$$z$

W miarę różnic wielkości próbek moc statystyczna zbiegnie się do . Fakt ten faktycznie prowadzi do innej sugestii, o której podejrzewam, że niewiele osób kiedykolwiek słyszało i prawdopodobnie miałby problemy z obejściem poprzednich recenzentów (bez zamierzonego przestępstwa): analiza siły kompromisu . Pomysł jest stosunkowo prosty: w każdej analizie mocy α , β , n 1 , n 2 i wielkość efektu d istnieją w stosunku do siebie. Po określeniu wszystkich oprócz jednego możesz rozwiązać ostatnie. Zazwyczaj ludzie robią tak zwaną analizę mocy a priori , w której rozwiązujesz dla $\alpha$$\alpha$$\beta$$n_1$$n_2$$d$$N$(ogólnie zakładasz, że ). Z drugiej strony, można naprawić n 1 , n 2 , a d i rozwiązać za alfa (lub równoważnie β ), jeśli określenie współczynnika typu I do II SPRAWDŹ Błąd rodzaju, że jesteś gotów żyć. Konwencjonalnie, α = 0,05 i β = 0,20 , więc mówisz, że błędy typu I są cztery razy gorsze niż błędy typu I. Oczywiście, dany badacz może się z tym nie zgodzić, ale po określeniu określonego stosunku możesz rozwiązać dla czego $n_1=n_2$$n_1$$n_2$$d$$\alpha$$\beta$$\alpha=.05$$\beta=.20$$\alpha$powinieneś używać, aby ewentualnie utrzymać odpowiednią moc. To podejście jest logicznie uzasadnioną opcją dla badaczy w tej sytuacji, chociaż zdaję sobie sprawę z egzotyki tego podejścia, która może sprawić, że będzie to trudna sprzedaż w większej społeczności badawczej, która prawdopodobnie nigdy nie słyszała o takiej rzeczy.

Chociaż odpowiedź z @gung jest doskonała, myślę, że jest jedna ważna kwestia, którą należy wziąć pod uwagę, patrząc na bardzo różne wielkości grup. Zasadniczo, dopóki wszystkie wymagania testu są spełnione, różnica wielkości grup nie jest istotna.

Jednak w niektórych przypadkach różna wielkość grupy będzie miała dramatyczny wpływ na odporność testu na naruszenie tych założeń. Na przykład klasyczny niesparowany test t dla dwóch prób zakłada homongencyjność wariancji i jest odporny na naruszenia tylko wtedy, gdy obie grupy są podobnej wielkości (rzędu wielkości). W przeciwnym razie większa wariancja w mniejszej grupie doprowadzi do błędów typu I. Teraz z testem t nie stanowi to większego problemu, ponieważ zwykle zamiast niego stosuje się test t-Welcha i nie zakłada on jednorodności wariancji. Podobne efekty mogą jednak wystąpić w modelach liniowych.

Podsumowując, powiedziałbym, że nie jest to w żaden sposób przeszkodą w analizie statystycznej, ale należy o tym pamiętać przy podejmowaniu decyzji o dalszym postępowaniu.