ANOVA: testowanie założenia normalności dla wielu grup z niewielką liczbą próbek na grupę

Załóżmy następującą sytuację:

mamy dużą liczbę (np. 20) z małą wielkością grupy (np. n = 3). Zauważyłem, że jeśli wygeneruję wartości z rozkładu jednorodnego, reszty będą wyglądać w przybliżeniu normalnie, mimo że rozkład błędu jest jednolity. Poniższy kod R demonstruje to zachowanie:

n.group = 200
n.per.group = 3

x <- runif(n.group * n.per.group)
gr <- as.factor(rep(1:n.group, each = n.per.group))
means <- tapply(x, gr, mean)
x.res <- x - means[gr]
hist(x.res)

Jeśli spojrzę na resztkę próbki w grupie trzyosobowej, powód takiego zachowania jest jasny:

$r_1 = x_1 - \text{mean}(x1, x2, x3) = x1 - \frac{x_1+x_2+x_3}{3}=\frac{2}{3}x_1 - x_2 - x_3.$

wprowadź opis zdjęcia tutaj

Ponieważ jest sumą zmiennych losowych o nie różniącym się w przybliżeniu standardowym odchyleniu, jego rozkład jest nieco bliższy rozkładowi normalnemu niż poszczególnym warunkom. $r_1$

Załóżmy teraz, że mam taką samą sytuację z danymi rzeczywistymi zamiast danych symulowanych. Chcę ocenić, czy istnieją założenia ANOVA dotyczące normalności. Większość zalecanych procedur zaleca kontrolę wzrokową pozostałości (np. Wykres QQ) lub test normalności na pozostałościach. Jak w powyższym przykładzie nie jest to optymalne rozwiązanie dla małych grup.

Czy jest lepsza alternatywa, gdy mam wiele grup małych rozmiarów?

anova normal-distribution small-sample

— Erik
źródło

Z kilku powodów wydaje się, że nie stanowi to problemu. Po pierwsze, twoje reszty będą wyglądały jednolicie: spójrz na histogram dla ogromnej liczby grup, aby to zobaczyć. Po drugie, normalność reszt ma niewielkie znaczenie dla większości analiz; liczy się przybliżona normalność rozkładów próbkowania. Jaki szczególny aspekt Twojej aplikacji powoduje, że możesz przypuszczać, że istnieje jakiś prawdziwy problem?

— whuber

a) moje resztki nie będą wyglądały jednolicie. Przetestowałem to dla wielu grup (nie próbek na grupę) od 20 do 20000. Podałem przykład do pytania; wygląda na coś pomiędzy jednolitym a normalnym, z wyraźną tendencją do normalności. b) Wiem, że chodzi o przybliżoną normalność rozkładu próbkowania. To jest cały punkt pytania, ponieważ reszty będą wyglądały normalnie, ale rozkład próbkowania nie jest. Nie mogę więc użyć reszt do przetestowania właściwości rozkładu próbkowania.

— Erik

To jest poprawne. Ale czy naprawdę interesuje Cię dystrybucja błędów, czy jesteś zainteresowany przeprowadzeniem ANOVA? (Nie próbuję sugerować, że pytanie należy zignorować - to fascynująca kwestia, którą poruszyłeś - ale zastanawiam się tylko, czy naprawdę potrzebujesz odpowiedzi, aby kontynuować analizę danych.)

— whuber

Ale możesz użyć tych samych symulacji, aby zbadać odporność ANOVA w twoim przypadku!

— kjetil b halvorsen

Jeden nieco styczny, ale istotny komentarz: Ogólnie rzecz biorąc, zastosowanie testu normalności (lub innego założenia modelu) przed wykonaniem testu hipotez przedstawia (przynajmniej) trzy problemy: 1) Jeśli to zrobisz, musisz wziąć pod uwagę wiele testów; 2) Odrzucenie alternatywnej hipotezy, np. „Nienormalna”, nie oznacza, że można wnioskować o normalności; 3) Testy dla założeń modelu mają swoje własne założenia, więc gdzie się zatrzymać?

— Martha

Praca nad tą odpowiedzią, jeszcze nie do końca. Mam wgląd w to, ale wyjaśnienie zajmuje trochę czasu. W tym celu rozważmy, że odchylenie standardowe jest tendencyjne dla małych liczb. Powodem tego jest to, że jeśli weźmiemy dowolne dwie liczby , arbitralnie przypiszemy średnią próbną do , gdzie średnia populacji, , może równie dobrze znajdować się w dowolnym miejscu na odstęp między lub może to być lub . Oznacza to, że średnio . Zatem tylko wtedy, gdy , to odchylenie staje się małe $a<b$ $\frac{a+b}2{}$ $\sigma$ $(a,b)$ $\sigma<a$ $\sigma>b$ $\text{SD}<\sigma$ $n>100$ . W przypadku długiej serii SD dla małej liczby próbek obliczenia SD stają się bardziej precyzyjne i, oczywiście, niedokładne.

Teraz zamiast podnieść frustrację, możemy zastosować korektę małej liczby dla naszych SD w normalnych warunkach. (Ha! Jest rozwiązanie naszej nędzy.)

$\frac{SD(n)}{\mu(n)}\,=\,\sqrt{\frac{2}{n-1}}\,\,\,\frac{\Gamma\left(\frac{n}{2}\right)}{\Gamma\left(\frac{n-1}{2}\right)} \, = \, 1 - \frac{1}{4n} - \frac{7}{32n^2} - \frac{19}{128n^3} + O(n^{-4})$ patrz $E[\mu]$

Dla jest to . Co oznacza, że musimy podzielić naszą SD przez tyle, aby oszacować . $n=3$ $\Gamma(\frac{3}{2})=\frac{\sqrt{\pi }}{2}\approx0.8862269255$ $\sigma$

Teraz, w przypadku prezentacji, masz także kilka innych rzeczy. Tak się składa, że najlepszą miarą lokalizacji rozkładu jednolitego nie jest średnia. Chociaż zarówno średnia próbki, jak i mediana próbki są obiektywnymi estymatorami punktu środkowego, żadna z nich nie jest tak skuteczna jak środkowy zakres próbki, tj. Średnia arytmetyczna maksimum próbki i minimum próbki, które jest estymatorem obiektywnym dla wariancji UMVU estymator punktu środkowego (a także oszacowanie maksymalnego prawdopodobieństwa).

Teraz przejdźmy do sedna sprawy. Jeśli użyjesz średniej wartości ekstremalnych, wariancja miary lokalizacji będzie mniejsza, pod warunkiem, że Twoje dane są naprawdę jednolicie rozłożone. Może być normalnie rozłożony, ponieważ pojedynczy ogon o ekstremalnej wartości może być normalny. W przypadku tylko 3 próbek odchylenie standardowe będzie wymagało korekty.

— Carl
źródło