Jaka jest hipoteza zerowa MANOVA?

tło

Aby przeanalizować różnice w niektórych zmiennych ciągłych między różnymi grupami (podanymi przez zmienną kategorialną), można wykonać jednokierunkową ANOVA. Jeśli istnieje kilka zmiennych objaśniających (kategorycznych), można przeprowadzić czynnikową ANOVA. Jeśli chce się analizować różnice między grupami w kilku zmiennych ciągłych (tj. W kilku zmiennych odpowiedzi), należy wykonać wieloczynnikową ANOVA (MANOVA).

Pytanie

Nie rozumiem, w jaki sposób można przeprowadzić test typu ANOVA dla kilku zmiennych odpowiedzi, a co ważniejsze, nie rozumiem, jaka mogłaby być hipoteza zerowa. Czy hipoteza zerowa:

„Dla każdej zmiennej odpowiedzi średnie wszystkich grup są równe”,

Albo to jest

„Dla co najmniej jednej zmiennej odpowiedzi średnie wszystkich grup są równe”,

czy jest czymś innym? $H_0$

hypothesis-testing anova manova

— Remi.b
źródło

Nie mogę powiedzieć, czy pytacie także, jak działa ANOVA? W kontekście omawiania, czym jest błąd standardowy, zasadniczo wyjaśniam tutaj podstawową zasadę ANOVA: jak działa błąd standardowy?

— gung - Przywróć Monikę

Żadne z twoich dwóch stwierdzeń. H0MANOVA polega na tym, że nie ma różnicy w przestrzeni wielowymiarowej . Przypadek wielowymiarowy jest znacznie bardziej złożony niż jednowymiarowy, ponieważ mamy do czynienia z kowariancjami, a nie tylko wariancjami. Istnieje kilka sposobów formułowania H0-H1hipotez w MANOVA. Czytaj Wikipedię.

— ttnphns

@ttnphns: Dlaczego nie? z ANOVA jest, że środki wszystkich grup są równe. z MANOVA jest to, że środki wieloczynnikowej wszystkich grup są równe. Jest to dokładnie alternatywa 1 w PO. Kowariancje itp. Wprowadzają założenia i obliczenia MANOVA, a nie hipotezę zerową.

H_{0}

$H_0$

H_{0}

$H_0$

— ameba

@amoeba, nie podobało mi się For each response variable. Dla mnie to brzmi jak (lub czytam to jako) „testowanie odbywa się jednoznacznie na każdym” (a następnie jakoś połączone).

— ttnphns

Odpowiedzi:

Hipoteza jednokierunkowej ANOVA jest taka, że średnie wszystkich grup są równe:Hipoteza jednostronnej metody MANOVA jest taka, że średnie [wielowymiarowe] wszystkich grup są równe:Jest to równoważne stwierdzeniu, że średnie są równe dla każdej zmiennej odpowiedzi, tj. Twoja pierwsza opcja jest poprawna . $H_0$

H_{0} : μ_{1} = μ_{2} = . . . = μ_{k} .

$H_0: \mu_1 = \mu_2 = ... = \mu_k.$

H_{0}

$H_0$

H_{0} : μ_{1} = μ_{2} = . . . = μ_{k} .

$H_0: \boldsymbol \mu_1 = \boldsymbol \mu_2 = ... = \boldsymbol \mu_k.$

W obu przypadkach alternatywną hipotezą jest negacja wartości zerowej. W obu przypadkach założeniami są (a) rozkłady Gaussa wewnątrz grupy oraz (b) równe wariancje (dla ANOVA) / macierze kowariancji (dla MANOVA) między grupami. $H_1$

Różnica między MANOVA i ANOVA

Może się to wydawać nieco mylące: hipoteza zerowa MANOVA jest dokładnie taka sama, jak kombinacja hipotez zerowych dla zbioru jednowymiarowych ANOVA, ale jednocześnie wiemy, że robienie MANOVA nie jest równoważne z robieniem jednoczynnikowych ANOVA, a następnie jakoś „ łączenie ”wyników (można wymyślić różne sposoby łączenia). Dlaczego nie?

Odpowiedź jest taka, że uruchamianie wszystkich jednoczynnikowych ANOVA, nawet gdyby przetestowałoby tę samą hipotezę zerową, będzie miało mniejszą moc. Zobacz moją odpowiedź tutaj w celu zilustrowania: Jak MANOVA może zgłosić znaczącą różnicę, gdy żadna z jednoczynnikowych ANOVA nie osiąga znaczenia? Naiwna metoda „łączenia” (odrzucanie globalnego zera, jeśli przynajmniej jedna ANOVA odrzuca zera) również doprowadziłaby do ogromnej inflacji poziomu błędu typu I; ale nawet jeśli ktoś wybierze jakiś sprytny sposób „łączenia” w celu utrzymania prawidłowego poziomu błędu, traci moc.

Jak działa testowanie

ANOVA rozkłada całkowitej sumy kwadratów z na między grupami z sumy kwadratów i wewnętrzną z grupy sumy kwadratów tak, że . Następnie oblicza się stosunek . Zgodnie z hipotezą zerową stosunek ten powinien być mały (około ); można obliczyć dokładny rozkład tego stosunku oczekiwany zgodnie z hipotezą zerową (będzie to zależeć od i liczby grup). Porównanie obserwowanej wartości z tym rozkładem daje wartość p. $T$ $B$ $W$ $T=B+W$ $B/W$ $1$ $n$ $B/W$

MANOVA rozkłada całkowitego rozproszenia matrycy do rozproszenia między grupami matrycy i wewnątrzgrupowa rozrzut matrycy , tak że . Następnie oblicza matrycy . Zgodnie z hipotezą zerową ta macierz powinna być „mała” (wokół ); ale jak określić ilościowo, jak „mały” jest? MANOVA analizuje wartości własne tej macierzy (wszystkie są dodatnie). Ponownie, zgodnie z hipotezą zerową, te wartości własne powinny być „małe” (około $\mathbf T$ $\mathbf B$ $\mathbf W$ $\mathbf T = \mathbf B + \mathbf W$ $\mathbf W^{-1} \mathbf B$ $\mathbf{I}$ $\lambda_i$ $1$ ). Aby jednak obliczyć wartość p, potrzebujemy jednej liczby (zwanej „statystyką”), aby móc porównać ją z oczekiwanym rozkładem poniżej wartości zerowej. Można to zrobić na kilka sposobów: weź sumę wszystkich wartości własnych ; weź maksymalną wartość własną itd. W każdym przypadku liczba ta jest porównywana z rozkładem tej wielkości oczekiwanym poniżej zera, co daje wartość p. $\sum \lambda_i$ $\max\{\lambda_i\}$

Różne wybory statystyki testowej prowadzą do nieco różnych wartości p, ale ważne jest, aby zdać sobie sprawę, że w każdym przypadku testowana jest ta sama hipoteza zerowa.

— ameba
źródło

Ponadto, jeśli nie skorygujesz wielokrotnego testowania, podejście ANOVA obejmujące wszystkie warianty spowoduje również inflację błędów typu I.

— gung - Przywróć Monikę

@gung: Tak, to również prawda. Można jednak być mądrzejszym w „łączeniu” niż po prostu odrzuceniu wartości zerowej, gdy tylko co najmniej jedna z ANOVA odrzuci wartość zerową. Chodzi mi o to, że bez względu na to, jak mądry próbuje się „łączyć”, nadal traci moc w porównaniu z MANOVA (nawet jeśli uda się utrzymać rozmiar testu bez zwiększania poziomu błędu).

— ameba

Ale czy teraz ta „moc” nie jest bezpośrednio związana z pojęciem kowariancji? Morał polega na tym, że za pomocą (serii) testu jednowymiarowego testujemy tylko pod kątem efektu marginalnego, jakim jest SSdifference/SSerrorskalar. W MANOVA efektem wielowymiarowym jest SSCPerror^(-1)SSCPdifferencematryca (kowariancje ogółem i uwzględnione w grupach). Ale ponieważ jest w nim kilka wartości własnych, które można by „połączyć” nie w jeden sposób w statystyce testowej, istnieje kilka możliwych alternatywnych hipotez. Więcej mocy - większa złożoność teoretyczna.

— ttnphns

@ttnphns, tak, to wszystko jest poprawne, ale myślę, że nie zmienia to faktu, że hipoteza zerowa jest tym, co napisałem (i o to chodziło w pytaniu). Niezależnie od użytej statystyki testu (Wilks / Roy / Pillai-Bartlett / Lawley-Hotelling), próbują oni przetestować tę samą hipotezę zerową. Mogę rozszerzyć swoją odpowiedź później, aby omówić to bardziej szczegółowo.

— ameba

@gung poprosił mnie o włączenie (nie jestem pewien, dlaczego ... Nauczałem MANOVA jakieś 7 lat temu i nigdy go nie zastosowałem) - powiedziałbym, że ameba ma rację mówiąc, że jest całkowitą negacją zerowej wartości , która jest -wymiarową hiperprzestrzenią w przestrzeni wymiarowej parametrów (jeśli jest wymiarem, którego nikt nie zawracał sobie głowy definiowaniem) . I jest to opcja 1 podana przez PO. Opcja 2 jest znacznie trudniejsza do przetestowania.

H_{1}

$H_1$

H_{0} : μ_{group 1} = \dots = μ_{group k}

$H_0: \mu_{\mbox{group }1} = \ldots = \mu_{\mbox{group }k}$

p

$p$

k p

$kp$

p

$p$

— StasK

To jest ten pierwszy.

Jednak sposób, w jaki to robi, nie polega na dosłownym porównywaniu średnich z każdej z pierwotnych zmiennych po kolei. Zamiast tego zmienne odpowiedzi są przekształcane liniowo w sposób bardzo podobny do analizy głównych składników . (Tutaj jest doskonały wątek na temat PCA: zrozumienie analizy głównych składników, wektorów własnych i wartości własnych .) Różnica polega na tym, że PCA orientuje twoje osie, aby dopasować je do kierunków maksymalnej zmienności, podczas gdy MANOVA obraca twoje osie w kierunkach, które zmaksymalizuj separację swoich grup.

Dla jasności żaden z testów związanych z MANOVA nie testuje wszystkich środków jeden po drugim w bezpośrednim znaczeniu, ani ze środkami w pierwotnej przestrzeni, ani w przestrzeni przekształconej. Istnieje kilka różnych statystyk testowych, z których każda działa w nieco inny sposób, jednak mają one tendencję do działania w oparciu o wartości własne rozkładu, który przekształca przestrzeń. Ale jeśli chodzi o naturę hipotezy zerowej, chodzi o to, że wszystkie środki wszystkich grup są takie same dla każdej zmiennej odpowiedzi, nie że mogą się różnić w przypadku niektórych zmiennych, ale są takie same w co najmniej jednej.

— gung - Przywróć Monikę
źródło

Ooh ... Więc Manova dokonuje liniowej analizy dyskryminacyjnej (aby zmaksymalizować odległość między średnimi grup), a następnie uruchamia standardową anovę, używając pierwszej osi jako zmiennej odpowiedzi? Tak więc jest „w znaczeniu PC1 - wszystkie grupy są takie same”. Czy to prawda?

H o

$Ho$

— Remi.b

Istnieje kilka różnych możliwych testów. Testowanie tylko pierwszej osi polega zasadniczo na użyciu największego pierwiastka Roya jako testu. Często będzie to najmocniejszy test, ale jest również bardziej ograniczony. Rozumiem, że trwa dyskusja nad tym, który test jest „najlepszy”.

— gung - Przywróć Monikę

Myślę, że używamy MANOVA zamiast kilku ANOVA, aby uniknąć wielu problemów z testowaniem. Ale jeśli, wykonując MANOVA, po prostu wykonamy ANOVA na PC1 LDR , to nadal mamy wiele problemów z testowaniem, które należy rozważyć, patrząc na Pvalue. Czy to jest poprawne? (Mam nadzieję, że to ma sens.

— Usunąłem

To wnikliwy punkt, ale istnieją dwa problemy: 1) osie są teraz ortogonalne i mogą zmienić problemy z testowaniem wielokrotnym; 2) rozkłady próbkowania statystyk testowych MANOVA uwzględniają wiele osi.

— gung - Przywróć Monikę

@ Remi.b: To dobre pytania, ale dla jasności: MANOVA nie jest odpowiednikiem ANOVA na pierwszej osi dyskryminacyjnej LDA! Zobacz tutaj relację między MANOVA a LDA: W jaki sposób MANOVA jest powiązana z LDA?

— ameba