Na jakie pytanie odpowiada ANOVA?

Chcę nauczyć się ANOVA. Zanim zacznę się uczyć, jak działa algorytm (jakie obliczenia należy wykonać) i dlaczego działa, najpierw chciałbym wiedzieć, jaki problem rozwiązujemy za pomocą ANOVA lub jaką odpowiedź próbujemy odpowiedzieć. Innymi słowy: co to jest dane wejściowe i dane wyjściowe algorytmu?

Rozumiem, co wykorzystujemy jako wkład. Mamy zestaw liczb. Każda liczba zawiera wartości jednej lub więcej zmiennych kategorialnych (znanych również jako „czynniki”). Na przykład:

+------------+------------+-------+
|   factor 1 |   factor 2 | value |
+------------+------------+-------+
|     "A"    |     "a"    |  1.0  |
|     "A"    |     "a"    |  2.4  |
|     "A"    |     "b"    |  0.3  |
|     "A"    |     "b"    |  7.4  |
|     "B"    |     "a"    |  1.2  |
|     "B"    |     "a"    |  8.4  |
|     "B"    |     "b"    |  0.4  |
|     "B"    |     "b"    |  7.2  |
+------------+------------+-------+

Czy słuszne jest stwierdzenie, że ANOVA oblicza wartość p hipotezy zerowej, która stwierdza, że nie ma wpływu czynników na średnią wartości? Innymi słowy, podajemy powyższe dane algorytmowi, w wyniku czego otrzymujemy wartość p hipotezy zerowej?

W takim przypadku, jakiej miary faktycznie używamy do obliczenia wartości p. Na przykład możemy powiedzieć, że biorąc pod uwagę hipotezę zerową, M może być tak wysoka jak obserwowana (lub nawet wyższa) przypadkowo w 1% przypadków. Co to jest M?

Czy nie badamy również oddzielnie czynników ANOVA? Czy ANOVA może powiedzieć, że czynnik_1 ma wpływ, ale nie czynnik_2? Czy ANOVA może powiedzieć, że dla danego współczynnika wartości odpowiadające wartości „A”, „B” i „C” są statystycznie nierozróżnialne (mają na przykład tę samą średnią), ale wartość „D” ma wpływ?

anova

— rzymski
źródło

ANOVA oznacza „Analiza wariancji”. Nic dziwnego, że analizuje wariancję.

Bądźmy bardziej precyzyjni. Twoje obserwacje będą wykazywać pewną wariancję. Jeśli zgrupujesz swoje obserwacje według współczynnika 1, wariancja w grupach zdefiniowanych przez czynnik 1 będzie mniejsza niż wariancja ogólna. Czynnik 1 „wyjaśnia wariancję”.

Jednak nie wystarczy stwierdzić, że czynnik 1 faktycznie ma związek z twoimi obserwacjami ... ponieważ pogrupowanie według czegokolwiek w jakiś sposób „wyjaśni” wariancję. Dobrą rzeczą jest to, że wiemy, ile wariancji zostanie wyjaśnione w ramach hipotezy zerowej, że twój czynnik w rzeczywistości nie ma nic wspólnego z twoimi obserwacjami. Tę wielkość wariancji wyjaśnioną pod zerą opisuje rozkład $F$

Zatem strategia w ANOVA polega na oszacowaniu wariancji ogólnej i wariancji wewnątrzgrupowej (przy użyciu sum kwadratów) i przyjęciu współczynników tych szacowanych wariancji. Ten stosunek jest statystykąNastępnie porównujemy tę statystykę do wartości krytycznej rozkładu w teście jednostronnym, uzyskując wartość . Liczba poziomów czynników przypada na jeden parametr rozkładu (więcej poziomów czynników wyjaśnia większą wariancję pod hipotezą zerową), a liczba obserwacji i liczba poziomów przechodzi na drugi. To wcześniejsze pytanie może być pomocne. $F$ $F$ $F$ $p$ $F$

(Dlaczego test jednostronny? Ponieważ, jak powyżej, każde zgrupowanie wyjaśni pewną wariancję, więc sensowne jest jedynie sprawdzenie, czy czynnik wyjaśnia istotnie dużą wariancję.)

Sekcja „Motywujący przykład” we wpisie w Wikipedii zawiera bardzo ładne ilustracje czynników, które wyjaśniają bardzo mało, niektóre i wiele ogólnej wariancji.

Dwukierunkowa ANOVA i interakcje, jak w twoim przykładzie, a także ANCOVA, są po prostu uogólnieniami na ten temat. W każdym przypadku badamy, czy dodanie jakiejś zmiennej objaśniającej wyjaśnia znacznie dużą wariancję.

Po uzyskaniu znaczącego ogólnego testu możemy zbadać, czy obserwacje niektórych poziomów czynników różnią się znacznie od innych w testach post-hoc . Na przykład D może różnić się od A, B i C, ale nie mogą się one znacząco różnić od siebie. Zazwyczaj używasz do tego testów . To wcześniejsze pytanie może być przydatne, podobnie jak to . $F$ $t$

— Stephan Kolassa
źródło

Tak więc używamy całej liczby do obliczenia całkowitej wariancji , następnie obliczamy wariancje dla każdej grupy i na koniec łączymy wszystkie te wariancje (prawdopodobnie również z wielkościami grup), aby uzyskać „miarę”: . Następnie obliczamy prawdopodobieństwo, że M będzie tak duże, jak jest, lub nawet większe, przy założeniu, że hipoteza zerowa jest poprawna.

V

$V$

v_{i}

$v_i$

M = M (V, v_{1}, v_{2}, . . ., v_{k}, n_{1}, n_{2}, . . ., n_{k})

$M = M (V, v_1, v_2, ..., v_k, n_1, n_2, ..., n_k)$

— Rzym.

Dokładnie. to twoja statystykaOto faktyczna formuła.

M

$M$

F

$F$

— Stephan Kolassa

Szczerze mówiąc, nadal jestem trochę zdezorientowany. O ile cię dostałem, ANOVA zwraca wartość p hipotezy zerowej. Z drugiej strony z „Przykładu motywującego” z Wikipedii można wywnioskować, że ANOVA daje nam najlepszy czynnik (lub kombinację czynników), który „wyjaśnia” dane najlepiej. Tak więc w przykładzie ANOVA mówi, że rasa jest najlepszym czynnikiem do wyjaśnienia wagi psów.

— Rzym.

Załadowano „Best”. To prowadzi do terytorium opartego na stopniowym wyborze modelu opartego na wartościach p, co jest problematyczne. Nie czytaj zbytnio motywującego przykładu. Najlepszą rzeczą jest wyjaśnienie wariancji (zero, trochę, dużo). Lepiej zejść na dół i poczytać o tym, jak oblicza się statystykę na podstawie sum kwadratów, i pamiętaj, że te sumy kwadratów to tylko estymatory wariancji.

F

$F$

— Stephan Kolassa