Bonferroni czy Tukey? Kiedy liczba porównań staje się duża?

Czytanie statystyk odkrywczych przy użyciu SPSS (3. edycja) Uderzyło mnie trochę na temat testów post-hoc w ANOVA. Dla tych, którzy chcą kontrolować poziom błędu typu I, sugeruje Bonferroni lub Tukey i mówi (s. 374):

Bonferroni ma większą moc, gdy liczba porównań jest niewielka, podczas gdy Tukey ma większą moc podczas testowania dużej liczby średnich.

Gdzie należy wytyczyć granicę między małą a dużą liczbą środków?

— Parbury
źródło

Na dole następnej strony internetowej NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm, zaleca się wykonanie obu testów i wybranie mniejszego z dwóch przedziałów. Podobne komentarze znalazłem w Johnson i Wichern na temat robienia MANOVA.

— schenectady

@schenectady Dobra odpowiedź! Dlaczego nie wkleisz go w odpowiedzi? BTW, link jest uszkodzony w twoim komentarzu; poprawny to itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Pierwsza krótka uwaga: moc jest bezpośrednio związana ze wskaźnikiem błędów typu II, a nie typu I. Teraz wybacz mi, ale wyrzucę kilka opinii. Może to, co robisz, może być postrzegane jako „granie w system”, próbowanie takiego ustawienia, aby więcej wyników zostało zaklasyfikowanych jako sig. czy nonig.? Te binarne osądy są o wiele mniej pouczające i potencjalnie o wiele bardziej mylące niż raporty o rzeczywistych rozmiarach efektów - w twoim przypadku, dotyczące różnic grup w środkach. Lubię widzieć, jak ludzie używają wartości p do ozdabiania wyników, a nie do ich strukturyzowania. Koniec redakcji - kłóć się!

— rolando2

„Na dole następnej strony internetowej NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm zaleca się wykonanie obu testów i wybranie mniejszego z dwóch przedziałów Znalazłem podobne komentarze w Johnson i Wichern na temat robienia MANOVA. - @schenectady 11 kwietnia o 12:31 "To jest uważane za eksplorację danych i nie powinno się tego robić. Wyboru Tukey vs. Bonferroni należy dokonać przed analizą.

Dokumentacja internetowa Minitab wydaje się oferować podobne porady support.minitab.com/en-us/minitab/17/topic-library/...

— N Brouwer

Oprócz przydatnego linku wspomnianego w komentarzach @schenectady.

Dodam również, że korekta Bonferroniego dotyczy szerszej klasy problemów. O ile mi wiadomo HSD Tukeya jest stosowane tylko w sytuacjach, w których chcesz zbadać wszystkie możliwe porównania parami, podczas gdy korekcję Bonferroniego można zastosować do dowolnego zestawu testów hipotez.

W szczególności korekcja Bonferroniego jest przydatna, gdy masz mały zestaw planowanych porównań i chcesz kontrolować rodzinny poziom błędu typu I. Pozwala to również na porównania związków. Na przykład masz 6-kierunkową ANOVA i chcesz porównać średnią z grup 1, 2 i 3 z grupą 4, a chcesz porównać grupę 5 z 6.

Aby dodatkowo zilustrować, można zastosować poprawkę Bonferroniego do oceny znaczenia korelacji w macierzy korelacji lub zestawu efektów głównych i interakcji w ANOVA. Jednak taka korekta zwykle nie jest stosowana, przypuszczalnie z tego powodu, że obniżenie poziomu błędu typu I powoduje niedopuszczalne zmniejszenie mocy.

— Jeromy Anglim
źródło

Ciekawe, czy masz cytaty na temat: „Jednak taka korekta zazwyczaj nie jest stosowana, prawdopodobnie z tego powodu, że obniżenie poziomu błędu typu I powoduje niedopuszczalne zmniejszenie mocy”. Wielkie dzięki!

Witamy na stronie. To powinno być opublikowane jako komentarz, a nie odpowiedź.

— Peter Flom - Przywróć Monikę

@Jessica. Nie, nie mam uzasadnienia dla tego roszczenia. Ale dość łatwo jest wykazać za pomocą symulacji, wzorów, a nawet po prostu podstawowej wiedzy o czynnikach wpływających na moc statystyczną (tj. Takie czynniki obejmują alfa).

— Jeromy Anglim,