Post-hocs dla testów przedmiotowych?

20

Jaka jest preferowana metoda przeprowadzania post-hoców w ramach testów przedmiotowych? Widziałem opublikowane prace, w których stosuje się HSD Tukeya, ale przegląd Keppela i Maxwella i Delaneya sugeruje, że prawdopodobne naruszenie kulistości w tych projektach powoduje, że termin błędu jest niepoprawny, a takie podejście jest problematyczne. Maxwell i Delaney podają podejście do problemu w swojej książce, ale nigdy nie widziałem, aby było tak w żadnym pakiecie statystyk. Czy oferowane przez nich podejście jest odpowiednie? Czy poprawność Bonferroniego lub Sidaka w testach t dla wielu sparowanych próbek byłaby uzasadniona? Dopuszczalna odpowiedź zapewni ogólny kod R, który może przeprowadzać post-hoki na prostych, wielostronnych i mieszanych projektach wytworzonych przez ezANOVAfunkcję w ezpakiecie, oraz odpowiednie cytaty, które prawdopodobnie przejdą z recenzentami.

— russellpierce
źródło

1

W tym artykule Davida Howella wyjaśniono problemy i kilka rozwiązań.

— Harvey Motulsky

skoro zaakceptowałeś odpowiedź przy użyciu pakietu multcomp, czy mógłbyś trochę wyjaśnić, jak w końcu użyłeś multcomp. Używasz go z lmelub lmerfunkcji lub z niektórych bardziej tradycyjnych metod, jak t-testu lub ANOVA (jak jestem obecnie próbuje użyć go ANOVA).

— Henrik

Zaakceptowałem odpowiedź multcomp przede wszystkim dlatego, że jestem całkowicie niezadowolony z technik dostosowywania wartości p, które społeczność wybrała jako „właściwą” odpowiedź. Spojrzałem na to i wydawało się to obiecujące, ale nie badałem dalej. Chciałbym dowiedzieć się więcej o tym, czego próbujesz i czego się dowiadujesz.

— russellpierce

Znalazłem sposób na określenie ANOVA z powtarzanymi pomiarami lme, patrz komentarze do zaakceptowanej odpowiedzi: stats.stackexchange.com/q/14088/442 Za pomocą obiektu klasy lmemożna użyć multcompdo efektów wewnątrz podmiotu. Oferuje różne rodzaje korekcji błędów alfa, ale głównie te, które nie są specjalnie lubiane (jak ten, który zaproponowałem, który został uznany przez społeczność za „właściwy”). Oprócz winiety jest też książka, multcompktóra wyjaśnia wszystkie metody. Jeśli chcesz post-hoców bez regulacji, użyj albo fit.contrastz gmodelnowego contrastpakietu.

— Henrik

Czy nadal jesteś zainteresowany rozwiązaniem tej ezANOVAfunkcji? Jeśli tak, myślę, że mogę odpowiedzieć na to pytanie, ale A opierałby się na testach dla modeli jednowymiarowych, dla których sferyczność jest krytycznym założeniem. Jeśli nie potrzebujesz ograniczenia A do obliczeń ANOVA ezpakietu, mógłbym podać A, który używa modeli wielowymiarowych do testów post-hoc.

— statmerkur

7

Spójrz na pakiet multcomp i jego winietę Równoczesne wnioskowanie w ogólnych modelach parametrycznych . Myślę, że powinien zrobić to, co chce, a winieta ma bardzo dobre przykłady i obszerne referencje.

— Matti Pastell
źródło

21

Obecnie piszę artykuł, w którym mam przyjemność przeprowadzać porównania między przedmiotami i pomiędzy nimi. Po dyskusji z moim przełożonym postanowiliśmy przeprowadzić testy- t i użyć dość prostej Holm-Bonferroni method( wikipedia ) do korekty kumulacji błędu alfa. Kontroluje rodzinny poziom błędu, ale ma większą moc niż zwykła procedura Bonferroniego. Procedura:

Uruchamiasz t testy dla wszystkich porównań, które chcesz wykonać.
Zamawiasz p -values według ich wartości.
Testujesz najmniejszą wartość p względem alfa / k , drugą najmniejszą przeciwko alfa / ( k - 1) i tak dalej, dopóki pierwszy test nie okaże się nieistotny w tej sekwencji testów.

Cite Holm (1979), który można pobrać przez link na wikipedii .

— Henrik
źródło

1

może ANOVA przed wieloma testami?

— stan

2

Myślę, że wynikało to z odpowiedzi. Wykonujesz testy post-hoc po znaczącej ANOVA.

— Henrik

2

@Henrik: Mam nadzieję, że nie biję tutaj martwego konia ... publikując stary post. Mam więc pytanie dotyczące sposobu przeprowadzenia testów t. Czy użyłeś wariancji zbiorczej (z ANOVA) czy po prostu wykonałeś niezależne testy t pary? Powodem, dla którego o to pytam, jest to, że próbowałem użyć pairwise.t.test()porównań parami przy użyciu metody Bonferroni lub Holm-Bonf, ale wyniki różnią się drastycznie w zależności od tego, czy używam puli SD, czy traktuję każde porównanie jako osobne, niezależne t -test. Dzięki!

— Alex

2

@Alex: zastosowanie podejścia „chronionego”, w którym testy t są przeprowadzane dopiero po znaczącej ANOVA implikuje użycie połączonego terminu błędu. Ponieważ jednak nie jest to opcja często oferowana przez oprogramowanie statystyczne, ludzie zwykle tego nie robią. Co więcej, w zakresie, w jakim naruszona jest sferyczność, jest to przede wszystkim wątpliwe.

— russellpierce

5

Pamiętam trochę dyskusji na ten temat w przeszłości; Nie znam żadnej implementacji podejścia Maxwella i Delaneya, chociaż nie powinno to być zbyt trudne. Spójrz na „ ANOVA z powtarzanymi pomiarami za pomocą R ”, która pokazuje także jedną metodę rozwiązania problemu sferyczności w HSD Tukeya .

Możesz również znaleźć ten opis testu zainteresowań Friedmana .

— Shane
źródło

Dzięki, myślę, że test Friedmana jest interesujący, ale nie mogę do końca zrozumieć, jak to robi korekta błędu typu I w post-hoc. Komentarze mówią, że jest to „test Wilcoxona-Nemenyi-McDonald-Thompson”, ale nigdy o tym nie słyszałem, czy mógłbyś to wyjaśnić?

— russellpierce

@Shane Pierwszy link nie działa :-(

— Adam Ryczkowski

2

Istnieją dwa warianty wnioskowania testów F w SPSS. Wielowymiarowy NIE zakłada sferyczności, więc adn wykorzystuje inną korelację par dla każdej pary zmiennych. „Testy efektów wewnątrz badanych”, w tym wszelkie testy post hoc, zakładają sferyczność i wprowadzają pewne poprawki do stosowania wspólnej korelacji we wszystkich testach. Procedury te są dziedzictwem czasów, w których obliczenia były drogie i są stratą czasu w przypadku nowoczesnych urządzeń komputerowych.

Moje zalecenie to wzięcie omnibusa MULTIVARIATE F do wszelkich powtarzanych działań. Następnie kontynuuj testem post hoc parą t lub ANOVA z tylko 2 poziomami w każdym porównaniu z powtarzanymi pomiarami, jeśli występują również między czynnikami podmiotowymi. Zrobiłbym prostą poprawkę bon ferroni dzielącą poziom alfa przez liczbę testów.

Pamiętaj również, aby spojrzeć na rozmiar efektu [dostępny w oknie dialogowym opcji]. Duże rozmiary efektów, które są „zbliżone” do znaczących, mogą być bardziej warte uwagi [i przyszłych eksperymentów] niż małe, ale znaczące efekty.

Bardziej wyrafinowane podejście jest dostępne w procedurze SPSS MIESZANE, a także w mniej przyjaznych dla użytkownika [ale wolnych] pakietach, takich jak R.

Podsumowanie, w SPSSS, wielowymiarowa F, po której następują pary post hocs z Bon Ferroniwith Bonferroni, powinny być wystarczające dla większości potrzeb.

0

Będę używał funkcji R qtukey (1-alfa, znaczy, df), aby stworzyć CI dla rodziny.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

The radius of family-wise 1-α CIs is $S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

Given a within-subject design with k=4 levels, 17 sample size e.g. (17-1)=16 df for $MS_{Error}$ , and ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ , the radius of family-wise (1-α) CIs is $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
źródło