Uwaga: jeśli chcesz szybko odpowiedzieć na pytanie dotyczące zastosowania testu niejednorodności do podjęcia tej decyzji, przewiń w dół do „ Które uzasadnienia są uzasadnione? ”.
Istnieje kilka uzasadnień (niektóre bardziej / mniej uzasadnione niż inne), które naukowcy oferują dla wyboru metaanalitycznej syntezy efektów stałych w porównaniu z efektami losowymi. Zostały one omówione we wprowadzających podręcznikach do metaanalizy, takich jak Borenstein i in. (2009), Card (2011) i Cooper (2017).
Bez potępiania lub akceptowania któregokolwiek z tych uzasadnień (jeszcze) obejmują one:
Uzasadnienie wyboru modelu ze stałymi efektami
- Prostota analityczna : niektórzy ludzie uważają, że obliczenie / interpretacja modelu efektów losowych wykracza poza ich zrozumienie statystyczne i dlatego trzymają się prostszego modelu. W przypadku modelu z efektem stałym badacz musi jedynie oszacować zmienność wielkości efektu wynikającą z błędu próbkowania. Na lepsze lub gorsze jest to pragmatyczna praktyka wyraźnie zalecana w Card (2011).
Wcześniejsze przekonanie o braku zmienności na poziomie badania / moderatorzy : Jeśli badacz uważa, że wszystkie wielkości efektów w próbce różnią się tylko z powodu błędu próbkowania - i że nie ma systematycznej zmienności na poziomie badania (a zatem nie ma moderatorów - nie byłoby nie ma potrzeby dopasowywania modelu efektów losowych. Myślę, że to uzasadnienie i ten pierwszy czasami idą w parze, gdy badacz uważa, że dopasowanie modelu efektów losowych przekracza ich możliwości, a następnie racjonalizuje tę decyzję, twierdząc po fakt, że nie przewidują żadnej prawdziwej heterogeniczności na poziomie badania.
Systematyczni moderatorzy zostali wyczerpująco rozważeni : niektórzy badacze mogą skorzystać z analizy o ustalonym efekcie po zbadaniu i uwzględnieniu każdego moderatora, o którym mogą pomyśleć. Podstawowym uzasadnieniem jest to, że gdy naukowiec rozliczy każde możliwe i znaczące źródło zmienności na poziomie badania, wszystko, co pozostanie, to błąd próbkowania, a zatem model efektów losowych byłby niepotrzebny.
- Q
- Zamiar dokonywania ograniczonych / szczegółowych wniosków : modele o ustalonych efektach są odpowiednie do mówienia do wzorców efektów ściśle w próbce efektów. Badacz może zatem uzasadnić dopasowanie modelu z efektami stałymi, jeśli swobodnie rozmawia tylko o tym, co dzieje się w próbie, i nie spekuluje na temat tego, co może się zdarzyć w badaniach pominiętych przez ich recenzję lub w badaniach, które nastąpią po ich recenzji.
Uzasadnienie wyboru modelu efektów losowych
Wcześniejsze przekonanie o zmienności na poziomie badania / moderatorzy : W przeciwieństwie do uzasadnienia 2. (na korzyść modeli o ustalonych efektach), jeśli badacz przewiduje, że będzie pewna znacząca zmienność na poziomie badania (a zatem moderacja), to domyślnie określa model efektów losowych. Jeśli pochodzisz ze środowiska psychologicznego (ja tak), staje się to coraz bardziej rutynowym / zachęcanym domyślnym sposobem myślenia o rozmiarach efektów (np. Patrz Cumming, 2014).
QQQ
Q
Zamiar tworzenia szerokich / ogólnych wniosków : w przeciwieństwie do modeli z efektami stałymi, modele z efektami losowymi upoważniają badacza do wypowiadania się (w pewnym stopniu) poza próbą, jeśli chodzi o wzorce efektów / moderacji, które można by znaleźć w szerszej literaturze. Jeśli taki poziom wnioskowania jest pożądany dla badacza, mogą oni preferować model efektów losowych.
Konsekwencje podania niewłaściwego modelu
Chociaż nie jest to wyraźna część twojego pytania, myślę, że ważne jest, aby wskazać, dlaczego naukowiec powinien „zrobić to dobrze” przy wyborze między modelami metaanalizy o efektach stałych i losowych: w dużej mierze sprowadza się to do oszacowania precyzja i moc statystyczna .
Modele z efektami stałymi mają większą moc statystyczną, co grozi uzyskaniem sztucznie precyzyjnych szacunków; modele efektów losowych są mniej skuteczne statystycznie, ale potencjalnie bardziej rozsądne, jeśli istnieje prawdziwa niejednorodność. W kontekście testów moderatorów modele o stałym efekcie mogą nie doceniać zakresu wariancji błędu, podczas gdy modele o efektach losowych mogą przeceniać zakres wariancji błędu (w zależności od tego, czy ich założenia dotyczące modelowania są spełnione, czy naruszone, patrz Overton, 1998). Ponownie w literaturze psychologicznej rośnie poczucie, że dziedzina zbyt mocno polegała na metaanalizach o ustalonych skutkach, i dlatego oszukiwaliśmy się w większym poczuciu pewności / precyzji w naszych efektach (patrz Schmidt i in. ., 2009).
Jakie uzasadnienia są uzasadnione?
QQQ prawdopodobnie będzie niedostatecznie zasilany, aby wykryć znaczącą niejednorodność (lub nadmiernie zasilany, aby wykryć trywialne ilości niejednorodności).
Prostota analityczna ( Uzasadnienie 1. ) wydaje się kolejnym uzasadnieniem dla modeli z efektami stałymi, które raczej nie odniosą sukcesu (z powodów, które moim zdaniem są bardziej oczywiste). Z drugiej strony argumentowanie, że wszyscy potencjalni moderatorzy zostali wyczerpani ( uzasadnienie 3. ), może być bardziej przekonujące w niektórych przypadkach, jeżeli badacz może wykazać, że wziął pod uwagę / modelował szeroki zakres zmiennych moderatora. Jeśli zakodowali tylko kilku moderatorów, to uzasadnienie będzie prawdopodobnie postrzegane jako dość podstępne / kruche.
Pozwolenie, aby dane podjęły decyzję za pomocą domyślnego modelu efektów losowych ( Uzasadnienie 8 ), jest tym, co do którego nie jestem pewien. Z pewnością nie jest to decyzja aktywna / oparta na zasadach, ale w połączeniu ze zmianą dziedziny psychologii w kierunku preferowania modeli efektów losowych jako domyślnej, może okazać się akceptowalnym (choć nie szczególnie przemyślanym) uzasadnieniem.
Pozostawia to uzasadnienie związane z wcześniejszymi przekonaniami dotyczącymi podziału (-ów) skutków ( uzasadnienie 2. i uzasadnienie 6. ) oraz uzasadnienia dotyczące rodzajów wnioskowania, których naukowiec chce uzyskać licencję ( uzasadnienie 5. i uzasadnienie 9).). Prawdopodobieństwo wcześniejszych przekonań na temat rozkładu efektów w dużej mierze sprowadza się do cech badań, które syntetyzujesz; jak zauważa Cooper (2017), jeśli syntetyzujesz efekty procesów mechanistycznych / uniwersalnych, zebranych z bardzo podobnych kontekstów / próbek oraz w ściśle kontrolowanych środowiskach, analiza efektów stałych może być całkowicie uzasadniona. Synteza wyników z powtórzeń tego samego eksperymentu byłaby dobrym przykładem tego, kiedy ta strategia analityczna może być pożądana (patrz. Goh i in., 2016). Jeśli jednak syntetyzujesz dziedzinę, w której projekty, manipulacje, miary, konteksty i cechy próbki różnią się dość, wydaje się, że coraz trudniej jest argumentować, że dokładnie się uczyszten sam efekt w każdym przypadku. Wreszcie, rodzaje wnioskowania, które chce się wydać, wydają się kwestią osobistych preferencji / gustu, więc nie jestem pewien, jak ktoś mógłby zacząć argumentować za / przeciw takiemu uzasadnieniu, o ile wydawałoby się to uzasadnione koncepcyjnie.
Bibliografia
Borenstein, M., Hedges, LV, Higgins, JPT i Rothstein, HR (2009). Wprowadzenie do metaanalizy . West Sussex, Wielka Brytania: Wiley.
Card, NA (2011). Zastosowana metaanaliza do badań nauk społecznych. Nowy Jork, NY: Guilford Press.
Cooper, H. (2017). Synteza badań i metaanaliza: podejście krok po kroku. Thousand Oaks, Kalifornia: Sage.
Cumming, G. (2014). Nowe statystyki: dlaczego i jak. Psychological Science , 25 (1), 7-29.
Goh, JX, Hall, JA i Rosenthal, R. (2016). Mini metaanaliza własnych badań: kilka argumentów na temat dlaczego i elementarz na temat tego, jak to zrobić. Kompas Psychologii Społecznej i Osobowości , 10 (10), 535-549.
Overton, RC (1998). Porównanie modeli efektów stałych i mieszanych (efektów losowych) do testów metaanalizy efektów zmiennych moderatora. Metody psychologiczne , 3 (3), 354–379.
Schmidt, Floryda, Oh, IS, i Hayes, TL (2009). Modele o ustalonych efektach losowych w metaanalizie: właściwości modelu i empiryczne porównanie różnic w wynikach. British Journal of Mathematical and Statistics Psychology , 62 (1), 97-128.