Rozerwany między PET-PEESE a wielopoziomowym podejściem do metaanalizy: czy istnieje szczęśliwe medium?

Obecnie pracuję nad metaanalizą, dla której muszę przeanalizować wiele rozmiarów efektów zagnieżdżonych w próbkach. Opieram się na trzypoziomowym metaanalizie Cheunga (2014) do metaanalizy zależnych rozmiarów efektów, w przeciwieństwie do niektórych innych możliwych strategii (np. Ignorowanie zależności, uśrednianie wielkości efektów w badaniach, wybór jednego rozmiaru efektu lub przesunięcie jednostki analizy). Wiele z moich zależnych wielkości efektów to korelacje, które zawierają dość charakterystyczne (ale powiązane ze sobą) zmienne, więc uśrednianie ich nie ma sensu pojęciowego, a nawet gdyby tak było, zmniejszyłbym moją całkowitą wielkość efektów do analizy o prawie połowę.

Jednocześnie jednak jestem również zainteresowany zastosowaniem metody Stanleya i Doucouliagosa (2014) w celu wyeliminowania stronniczości publikacji w trakcie szacowania efektu metaanalitycznego. W skrócie, albo pasuje do modelu meta-regresji przewidującego rozmiary efektu badania według ich odpowiednich wariancji (test efektu precyzyjnego lub PET), albo ich odpowiednich błędów standardowych (oszacowanie efektu precyzji z błędami standardowymi lub PEESE). W zależności od znaczenia przechwytywania w modelu PET, albo używa się przechwytywania z modelu PET (jeśli przechwytywanie PET p > 0,05) lub modelu PEESE (jeżeli przechwytywanie PET p jako szacunkową publikację <0,05) średnia wielkość efektu bez uprzedzeń.

Mój problem wynika jednak z tego fragmentu Stanleya i Doucouliagosa (2014):

W naszych symulacjach zawsze uwzględniana jest nadmiar niewyjaśnionej heterogeniczności; dlatego zgodnie z konwencjonalną praktyką REE [estymatory efektów losowych] powinny być preferowane w stosunku do FEE [estymatory efektów stałych]. Jednak konwencjonalna praktyka jest błędna, jeśli istnieje wybór publikacji. Przy wyborze istotności statystycznej REE jest zawsze bardziej stronnicze niż FEE (Tabela 3). Ta przewidywalna niższość wynika z faktu, że REE sam w sobie jest średnią ważoną prostej średniej, która ma największy błąd systematyczny publikacji, i FEE.

Ten fragment prowadzi mnie do wniosku, że nie powinienem używać PET-PEESE w modelach metaanalitycznych efektów losowych / mieszanych, ale wydaje się, że wielopoziomowy model metaanalityczny wymaga estymatora efektów losowych.

Jestem rozdarta, co robić. Chcę być w stanie modelować wszystkie moje zależne wielkości efektów, ale jednocześnie korzystać z tej konkretnej metody korekcji błędów publikacji. Czy jest jakiś sposób, aby legalnie zintegrować 3-poziomową strategię metaanalizy z PET-PEESE?

Bibliografia

Cheung, MWL (2014). Modelowanie zależnych wielkości efektów za pomocą trzypoziomowych metaanaliz: podejście do modelowania równań strukturalnych. Metody psychologiczne , 19 , 211–229.

Stanley, TD i Doucouliagos, H. (2014). Przybliżenia meta-regresji w celu zmniejszenia stronniczości wyboru publikacji. Research Synthesis Methods , 5 , 60-78.

Pracowałem nad metaanalizą opartą głównie na metodzie Cheunga (ale nie na 3 poziomach) i ostatnio natknąłem się na metodę PET-PEESE dotyczącą korekty stronniczości publikacji. Byłem również zaintrygowany kombinacjami tych dwóch podejść. Do tej pory moje doświadczenie. Myślę, że istnieją dwa sposoby rozwiązania twojego problemu. Prosty i bardziej skomplikowany.

Poniższy cytat wydaje się sugerować, że efekty losowe zaostrzają stronniczość publikacji, więc wydaje mi się, że jeśli podejrzewasz stronniczość publikacji jako problem, nie możesz po prostu użyć modelu efektów losowych.

Przy wyborze istotności statystycznej REE jest zawsze bardziej stronnicze niż FEE (Tabela 3). Ta przewidywalna niższość wynika z faktu, że REE sam w sobie jest średnią ważoną prostej średniej, która ma największy błąd systematyczny publikacji, i FEE.

Zakładam, że stronniczość publikacji jest poważnym problemem.

Proste podejście: model heterogeniczności według PET-PEESE

Jeśli dobrze zrozumiałem pytania, myślę, że takie podejście jest najbardziej pragmatycznym punktem wyjścia.

Podejście PET-PEESE umożliwia rozszerzenie regresji metaanalitycznych. Jeśli źródło niejednorodności wynika głównie z różnych zmiennych wielkości efektów, wówczas można modelować niejednorodność jako efekty stałe, włączając zmienne wskaźnikowe (1/0) dla każdej zmiennej *. Ponadto, jeśli podejrzewasz, że niektóre zmienne mają lepsze właściwości pomiarowe lub są bliżej związane z twoją konstrukcją zainteresowania, możesz rzucić okiem na styl metaanalizy Huntera i Schmidta. Proponują korekty błędu pomiaru.

Podejście to prawdopodobnie dałoby ci wstępny obraz wielkości stronniczości publikacji poprzez przechwyty PET i PEESE oraz niejednorodności opartej na wariancji ustalonych efektów.

Bardziej skomplikowane podejście: jednoznaczność modelu i uprzedzenie publikacji wyraźnie

Mam na myśli, że wyraźnie modelujesz występowanie stronniczości publikacji zgodnie z dokumentem Stanleya i Doucouliagosa. Musisz również wyraźnie zapisać trzy poziomy Cheung jako efekty losowe. Innymi słowy, takie podejście wymaga samodzielnego określenia prawdopodobieństwa i prawdopodobnie byłoby samo w sobie wkładem metodologicznym.

Myślę, że możliwe jest określenie takiego prawdopodobieństwa (z odpowiednimi priorytetami) zgodnie z hierarchicznym podejściem Bayesa w Stan i wykorzystanie późniejszych szacunków. instrukcja ma krótki rozdział poświęcony metaanalizy. Lista użytkowników jest również bardzo pomocna.

Drugie podejście jest prawdopodobnie przesadą w stosunku do tego, czego chcesz na tym etapie, ale prawdopodobnie byłoby bardziej poprawne niż pierwsze podejście. Byłbym zainteresowany, czy to zadziała.

* Jeśli masz wiele zmiennych (i nie ma zbyt wielu rozmiarów efektów), lepiej byłoby zgrupować podobne zmienne w grupy (tak, to jest wywołanie osądu) i użyć zmiennych wskaźników grupowych.