Plusy i minusy metaanaliz

Zastanawiałem się nad zrobieniem metaanalizy dla konkretnego kierunku ewolucji, ale zanim przejdę dalej, chciałbym się dowiedzieć; jakie są plusy i minusy tego procesu? Na przykład brak potrzeby praktycznego eksperymentu jest zaletą (czas i pieniądze), ale nastąpi uprzedzenie publikacji (opublikowanie bardziej ekscytujących wyników), co byłoby wadą.

Jakie artykuły w czasopismach statystycznych omawiają zalety i wady metaanalizy?

Wprowadzenie do metaanalizy autorstwa Borensteina, Hedgesa, Higginsa i Rothsteina zawiera szczegółowe omówienie zalet i wad metaanalizy. Zobacz na przykład rozdział „ Krytyka metaanalizy ”, w którym autorzy odpowiadają na różne krytyki metaanalizy. Zwracam uwagę na nagłówki sekcji tego rozdziału, a następnie dokonuję kilku obserwacji z pamięci, które odnoszą się do tego punktu:

• „jedna liczba nie może streścić dziedziny badawczej”: Dobra metaanaliza modeluje zmienność w rzeczywistych rozmiarach efektów i modeluje niepewność szacunków.
• „problem z szufladą plików unieważnia metaanalizę”: Wykresy lejkowe i powiązane narzędzia pozwalają sprawdzić, czy wielkość próbki jest powiązana z rozmiarem efektu, w celu sprawdzenia stronniczości publikacji. Dobre metaanalizy starają się uzyskać niepublikowane badania. Ten problem jest udostępniany w badaniach narracyjnych.
• „Mieszanie jabłek i pomarańczy”: dobre metaanalizy zapewniają rygorystyczny system kodowania do kategoryzacji obejmujących badania i uzasadniający włączenie i wyłączenie badań w metaanalizie. Po sklasyfikowaniu badań można przeprowadzić analizę moderatora, aby sprawdzić, czy rozmiary efektów różnią się w zależności od typu badania.
• „Ważne badania są ignorowane”: Możesz zakodować ocenianą jakość badań. Duże próbki mogą mieć większą wagę.
• „metaanaliza może się nie zgadzać z randomizowanymi próbami”:
• „metaanalizy są przeprowadzane źle”: To tylko argument na rzecz poprawy standardów metod metaanalitycznych.
• „Czy przegląd narracji jest lepszy?”: Wiele krytyk metaanalizy (np. Stronniczości publikacji) jest podzielanych przez recenzje narracji. Po prostu metody wnioskowania są mniej wyraźne i mniej rygorystyczne w recenzjach narracyjnych.

Z mojego doświadczenia wynika, że ​​robiąc je, jeśli nie zostały wcześniej zrobione, ponieważ nie zapewniasz własnego zwrotu w danym obszarze, to odpowiednie czasopisma nie mają uprzedzeń w stosunku do nich. Metaanaliza nie wejdzie w naukę, ale w twojej dziedzinie dobre czasopisma są zazwyczaj w porządku z nowymi metaanalizami.

Oszczędność czasu i kosztów związanych z niewykonywaniem eksperymentów często pochłania robienie innych rzeczy. Jednym z dużych jest to, że wiele artykułów nie podaje wystarczających informacji do analizy. Często musisz skontaktować się z autorami, aby to odzyskać, a oni niestety wszyscy często nie mogą lub nie będą spełniać żądań. To największy czas pochłaniania tego procesu.

Brakowało Ci również niektórych zalet, takich jak wysokie wskaźniki cytowań. Jeśli jesteś pierwszą i jedyną metaanalizą, nowi badacze bardzo często będą cytować twój artykuł. Kolejnym pro są stosunkowo łatwe badania uzupełniające. Za rok lub dwa, na dynamicznym polu studiów, wystarczy dodać kolejne dwa lata badań w celu uzupełnienia metaanaliz. Jeśli jesteś pierwszym wnioskodawcą, stosunkowo łatwo jest wybrać metaanalizę w obszarze badań. Prowadzi to następnie do stosunkowo wysokich wskaźników cytowań.

Jeśli obawiasz się, że wyniki, które pobierasz z literatury, mają tendencję do publikowania, istnieją techniki statystyczne, takie jak wykresy lejkowe (rozmiar badania (często -se) na osi y i wpływ na x), które można wykorzystać do wykryć takie. Bezstronna literatura na ten temat będzie miała zwykle wyniki symetryczne na wykresie lejkowym, ale efekt ze względu na stronniczość publikacji będzie wyglądał bardziej jak połowa rozkładu. I w przeciwieństwie do eksperymentów, stwierdzenie, że dane wchodzące w skład metaanalizy są stronnicze, można opublikować.

Pomyślałem, że skrytykuję „krytykę metaanalizy”, przepraszając Michaela Borensteina i współpracowników.

• „jedna liczba nie może streścić dziedziny badawczej”: Dobra metaanaliza modeluje zmienność w rzeczywistych rozmiarach efektów i modeluje niepewność szacunków.

! Rozbieżność jest kolejnym potencjalnie mylącym podsumowaniem, podobnie jak brak pewności i oba będą bardzo mylące, jeśli uprzedzenia, które prawie na pewno nie zostaną wyraźnie potraktowane.

• „problem z szufladą plików unieważnia metaanalizę”: Wykresy lejkowe i powiązane narzędzia pozwalają sprawdzić, czy wielkość próbki jest powiązana z rozmiarem efektu, w celu sprawdzenia stronniczości publikacji. Dobre metaanalizy starają się uzyskać niepublikowane badania. Ten problem jest udostępniany w badaniach narracyjnych.

! Jak powiedział kiedyś Box - jak wysyłanie łódki wiosłowej, aby sprawdzić, czy morza są wystarczająco spokojne, aby mogła do nich wpłynąć Królowa Mary. Bardzo niska moc i prawie na pewno źle określony proces cenzury .

• „Mieszanie jabłek i pomarańczy”: dobre metaanalizy zapewniają rygorystyczny system kodowania do kategoryzacji obejmujących badania i uzasadniający włączenie i wyłączenie badań w metaanalizie. Po sklasyfikowaniu badań można przeprowadzić analizę moderatora, aby sprawdzić, czy rozmiary efektów różnią się w zależności od typu badania.

! Znowu beznadziejna moc i zwykle także stronniczość agregacyjna.

• „Ważne badania są ignorowane”: Możesz zakodować ocenianą jakość badań. Duże próbki mogą mieć większą wagę.

! Teraz beznadziejna moc, błędna specyfikacja modelu i błąd systematyczny nie zawsze są właściwie uwzględniane, patrz Informacje na temat błędu wynikającego z wyników jakości w metaanalizie

• „metaanaliza może się nie zgadzać z randomizowanymi próbami”:

! W pełni się zgadzam, a także jedyne źródło o ich prawdziwej niepewności.

• „metaanalizy są przeprowadzane źle”: To tylko argument na rzecz poprawy standardów metod metaanalitycznych.

! W pełni się zgadzam.

• „Czy przegląd narracji jest lepszy?”: Wiele krytyk metaanalizy (np. Stronniczości publikacji) jest podzielanych przez recenzje narracji. Po prostu metody wnioskowania są mniej wyraźne i mniej rygorystyczne w recenzjach narracyjnych.

! W pełni się zgadzam.

Nie wiem, dlaczego wiele z Metaanaliza maintians literatura takich Rose kolorowe okulary - metaanalizy mają być wykonane Metaanaliza badań medycznych: Silna zachęta dla wyższej jakości w poszczególnych wysiłków badawczych , ale powinny być krytycznie zrobić z pełną świadomością wszystkich brzeczki.

I, jak prawie zawsze zapominam, muszę wyjaśnić, co dokładnie mam na myśli przez metaanalizę, ponieważ to, co inni rozumieją, zmieniało się w czasie i miejscu, a być może najczęstsze znaczenie dzisiaj - tylko metody ilościowe zastosowane do uzyskanych liczb uzyskanych w systematycznym przeglądzie - nie to mam na myśli. Mam na myśli cały systematyczny proces przeglądu, nawet jeśli zdecyduje się w ogóle nie stosować żadnych metod ilościowych. Lub tylko w jednym zdaniu cytowanym na wiki

W statystyce metaanaliza odnosi się do metod koncentrujących się na zestawianiu i łączeniu wyników różnych badań, w nadziei na zidentyfikowanie wzorców wśród wyników badań, źródeł niezgodności między tymi wynikami lub innych interesujących relacji, które mogą ujawnić się w kontekście wiele badań.