Jak wykryć, które z nich jest lepsze, gdy dają sprzeczne wyniki?

Tak często natrafiasz w prasie na różne badania, które prowadzą do przeciwnych wyników. Mogą być one związane z testowaniem nowego leku na receptę lub zasługi konkretnego składnika odżywczego lub czegokolwiek innego w tym zakresie.

Kiedy dwa takie badania prowadzą do sprzecznych wyników, jak możesz stwierdzić, które z nich jest najbliższe prawdzie?

Myślę, że odpowiedź Jeromy'ego jest wystarczająca, jeśli analizujesz dwa badania eksperymentalne lub faktyczną metaanalizę. Ale często mamy do czynienia z badaniem dwóch badań nieeksperymentalnych i mamy za zadanie ocenić zasadność tych dwóch odmiennych wyników.

Jak sugeruje lista pytań sklepu spożywczego Cyrusa , sam temat nie nadaje się do krótkiej odpowiedzi, a całe książki mają na celu właśnie takie pytanie. Wszystkim zainteresowanym przeprowadzeniem badań danych nie eksperymentalnych zdecydowanie polecam lekturę

Eksperymentalne i quasi-eksperymentalne projekty uogólnionego wnioskowania przyczynowego Williama R. Shadisha, Thomasa D. Cooka, Donalda Thomasa Campbella (słyszałem również, że starsze wersje tego tekstu są równie dobre).

Kilka przedmiotów, o których wspominał Jeromy (większe rozmiary próbek i większy rygor metodologiczny), a wszystko, o czym wspomniał Cyrus, będzie uważane za coś, co Campbell i Cook nazywają „wewnętrzną ważnością”. Obejmują one aspekty projektu badań i metody statystyczne zastosowane do oceny związku między X i Y. W szczególności jako krytycy martwimy się aspektami, które mogą wpływać na wyniki i zmniejszać wiarygodność wyników. Ponieważ jest to forum poświęcone analizie statystycznej, wiele odpowiedzi koncentruje się wokół metod statystycznych, aby zapewnić obiektywne szacunki niezależnie od ocenianego związku. Ale są to inne aspekty projektu badawczego niezwiązane z analizą statystyczną, które zmniejszają wiarygodność wyników bez względu na to, jakie rygorystyczne długości ma się w ich analizie statystycznej (takie jak wzmianka Cyrusa o kilku aspektach wierności eksperymentu, które można rozwiązać, ale których nie można rozwiązać metody statystyczne, a jeśli wystąpią, zawsze będą obniżać ważność wyników badań). Istnieje wiele innych aspektów wewnętrznej ważności, które stają się kluczowe w ocenie przy porównywaniu wyników badań nieeksperymentalnych, które nie zostały tu wymienione, oraz aspekty projektów badawczych, które mogą odróżnić wiarygodność wyników. Nie wydaje mi się, aby zbyt szczegółowe było tu wchodzenie w szczegóły

Campbell i Cook odnoszą się również do „zewnętrznej ważności” badań. Ten aspekt projektowania badań ma często znacznie mniejszy zakres i nie zasługuje na tyle uwagi, co ważność wewnętrzna. Zewnętrzna ważność zasadniczo dotyczy uogólnienia wyników i powiedziałbym, że laicy często potrafią dość dobrze ocenić zewnętrzną ważność, o ile znają ten temat. Krótkie opowiadanie przeczytało książkę Shadisha, Cooka i Campbella.

Analiza meta literatura jest istotne pytanie. Za pomocą technik metaanalitycznych można wygenerować oszacowanie efektu zainteresowania zebrane w różnych badaniach. Takie techniki często badają wagę pod względem wielkości próby.

W kontekście metaanalizy badacze rozmawiają o modelach efektu stałego i modelu efektu losowego (patrz Hunter i Schmidt, 2002 ). Model ze stałym efektem zakłada, że ​​wszystkie badania oceniają ten sam efekt populacji. Model efektów losowych zakłada, że ​​badania różnią się szacowanym efektem populacyjnym. Model efektów losowych jest zazwyczaj bardziej odpowiedni.

W miarę gromadzenia się większej liczby badań dotyczących konkretnego związku, możliwe stają się bardziej wyrafinowane podejścia. Na przykład można kodować badania pod kątem różnych właściwości, takich jak postrzegana jakość, a następnie zbadać empirycznie, czy wielkość efektu różni się w zależności od tych cech badania. Poza jakością mogą istnieć pewne teoretycznie istotne różnice między badaniami, które łagodzą związek (np. Charakterystyka próbki, poziomy dawkowania itp.).

Ogólnie rzecz biorąc, ufam badaniom z:

• większe rozmiary próbek
• większy rygor metodologiczny
• orientacja potwierdzająca (np. nie badanie, w którym badano korelacje między 100 różnymi składnikami odżywczymi a 50 wynikami zdrowotnymi)
• brak konfliktu interesów (np. nie przez firmę z komercyjnym interesem w wykazaniu związku; nie przez badacza, który ma motywację do znalezienia znaczącego wyniku)

Ale to powiedziało, że musisz zachować losowe pobieranie próbek i teoretycznie znaczące różnice między badaniami, jako prawdopodobne wyjaśnienie sprzecznych wyników badań.

Nie zastanawiałbym się nad metaanalizą, dopóki nie przyjrzysz się źródłom, czy potencjalne uprzedzenia lub zmiany w populacjach docelowych. Jeśli są to badania efektów leczenia, czy leczenie przydzielono losowo? Czy były odstępstwa od protokołu? Czy była niezgodność? Czy brakuje danych o wynikach? Czy próbki zostały pobrane z tej samej ramki? Czy była odmowa uczestnictwa? Błędy implementacyjne? Czy błędy standardowe zostały poprawnie obliczone, uwzględniając klastrowanie i czy są zgodne z różnymi założeniami parametrycznymi? Myślę, że dopiero po udzieleniu odpowiedzi na te pytania problemy z metaanalizą zaczynają wchodzić w obraz. Musi być rzadkie, aby w przypadku jakichkolwiek dwóch badań metaanaliza była odpowiednia, chyba że jesteś skłonny poczynić jedno heroiczne założenia.