Jakie przykłady czających się zmiennych w kontrolowanych eksperymentach znajdują się w publikacjach?

W tym papierze:

Czające się zmienne: niektóre przykłady Brian L. Joiner The American Statistician Vol. 35, nr 4, listopad 1981 227-233

Brian Joiner twierdzi, że „randomizacja nie jest panaceum”. Jest to sprzeczne z powszechnymi stwierdzeniami, takimi jak poniższe:

Dobrze zaprojektowany eksperyment obejmuje funkcje projektowe, które pozwalają badaczom wyeliminować zewnętrzne zmienne jako wyjaśnienie obserwowanego związku między zmiennymi niezależnymi a zmienną zależną. Te zewnętrzne zmienne nazywane są zmiennymi czającymi się.

Cytat został zaczerpnięty z tego pytania i nie ma źródła, ale z mojego doświadczenia jest reprezentatywny dla dominującej postawy: Przykłady czającej się zmiennej i wpływowej obserwacji

Jednym z podanych przykładów jest to, że podczas testowania bezpieczeństwa (szczególnie rakotwórczości) czerwonego barwnika spożywczego nr 40 na gryzoniach w latach siedemdziesiątych stwierdzono, że wpływ położenia klatki zakłóca badanie. Teraz przeczytałem wiele artykułów z czasopism poświęconych rakotwórczości u gryzoni i nigdy nie widziałem, aby ktokolwiek donosił o kontrolowaniu tego efektu.

Dalszą dyskusję na temat tych badań można znaleźć tutaj: Studium przypadku statystyki w procesie regulacyjnym: eksperymenty FD&C Red nr 40.

Nie mogłem znaleźć wersji nieopłacanej, ale tutaj jest fragment:

Na styczniowym spotkaniu przedstawiliśmy wstępną analizę (14), która ujawniła silną korelację między częstością zgonów w klatce a RE (guz siateczkowo-śródbłonkowy), która wahała się od 17% (dolny rząd) do 32% (górny rząd) (tabela 2). Nie mogliśmy wyjaśnić tego silnego związku seksem, grupą dawkowania, kolumną lub pozycją w stojaku. Kolejna analiza (18) wykazała również, że pozycja klatki (przód vs. tył) może być skorelowana ze śmiertelnością bez RE oraz że pozycja jest skorelowana z czasem do śmierci bez RE.

Jestem szczególnie zainteresowany tym, dlaczego wydaje się, że istnieje taki problem z replikacją w literaturze medycznej, ale przykłady ze wszystkich dziedzin byłyby mile widziane. Zauważ, że interesują mnie przykłady z randomizowanych kontrolowanych eksperymentów, a nie badania obserwacyjne.

Kilka przykładów z badań klinicznych może obejmować zmienne powstałe po randomizacji - randomizacja wcale cię nie chroni. Kilka u szczytu mojej głowy, które zostały podniesione jako możliwe lub odnotowane:

• Zmiany w zachowaniu po dobrowolnym obrzezaniu dorosłego mężczyzny w celu zapobiegania HIV
• Różnica w utracie obserwacji w grupie kontrolnej leczenia i kontroli RCT
• Bardziej konkretny przykład może obejmować niedawne badanie „Korzyści z uniwersalnego ubioru i rękawiczek”, które ma na celu zapobieganie infekcjom szpitalnym ( komentarz na blogu tutaj , artykuł jest za zapłatą). Oprócz interwencji i potencjalnie z jej powodu zmieniły się zarówno wskaźniki higieny rąk, jak i wskaźniki kontaktu między pacjentami a personelem / gośćmi.

Randomizacja chroni przed żadnym z tych efektów, ponieważ powstają one po randomizacji.

Oto jeden przykład, który znalazłem dla danych z mikromacierzy. Stwierdzono, że zmierzona ekspresja jest silnie skorelowana z pozycją na „chipach”. Jest to przypadek, w którym zrandomizowanie pozycji próbek może prowadzić do zwiększonej szansy na błąd w etykietowaniu, więc osoby wykonujące prace techniczne mogą zdecydować się nie losować, jeśli nie uważają tego za istotne.

Losowe przypisanie jednostek eksperymentalnych do leczenia kontroluje prawdopodobieństwo, że przyczyną jest skojarzenie innego czynnika niż leczenie (1,2) ⁠. Na niektórych platformach mikromacierzy, takich jak Illumina® i NimbleGenTM, wiele próbek biologicznych można hybrydyzować z jednym chipem. Efekty położenia czipów i pozycji próbki mogą wpływać na dokładność i odtwarzalność eksperymentów mikromacierzy, chyba że w projekcie eksperymentu uwzględniono równowagę i losowość (4). Naszym celem było porównanie wpływu tych efektów w zdezorientowanym i randomizowanym eksperymencie.

Znaczenie randomizacji w eksperymentalnych projektach mikromacierzy z platformami Illumina

Ricardo A. Verdugo, Christian F. Deschepper i Gary A. Churchill. The Jackson Laboratory, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Kanada.

Mam przykład, który może nieco różnić się od tego, co pierwotnie zamierzałeś, zadając to pytanie. Miniony rok lub dwa doprowadziły do ​​ciągłej dyskusji w psychologii na temat braku powtarzalności efektów z randomizowanych eksperymentów. Wersje tej debaty pojawiają się od wielu lat, ale debata stała się bardziej ostra od czasu publikacji dokumentu pokazującego, że wiele praktyk, które są standardowe w psychologii w formułowaniu hipotez, gromadzeniu danych, analizie danych i raportowaniu wyników pozwalają badaczom znaleźć wyniki potwierdzające nawet arbitralnie wybrane hipotezy (w oryginalnej pracy naukowcy wykorzystali te praktyki, aby pokazać, że słuchanie utworu „Kiedy mam sześćdziesiąt cztery lata” przez Beatlesów czyniło ludzi młodszymi).

Przyczyną problemu są oczywiście wszechobecne struktury motywacyjne w psychologii (i innych naukach) w celu uzyskania nowych, pozytywnych, „możliwych do opublikowania” wyników. Zachęty te zachęcają naukowców do stosowania praktyk, które, choć nie są tak „błędne” jak wytwarzanie danych, prowadzą jednak do wzrostu liczby fałszywie pozytywnych wyników. Praktyki te obejmują:

1. Zbiór wielu bardzo podobnych zmiennych zależnych. Zgłaszana jest tylko zmienna zależna, która daje wyniki najbardziej zgodne z pierwotną hipotezą.
2. Podczas zbierania danych kilkakrotnie testowano znaczące wyniki i zatrzymywano gromadzenie danych po uzyskaniu istotności.
3. Podczas analizy uwzględniono wiele zmiennych towarzyszących w modelu statystycznym. W końcowej pracy przedstawiono tylko kombinację zmiennych towarzyszących, która prowadzi do wyników najbardziej zgodnych z pierwotną hipotezą.
4. Upuszczanie warunków, które prowadzą do wyników niezgodnych z oryginalnymi hyptohezami i niezgłaszanie tych warunków w pracy.

I tak dalej.

Twierdziłbym, że „zmienną czającą się” w tych przypadkach jest struktura motywacyjna, która nagradza badaczy za uzyskiwanie pozytywnych, „możliwych do opublikowania” wyników. W rzeczywistości osiągnięto już kilka głośnych wyników w psychologii (wiele z nich to moja specjalizacja, psychologia społeczna), których nie udało się powielić. Te nieudane replikacje, jak twierdzą wielu, podają w wątpliwość całe pola psychologiczne.

Oczywiście problem struktur motywacyjnych, które zachęcają do fałszywych trafień, nie dotyczy wyłącznie psychologii; jest to problem endemiczny dla całej nauki, a tym samym dla wszystkich badań z randomizacją.

Bibliografia

Simmons, JP, Nelson, LD i Simonsohn, U. (2011). Fałszywie pozytywna psychologia: Nieujawniona elastyczność w gromadzeniu i analizie danych pozwala przedstawić wszystko jako tak znaczące. Psychological Science , 17, 1359-1366.

Nosek, BA, Spies, JR i Motyl, M. (2012). Utopia naukowa: II. Restrukturyzacja zachęt i praktyk w celu promowania prawdy ponad publikowalność. Perspectives on Psychological Science , 7, 615-631.

Yong, E. (2012). Zła kopia. Nature , 485, 298–300.

Abbott, A. (2013). Sporne skutki są świeżym ciosem dla psychologii społecznej. Nature , 497,16.