Dlaczego znajdowanie małych efektów w dużych badaniach wskazuje na stronniczość publikacji?

Kilka prac metodologicznych (np. Egger i in. 1997a, 1997b) omawia stronniczość publikacji ujawnioną w metaanalizach, wykorzystując wykresy lejkowe, takie jak ta poniżej.

Artykuł z 1997b mówi dalej, że „jeśli obecne jest stronniczość publikacji, oczekuje się, że spośród opublikowanych badań największe z nich wykażą najmniejsze efekty”. Ale dlaczego tak jest? Wydaje mi się, że wszystko to udowodni to, co już wiemy: małe efekty można wykryć tylko przy dużych próbkach ; nie mówiąc nic o badaniach, które pozostały niepublikowane.

Cytowana praca twierdzi również, że asymetria, która jest wizualnie oceniana na wykresie lejkowym, „wskazuje, że doszło do selektywnej nieopublikowania mniejszych badań przynoszących mniejsze korzyści”. Ale znowu, ja nie rozumiem, jak wszelkie cechy badań, które zostały opublikowane można ewentualnie powiedzieć nam coś (pozwalają nam wnioskować) o dziełach, które nie publikowanych!

Literatura
Egger, M., Smith, GD, i Phillips, AN (1997). Metaanaliza: zasady i procedury . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., i Minder, C. (1997). Odchylenie w metaanalizie wykryte za pomocą prostego testu graficznego . BMJ , 315 (7109), 629-634.

Odpowiedzi tutaj są dobre, +1 dla wszystkich. Chciałem tylko pokazać, jak ten efekt może wyglądać w ekstremalnych przypadkach na wykresie lejkowym. Poniżej symuluję niewielki efekt jako $N(.01, .1)$ i rysuję próbki o wielkości od 2 do 2000 obserwacji.

Szare punkty na wykresie nie byłyby publikowane w ścisłym reżimie $p < .05$ . Szara linia to regresja wielkości efektu w stosunku do wielkości próby, w tym badania „złej wartości p”, podczas gdy czerwona wyklucza te. Czarna linia pokazuje prawdziwy efekt.

Jak widać, w przypadku stronniczości publikacji istnieje silna tendencja do tego, aby małe badania przeceniały rozmiary efektów, a te większe zgłaszały rozmiary efektów bliższe prawdzie.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Utworzono 2019-02-20 przez pakiet reprezentx (v0.2.1)}

Po pierwsze, musimy pomyśleć o tym, co to jest „stronniczość publikacji” i jak wpłynie to na to, co faktycznie trafia do literatury.

$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ jest w rzeczywistości znacznie mniejszy niż to, co zwykle widzimy na podstawie mniejszych eksperymentów, które faktycznie wprowadzają go do publikacji.

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Przeczytaj to oświadczenie w inny sposób:

Jeśli nie ma stronniczości publikacji, wielkość efektu powinna być niezależna od wielkości badania.

To znaczy, jeśli studiujesz jedno zjawisko, wielkość efektu jest właściwością zjawiska, a nie próbką / badaniem.

Szacunki wielkości efektu mogą (i będą) różnić się w zależności od badania, ale jeśli systematycznie maleje wielkość efektu wraz ze wzrostem wielkości badania , sugeruje to tendencyjność. Chodzi o to, że związek ten sugeruje, że istnieją dodatkowe małe badania wykazujące niski rozmiar efektu, które nie zostały opublikowane, a jeśli zostałyby opublikowane, a zatem mogłyby zostać uwzględnione w metaanalizie, ogólne wrażenie byłoby takie, że rozmiar efektu jest mniejszy niż szacuje się na podstawie opublikowanego podzbioru badań.

Zróżnicowanie oszacowań wielkości efektu w różnych badaniach będzie zależeć od wielkości próby, ale powinieneś zobaczyć taką samą liczbę niedoszacowanych i przeszacowanych wartości przy małych rozmiarach próby, jeśli nie było uprzedzeń.