Czy większość opublikowanych korelacji w naukach społecznych jest niewiarygodna i co należy z tym zrobić? [Zamknięte]

9

Pomimo ważnego, ale odrobiny „gotcha” -istycznych wysiłków podejmowanych przez jednostki w celu ujawnienia praktyk drapieżnych czasopism , większe i bardziej fundamentalne zagrożenie kryje się w cieniach badań w dziedzinie nauk społecznych ( choć z pewnością istnieje wiele problemów, którymi naukowcy muszą się zająć ). Aby przejść od razu do rzeczy, zgodnie z jednym poglądem możemy nie być w stanie zaufać współczynnikom korelacji uzyskanym z próbek mniejszych niż 250 .

Trudno byłoby znaleźć test, na którym można by bardziej polegać, aby wywnioskować obecność, kierunek i siłę powiązania między miarami w naukach społecznych niż zaufany współczynnik korelacji. Jednak nie trudno byłoby znaleźć raporty recenzowane, w których można było stwierdzić silne powiązania między dwoma konstruktami na podstawie współczynników korelacji obliczonych na podstawie danych z mniej niż 250 przypadków.

Biorąc pod uwagę obecny kryzys replikacji, przed którym stoją nauki społeczne (patrz drugi link powyżej), jak powinniśmy postrzegać ten raport dotyczący stabilizacji współczynników korelacji tylko w przypadku dużych próbek (przynajmniej według niektórych standardów w dziedzinie nauk społecznych)? Czy to kolejna szczelina w ścianie recenzowanych badań w dziedzinie nauk społecznych, czy jest to względnie trywialna sprawa, która została przesadzona w swojej prezentacji?

Ponieważ prawdopodobnie nie ma jednej poprawnej odpowiedzi na to pytanie, mam nadzieję zamiast tego wygenerować wątek, w którym zasoby dotyczące tego pytania mogą być udostępniane, rozważnie rozważane i dyskutowane (oczywiście grzecznie iz szacunkiem).

correlation methodology publication-bias

— Matt Barstead
źródło

Rozumiem, że jest to pytanie oparte na opiniach i omija ogólne wytyczne strony. Faktem jest, że wiele osób odwiedza tę stronę, aby uzyskać wgląd w statystyki, w tym lepsze zrozumienie pułapek związanych z technikami, które starają się zastosować. Mam nadzieję, że stawiając to szerokie pytanie, mogę pomóc w osiągnięciu tego, co niejasne, celu. Nauka obliczania standardowego błędu to jedno. Kolejną sprawą jest poznanie, co to znaczy władać nim przy podejmowaniu decyzji rzekomo opartej na dowodach.

— Matt Barstead

Co gorsza, wybiera się te „obowiązkowe 250” przypadków. Coraz częściej widzę, że ktoś publikuje prośbę o wypełnienie ankiety, której potrzebuje do pracy lub pracy magisterskiej, na stronie mediów społecznościowych. Uzupełnij temat ankiety. Zupełnie nieświadomy, jak ludzie będą się wybierać. Żegnaj przypadkowe próbki, ponieważ ludzie w czyjejś grupie społecznej nie są przypadkowi, zwykle należą do podobnych grup ideologicznych / politycznych / ekonomicznych, a także wybierają siebie na podstawie tego, jak są zainteresowani tematem. Wskazówka „90% jest za X” , tylko dlatego, że apatyczni nie zgłosili się na ochotnika.

— vsz

7

Dodanie przedziałów ufności dla szacowanych rzeczywistych współczynników korelacji $\rho$ byłby to mały (i bardzo prosty) pierwszy krok we właściwym kierunku. Jego szerokość natychmiast daje wrażenie precyzji korelacji próbki, a jednocześnie pozwala pisarzowi, a także publiczności, przetestować przydatne hipotezy. Co mnie zawsze zastanawiało, kiedy rozmawiałem ze statystykami z nauk społecznych, że powyżej podano współczynnik korelacji próbki absolutnej $L = 0.3$ (lub jakiś inny limit) uznano za znaczący. W tym samym czasie testowali hipotezę roboczą $\rho \ne 0$ . To jest nieistotne. Dlaczego bardzo mały współczynnik korelacji populacji miałby być nagle uznawany za znaczący? Byłaby „poprawna” hipoteza robocza $|\rho| > L$ . Posiadanie przedziału ufności dla $\rho$ pod ręką takie hipotezy można łatwo przetestować: po prostu sprawdź, czy odstęp znajduje się całkowicie powyżej $L$ (albo poniżej $-L$ ) i wiesz, czy możesz twierdzić o „istotnym” powiązaniu statystycznym nawet w populacji.

Oczywiście samo dodanie przedziału ufności i użycie znaczących testów nie rozwiąże zbyt wielu problemów (takich jak złe projekty próbkowania, pominięte rozważanie pomyłek itp.). Ale to w zasadzie za darmo. Sądzę, że nawet SPSS jest w stanie je obliczyć!

— Michael M.
źródło

1

Rzeczywiście, jeśli SPSS jest w stanie to zrobić ... Mówiąc poważniej, myślę, że pomysł położenia nacisku na CI ma sens. Pomogłoby to również w wysiłkach metaanalitycznych. Ponadto wydaje mi się, że zgłaszanie CI zamiast wartości p jest czymś w rodzaju częstego przybliżenia podejścia bayesowskiego. Zawsze uważałem, że modele bayesowskie mają tendencję do „odczuwania” bardziej uczciwości, ponieważ koncentrują się na modelowaniu rozkładu szacunków, a nie na znalezieniu maksymalnie prawdopodobnego oszacowania parametru populacji pochodzącego z pojedynczej próbki.

— Matt Barstead

4

Jak zauważa Michael M. , wiarygodność zgłoszonych korelacji - lub dowolnego innego oszacowania - można ocenić za pomocą przedziałów ufności. To znaczy do pewnego stopnia. CI będą zbyt wąskie, jeśli modele zostaną wybrane po zebraniu danych, które według szacunków zdarzają się w około 95% przypadków w naukach społecznych (co szczerze stwierdzę, jest to całkowicie moje przypuszczenie).

Środek jest dwojaki:

Mówimy o „powtarzalność kryzys ". Dlatego nieudane replikacje informują nas, że pierwotny efekt był prawdopodobnie tylko przypadkowym hałasem. Musimy zrobić (i sfinansować, napisać, przesłać i zaakceptować) więcej replik. Badania replikacji powoli zyskują uznanie, i to jest dobra rzecz.
Drugie lekarstwo jest oczywiście metaanaliza. Jeśli mamy wiele zgłoszonych korelacji podobnych danych, nawet jeśli każdy z nich ma niski poziom $n$ , możemy połączyć informacje i nauczyć się czegoś. Idealnie byłoby nawet w stanie wykryćstronniczość publikacji w trakcie.

— Stephan Kolassa
źródło

@Stephen, pytanie: co oznacza „replikacja”, czy należy używać tych samych danych lub różnych danych do replikacji oryginalnego badania? Czy istnieje różnica między replikacją a powtarzalnością?

— prezenter

Po pierwsze, myślę, że w ciągu ostatnich kilku lat nastąpił prawdziwy ruch w zakresie powielania. W nadchodzącym rozdziale znajdą się porady dla badaczy emocji, które moim zdaniem dobrze przekładają się na wiele podpól w naukach behawioralnych.

— Matt Barstead

@forecaster: należy wykonać replikację z niezależnie gromadzonymi nowymi danymi, w przeciwnym razie nie nauczysz się niczego nowego . „Powtarzalność” nie jest terminem, z którym się zetknąłem. Oczywiście zawsze pojawia się pytanie, czy oryginalna publikacja jest wystarczająco szczegółowa, aby ktoś inny mógł faktycznie powtórzyć analizę.

— Stephan Kolassa