Pojęcie „udowodnione statystycznie”

Kiedy wiadomości mówią o „udowodnieniu statystycznym”, czy używają prawidłowo zdefiniowanej koncepcji statystyki, źle ją stosują, czy po prostu używają oksymoronu?

Wyobrażam sobie, że „dowód statystyczny” nie jest w rzeczywistości czymś wykonywanym w celu udowodnienia hipotezy, ani dowodu matematycznego, ale raczej „testem statystycznym”.

To, o czym ludzie mówią, jest zgadywaniem i różni się w zależności od wiadomości. Być może najczęstsze jest to, że podają jedno zdanie podsumowujące badania, które wymagają kilku stron.

Jednak ostatni akapit jest błędny. Statystycznie, każda rodzina NIE ma 2,4 dzieci. Średnia wynosi 2,4 dzieci. Jest to całkowicie możliwe. Jeśli weźmiesz losową próbkę amerykańskich rodzin (trudne, ale możliwe), uzyskasz oszacowanie średniej. Jeśli jednak przeprowadziłeś spis rodzin, to jeśli spis rzeczywiście obejmował każdą rodzinę (nie ma), lub jeśli osoby, które uzyskały, są reprezentatywne dla osób, których nie otrzymały, w odniesieniu do liczby dzieci, to byś udowodnił fakt.

Jednak spis nie tęskni za ludźmi, ludzie, za którymi tęskni, różnią się pod wieloma względami od ludzi, których dostaje. Biuro Spisu Ludności stara się zatem ustalić, czym się różnią; w ten sposób ponownie podaje się liczbę dzieci w rodzinie.

Ale są rzeczy, które możesz udowodnić; jeśli chcesz wiedzieć, powiedzmy, średnią liczbę lat, jaką nauczał każdy profesor w twoim dziale, możesz uzyskać dokładne dane i podać dokładną średnią.

Twój przedostatni akapit jest również problematyczny, ponieważ testy statystyczne są przeprowadzane właśnie w celu udowodnienia hipotez; a dokładniej, są one wykonywane (zresztą w ramach częstych), aby odrzucić hipotezę zerową na danym poziomie istotności.

Myślę, że - jak w przypadku tak wielu rzeczy - jest to połączenie powszechnego nieporozumienia kulturowego z dziennikarskimi próbami wybicia krótkiego stenogramu, co czasem bywa mylące.

„ Telefony komórkowe powodują raka! ” Sprzedaje więcej reklam niż jakieś wyjaśnienie na temat badania możliwego linku.

Oczywiście wnioski oparte na wnioskach statystycznych nie są dowodem w żadnym trudnym sensie. Opiera się na założeniach, a nawet wtedy wnioski (w najlepszym przypadku) są probabilistyczne (jak otrzymujemy, powiedzmy przy wnioskowaniu bayesowskim), a następnie przy wnioskowaniu częstym należy dodać zwykły błąd błędnej interpretacji wartości p jako prawdopodobieństwo, że zero jest prawdą. To nawet bez uwzględnienia takich kwestii, jak publikacja czy uprzedzenia w zakresie zgłaszania

Podobne błędy widzisz tak samo, jak w przypadku raportów naukowych, i to jest tak samo frustrujące .

Sama nie podoba mi się wyrażenie „statystycznie udowodnione”, ponieważ wydaje mi się, że robi złe wrażenie. Choć dobrze wykonane statystyki są potężnym narzędziem, rzeczy, które faktycznie mówią, mogą być zaskakująco subtelne, a odpowiednia dyskusja na temat znaczenia tego, czego się nauczyliśmy i towarzyszących im kwalifikacji zawartych w wnioskach jest często nieodpowiednia do szumu i wyrazistości nagłówka lub pośpieszne kilka akapitów wciśniętych pomiędzy zwykłe plotki o celebrytach.

Rzeczywiście, nawet w czasopismach akademickich, w których tego rodzaju kwalifikacje wydają się niezbędne, często są one pomijane, a zamiast tego pojawia się sformułowanie formalne (różne w zależności od obszaru badań), które jest uważane za „namaszczenie” wyniku.

Myślę, że jest miejsce na dokładne wyjaśnienie rozumowania, poczynając od wyników wnioskowania (czy to oszacowanie punktowe i przedziałowe, testowanie hipotez, obliczenia teoretyczne czy nawet eksploracyjna konstrukcja kilku porównań wizualnych), aż do wniosków, do których prowadzą. To rozumowanie jest miejscem, w którym leży prawdziwe sedno sprawy (w tym luki w rozumowaniu zostałyby odkryte, gdyby były wyraźne) i rzadko widzimy, że zostało to określone.

Poza tym możemy zachować ostrożność

Wiedza empiryczna jest zawsze probabilistyczna - nigdy wyraźnie nieprawdziwa lub fałszywa, ale zawsze gdzieś pomiędzy. „Dowód” statystyczny polega na zebraniu wystarczającej ilości danych, aby zmniejszyć prawdopodobieństwo, że hipoteza jest błędna, do poziomu poniżej pewnego przyjętego progu. A próg „prawdy” lub „poprawności” różni się w zależności od dyscypliny akademickiej. Socjologowie są zadowoleni z 95% prawdopodobieństwa, że ​​mają rację, a czasami zadowalają się mniejszym; fizycy kwantowi wymagają 99,99999% lub więcej.