Czy korekty wielokrotnych porównań są konieczne dla nieformalnych / wizualnych „wielokrotnych porównań”?

Mam coś w rodzaju filozoficznego pytania o to, kiedy konieczna jest korekta wielokrotnego porównania.

Pomiar ciągłego zmieniającego się czasu sygnału (w dyskretnych punktach czasowych). Od czasu do czasu zdarzają się osobne zdarzenia i chciałbym ustalić, czy zdarzenia te mają znaczący wpływ na zmierzony sygnał.

Mogę więc wziąć średni sygnał, który następuje po zdarzeniu, i zwykle widzę tam jakiś efekt z pewnym szczytem. Jeśli wybiorę czas tego szczytu i powiem test t, aby ustalić, czy jest on znaczący, a kiedy zdarzenie nie występuje, czy muszę wykonać wielokrotną korektę porównania?

Chociaż kiedykolwiek wykonałem tylko jeden test t (obliczona wartość 1), w początkowej inspekcji wizualnej wybrałem ten, który ma największy potencjalny efekt z (powiedzmy) 15 różnych wykreślonych punktów czasowych po opóźnieniu. Czy muszę wykonać wielokrotną korektę porównania dla tych 15 testów, których nigdy nie przeprowadziłem?

Gdybym nie używał inspekcji wizualnej, ale po prostu testowałem przy każdym opóźnieniu zdarzenia i wybrałem najwyższy, z pewnością musiałbym poprawić. Jestem tylko trochę zdezorientowany, czy muszę czy nie, jeśli wybór „najlepszego opóźnienia” jest dokonywany na podstawie innego kryterium niż sam test (np. Wybór wizualny, najwyższa średnia itp.)

Technicznie rzecz biorąc, kiedy dokonujesz wstępnego wyboru miejsca wykonania testu, powinieneś już to poprawić: twoje oczy i mózg już omijają pewne niepewności w danych, których nie bierzesz pod uwagę, jeśli po prostu wykonasz test w tym momencie .

Wyobraź sobie, że twój „szczyt” jest naprawdę płaskowyżem, a ty ręcznie wybierasz różnicę „szczytową”, a następnie przeprowadzasz test na tym, i okazuje się to mało znaczące. Gdyby przeprowadzić test nieco bardziej w lewo lub w prawo, wynik mógłby ulec zmianie. W ten sposób musisz wziąć pod uwagę proces preselekcji: nie masz całkowitej pewności, którą oświadczasz! Jesteś przy użyciu danych zrobić selekcję, dzięki czemu skutecznie wykorzystują tę samą informację dwukrotnie.

Oczywiście w praktyce bardzo trudno jest wyjaśnić coś takiego jak proces zbierania rąk, ale to nie znaczy, że nie powinieneś (lub przynajmniej wziąć / podać wynikowe przedziały ufności / wyniki testu z ziarnem soli).

Wniosek : zawsze wykonuj wiele porównań, jeśli wykonujesz wiele porównań, niezależnie od tego, jak wybrałeś te porównania. Jeśli nie zostały wybrane przed obejrzeniem danych, należy to dodatkowo poprawić.

Uwaga: alternatywą dla korekty ręcznej preselekcji (np. Gdy jest to praktycznie niemożliwe) jest prawdopodobnie podanie wyników, aby w sposób oczywisty zawierały odniesienia do selekcji ręcznej. Ale to chyba nie są „powtarzalne badania”.

Dawno temu, podczas jednej z moich pierwszych lekcji statystyki, czytałem o tym w tekście (myślę, że było to stare wydanie książki Cohena na temat regresji), w której powiedziano „to pytanie, którzy rozsądni ludzie mogą się różnić”.

Nie jest dla mnie jasne, czy ktokolwiek kiedykolwiek musi poprawić wiele porównań, a jeśli tak, to w jakim okresie lub zestawie porównań powinien poprawić. Każdy artykuł? Każda regresja lub ANOVA? Wszystko, co publikują na dany temat? Co z tym, co publikują INNE osoby?

Gdy piszesz w pierwszym wierszu, jest to filozoficzne.

Jeśli próbujesz podejmować jednorazowe decyzje dotyczące rzeczywistości i chcesz kontrolować szybkość, z jaką fałszywie odrzucasz hipotezę zerową, wówczas użyjesz testu istotności hipotezy zerowej (NHST) i będziesz chciał użyć korekty do wielu porównań. Jednak, jak zauważa Peter Flom w swojej odpowiedzi, nie jest jasne, jak zdefiniować zestaw porównań, w odniesieniu do których zastosować korektę. Najłatwiejszym wyborem jest zestaw porównań zastosowany do danego zbioru danych, i jest to najczęstsze podejście.

Jednak nauka jest prawdopodobnie najlepiej pojmowana jako kumulatywny system, w którym jednorazowe decyzje nie są konieczne i w rzeczywistości służą jedynie zmniejszeniu wydajności gromadzenia dowodów (redukując uzyskane dowody do jednego kawałka informacji). Zatem jeśli zastosujemy właściwie naukowe podejście do analizy statystycznej, unikając NHST dla narzędzi takich jak iloraz prawdopodobieństwa (być może również podejścia Bayesa), wówczas „problem” wielokrotnych porównań znika.

Możliwą alternatywą dla korekty, w zależności od pytania, jest sprawdzenie istotności sumy wartości p. Możesz nawet ukarać się za test, którego nie wykonano, dodając wysokie wartości p.

Można zastosować rozszerzenia (które nie wymagają niezależności) metody Fishera (wymagające niezależności testu).

Na przykład. Metoda Kosta

Jedną bardzo ważną rzeczą do zapamiętania jest to, że wielokrotna korekta testowania zakłada niezależne testy. Jeśli dane, które analizujesz, nie są niezależne, sprawy stają się nieco bardziej skomplikowane niż po prostu korekta liczby wykonanych testów, musisz wziąć pod uwagę korelację między analizowanymi danymi lub Twoja korekta będzie prawdopodobnie zbyt konserwatywna i będziesz mają wysoki poziom błędu typu II. Przekonałem się, że wzajemne sprawdzanie poprawności, testy permutacyjne lub ładowanie początkowe mogą być skutecznymi sposobami radzenia sobie z wieloma porównaniami, jeśli są właściwie stosowane. Inni wspominali o stosowaniu FDR, ale może to dawać niepoprawne wyniki, jeśli w twoich danych jest dużo nie-niezależności, ponieważ zakłada, że ​​wartości p są jednolite we wszystkich testach poniżej wartości zerowej.