Co jest złego w dostosowaniach Bonferroni?

Czytam następujący artykuł: Perneger (1998) Co jest nie tak z korektami Bonferroniego .

Autor podsumował stwierdzeniem, że dostosowanie Bonferroniego ma w najlepszym wypadku ograniczone zastosowania w badaniach biomedycznych i nie powinno się go stosować przy ocenie dowodów dotyczących konkretnej hipotezy:

Punkty podsumowujące:

• Dostosowanie istotności statystycznej do liczby testów wykonanych na danych z badań - metoda Bonferroniego - stwarza więcej problemów niż rozwiązuje
• Metoda Bonferroniego dotyczy ogólnej hipotezy zerowej (że wszystkie hipotezy zerowe są prawdziwe jednocześnie), co rzadko jest interesujące lub przydatne dla badaczy
• Główną słabością jest to, że interpretacja wyników zależy od liczby innych przeprowadzonych testów
• Zwiększone jest również prawdopodobieństwo błędów typu II, dlatego naprawdę ważne różnice uznaje się za nieistotne
• Samo opisanie, jakie testy istotności zostały wykonane i dlaczego, jest ogólnie najlepszym sposobem radzenia sobie z wieloma porównaniami

Mam następujący zestaw danych i chcę wykonać wielokrotną korektę testu, ALE nie jestem w stanie zdecydować się na najlepszą metodę w tym przypadku.

Chcę wiedzieć, czy konieczne jest wykonanie tego rodzaju korekty dla wszystkich zestawów danych zawierających listy środków i jaka jest najlepsza metoda korekty w tym przypadku?

Co jest złego w korekcie Bonferroniego oprócz konserwatyzmu wspomnianego przez innych, to co jest nie tak z wszystkimi poprawkami wielokrotności. Nie wynikają one z podstawowych zasad statystycznych i są arbitralne; w świecie częstych nie ma unikalnego rozwiązania problemu wielości. Po drugie, korekty mnogości oparte są na podstawowej filozofii, zgodnie z którą prawdziwość jednego stwierdzenia zależy od tego, jakie inne hipotezy są rozpatrywane. Jest to równoważne z konfiguracją Bayesian, w której poprzednia dystrybucja parametru będącego przedmiotem zainteresowania staje się coraz bardziej konserwatywna, gdy rozważane są inne parametry. Nie wydaje się to spójne. Można powiedzieć, że takie podejście pochodzi od naukowców, którzy zostali „spaleni” przez historię fałszywie pozytywnych eksperymentów, a teraz chcą nadrobić swoje błędy.

Aby nieco rozwinąć, rozważ następującą sytuację. Badacz onkologii zrobił karierę badając skuteczność chemoterapii pewnej klasy. Wszystkie poprzednie 20 jej randomizowanych badań wykazały statystycznie nieistotną skuteczność. Teraz testuje nową chemioterapię w tej samej klasie. Korzyści z przeżycia są znaczące przy$P=0.04$. Kolega wskazuje, że zbadano drugi punkt końcowy (kurczenie się guza) i że do wyniku przeżycia należy zastosować korektę wielokrotności, co zapewni nieznaczną korzyść przeżycia. W jaki sposób kolega podkreślił drugi punkt końcowy, ale nie przejmował się dostosowaniem do 20 poprzednich nieudanych prób znalezienia skutecznego leku? Jak uwzględniłbyś wcześniejszą wiedzę na temat 20 poprzednich badań, gdybyś nie był Bayesianem? Co jeśli nie byłoby drugiego punktu końcowego. Czy kolega uwierzyłby, że wykazano korzyść z przeżycia, ignorując całą wcześniejszą wiedzę?

Podsumował, mówiąc, że dostosowanie Bonferroniego ma w najlepszym wypadku ograniczone zastosowania w badaniach biomedycznych i nie powinno się go stosować przy ocenie dowodów na konkretną hipotezę.

Korekta Bonferroniego jest jedną z najprostszych i najbardziej konserwatywnych technik wielokrotnych porównań. Jest również jednym z najstarszych i z czasem został znacznie ulepszony. Można śmiało powiedzieć, że korekty Bonferroniego mają ograniczone zastosowanie w prawie wszystkich sytuacjach. Istnieje prawie na pewno lepsze podejście. Oznacza to, że będziesz musiał poprawić wiele porównań, ale możesz wybrać metodę mniej konserwatywną i bardziej wydajną.

Mniej konserwatywny

Wiele metod porównań chroni przed uzyskaniem co najmniej jednego fałszywie dodatniego wyniku w rodzinie testów. Jeśli wykonasz jeden test na poziomie , dajesz 5% szansy na uzyskanie fałszywie dodatniego wyniku. Innymi słowy, błędnie odrzucasz swoją hipotezę zerową. Jeśli wykonasz 10 testów na poziomie , wówczas wzrośnie to do = ~ 40% szansy na uzyskanie fałszywie dodatniego wynikuα = 0,05 1 - ( 1 - 0,05 ) $\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

Metodą Bonferroniego używasz na najniższym końcu skali (tj. ), aby chronić swoją rodzinę testów na poziomie . Innymi słowy, jest najbardziej konserwatywny. Teraz możesz zwiększyć powyżej dolnego limitu określonego przez Bonferroni (tj. test mniej konserwatywnym) i nadal chronić rodzinę testów na poziomie . Można to zrobić na wiele sposobów, na przykład metodą Holma-Bonferroniego lub jeszcze lepiej False Discovery Rateα b = α / n n α α b$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

Mocniejszy

Dobrym punktem przywołanym w cytowanym dokumencie jest to, że prawdopodobieństwo błędów typu II jest również zwiększone, tak że naprawdę ważne różnice są uważane za nieistotne.

To jest bardzo ważne. Potężny test to taki, który znajduje znaczące wyniki, jeśli takie istnieją. Korzystając z korekcji Bonferroniego, otrzymujesz mniej wydajny test. Ponieważ Bonferroni jest konserwatywny, moc prawdopodobnie zostanie znacznie zmniejszona. Ponownie, jedna z alternatywnych metod, np. Współczynnik fałszywych odkryć, zwiększy moc testu. Innymi słowy, nie tylko chronisz przed fałszywymi pozytywami, ale także poprawiasz swoją zdolność do znalezienia naprawdę znaczących wyników.

Tak, powinieneś zastosować technikę korekcji, gdy masz wiele porównań. I tak, należy prawdopodobnie unikać Bonferroni na rzecz mniej konserwatywnej i skuteczniejszej metody

Thomas Perneger nie jest statystykiem, a jego praca jest pełna błędów. Więc nie potraktowałbym tego zbyt poważnie. W rzeczywistości został ostro skrytykowany przez innych. Na przykład Aickin powiedział, że artykuł Pernegera „składa się prawie całkowicie z błędów”: Aickin, „Istnieje inna metoda dostosowania wielu testów”, BMJ. 9 stycznia 1999; 318 (7176): 127.

Ponadto żadna z wartości p w pierwotnym pytaniu i tak nie jest <0,05, nawet bez korekty wielokrotności. Prawdopodobnie więc nie ma znaczenia, jaką regulację (jeśli w ogóle) zastosowano.

Może dobrze jest wyjaśnić „uzasadnienie” wielu poprawek testowych, takich jak Bonferroni. Jeśli jest to jasne, będziesz mógł sam ocenić, czy powinieneś je zastosować, czy nie.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

Fałszywy dowód jest złą rzeczą w nauce, ponieważ uważamy, że zdobyliśmy prawdziwą wiedzę o świecie, ale w rzeczywistości mogliśmy mieć pecha z próbką. Tego rodzaju błędy należy w związku z tym kontrolować. Dlatego należy ustalić górną granicę prawdopodobieństwa tego rodzaju dowodów lub kontrolować błąd typu I. Odbywa się to poprzez wcześniejsze ustalenie akceptowalnego poziomu istotności.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

Ważnym faktem jest to, że dwa testy są oparte na jednym i próbce sampe!

Zauważ, że przejęliśmy niezależność. Jeśli nie możesz założyć niezależności, możesz wykazać, używając nierówności Bonferroniego $, że błąd typu I może zwiększyć się do 0,1.

Zauważ, że Bonferroni jest konserwatywny i że krokowa procedura Holma opiera się na tych samych założeniach co w przypadku Bonferroni, ale procedura Holma ma większą moc.

Gdy zmienne są dyskretne, lepiej jest użyć statystyk testowych opartych na minimalnej wartości p, a jeśli jesteś gotowy zrezygnować z kontroli błędów typu I podczas wykonywania ogromnej liczby testów, wówczas procedury False Discovery Rate mogą być bardziej wydajne.

EDYTOWAĆ :

Jeśli np. (Patrz przykład w odpowiedzi @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Fajna dyskusja na temat korekcji Bonferroniego i wielkości efektu http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Również korekta Dunna-Sidaka i podejście połączone prawdopodobieństwa Fishera są warte rozważenia jako alternatywy. Niezależnie od podejścia warto zgłaszać zarówno skorygowane, jak i surowe wartości p plus wielkość efektu, aby czytelnik mógł swobodnie je interpretować.

Po pierwsze, jest wyjątkowo konserwatywny. Metoda Holm-Bonferroni osiąga to, co osiąga metoda Bonferonni (kontrolowanie mądrego wskaźnika błędu rodziny), a jednocześnie jest jednolicie silniejsza.

Należy spojrzeć na metody „False Discovery Rate” jako mniej konserwatywną alternatywę dla Bonferroni. Widzieć

John D. Storey, „POZYTYWNA FAŁSZYWA ODKRYWANIE ODKRYCIA: INTERESET BAYESIAN I WARTOŚĆ q”, The Annals of Statistics 2003, t. 31, nr 6, 2013–2035.