Morey i in. (2015) twierdzą, że przedziały ufności są mylące i istnieje wiele błędów związanych z ich zrozumieniem. Między innymi opisują błąd precyzji jako:
Błąd Precyzji
Szerokość przedziału ufności wskazuje na dokładność naszej wiedzy o parametrze. Wąskie przedziały ufności pokazują dokładną wiedzę, a szerokie błędy ufności pokazują nieprecyzyjną wiedzę.Nie ma koniecznego związku między precyzją oszacowania a rozmiarem przedziału ufności. Jednym ze sposobów na to jest wyobrażenie sobie, że dwóch badaczy - starszy badacz i doktorant - analizuje dane uczestników z eksperymentu. Jako ćwiczenie z korzyścią dla doktoranta starszy badacz postanawia losowo podzielić uczestników na dwa zestawy po 25 , aby każdy z nich mógł oddzielnie przeanalizować połowę zestawu danych. Na kolejnym spotkaniu obaj dzielą między sobą przedziały ufności t Studenta dla średniej. 95 % CI doktora wynosi 52 ± 2 , a 95 % starszego naukowcaCI wynosi .
Starszy naukowiec zauważa, że ich wyniki są zasadniczo spójne i że mogliby użyć równo ważonej średniej z dwóch odpowiednich oszacowań punktowych, , jako ogólnej oceny prawdziwej średniej.
Doktorantka twierdzi jednak, że ich dwa środki nie powinny być równomiernie ważone: zauważa, że jej CI jest w połowie tak szeroka i argumentuje, że jej szacunki są bardziej precyzyjne i dlatego powinny być ważone bardziej. Jej doradca zauważa, że nie może to być poprawne, ponieważ oszacowanie wynikające z nierównomiernego ważenia dwóch średnich byłoby inne niż oszacowanie wynikające z analizy pełnego zestawu danych, który musi wynosić . Błędem doktoranta jest założenie, że CI bezpośrednio wskazują na dokładność danych.
Powyższy przykład wydaje się wprowadzać w błąd. Jeśli losowo podzielimy próbkę na pół, na dwie próbki, wówczas spodziewalibyśmy się, że zarówno średnie próbki, jak i standardowe błędy będą bliskie. W takim przypadku nie powinno być żadnej różnicy między zastosowaniem średniej ważonej (np. Ważonej przez błędy odwrotne) a użyciem prostej średniej arytmetycznej. Jeśli jednak szacunki się różnią, a błędy w jednej z prób są zauważalnie większe, może to sugerować „problemy” z taką próbką.
Oczywiście, w powyższym przykładzie rozmiary próbek są takie same, więc „łączenie z powrotem” danych poprzez przyjęcie średnich jest takie samo, jak przyjęcie średniej dla całej próbki. Problem polega na tym, że cały przykład jest zgodny ze źle zdefiniowaną logiką, że próbka jest najpierw dzielona na części, a następnie ponownie łączona w celu ostatecznego oszacowania.
Przykład może zostać ponownie sformułowany, aby doprowadzić do dokładnie przeciwnego wniosku:
Badacz i student postanowili podzielić zestaw danych na dwie połowy i przeanalizować je niezależnie. Następnie porównali swoje szacunki i okazało się, że próba oznacza, że ich obliczenia były bardzo różne, a ponadto błąd standardowy w ocenie studenta był znacznie większy. Student obawiał się, że może to sugerować problemy z precyzją jego oszacowania, ale badacz zasugerował, że nie ma związku między przedziałami ufności i precyzją, więc oba szacunki są równie wiarygodne i mogą opublikować dowolne z nich, wybrane losowo, jako ich ostateczne oszacowanie.
Mówiąc bardziej formalnie, „standardowe” przedziały ufności, takie jak Studenta , oparte są na błędach
gdzie jest stałą. W takim przypadku są one bezpośrednie związane z precyzją, prawda?
Więc moje pytanie brzmi:
czy błąd precyzji jest rzeczywiście błędem? Co przedziały ufności mówią o precyzji?
Morey, R., Hoekstra, R., Rouder, J., Lee, M., & Wagenmakers, E.-J. (2015). Błąd polegający na zaufaniu do przedziałów ufności. Biuletyn i przegląd psychonomiczny, 1–21. https://learnbayes.org/papers/confidenceIntervalsFallacy/