Trudno mi zrozumieć, na czym tak naprawdę polega problem z wieloma porównaniami . Z prostą analogią mówi się, że osoba, która podejmie wiele decyzji, popełni wiele błędów. Stosuje się więc bardzo konserwatywne środki ostrożności, takie jak korekcja Bonferroniego, aby prawdopodobieństwo, że osoba ta popełni jakikolwiek błąd, na jak najniższym poziomie.
Ale dlaczego zależy nam na tym, czy dana osoba popełniła jakikolwiek błąd wśród wszystkich swoich decyzji, a nie na odsetku błędnych decyzji?
Pozwól, że wyjaśnię, co myli mnie z inną analogią. Załóżmy, że jest dwóch sędziów, jeden ma 60 lat, a drugi ma 20 lat. Następnie poprawka Bonferroniego mówi temu, który ma 20 lat, że jest tak konserwatywny, jak to możliwe, decydując się na egzekucję, ponieważ będzie pracował jeszcze przez wiele lat jako sędzia, podejmie o wiele więcej decyzji, więc musi być ostrożny. Ale ten w wieku 60 lat prawdopodobnie wkrótce przejdzie na emeryturę, podejmie mniej decyzji, dzięki czemu będzie bardziej nieostrożny w porównaniu do drugiego. Ale w rzeczywistości obaj sędziowie powinni być równie ostrożni lub konserwatywni, niezależnie od całkowitej liczby decyzji, jakie podejmą. Myślę, że ta analogia mniej więcej przekłada się na rzeczywiste problemy związane z zastosowaniem korekcji Bonferroniego, co uważam za sprzeczne z intuicją.