UWAGA: w tej odpowiedzi chcę podkreślić, że istotność statystyczna jest użytecznym narzędziem, ale także różni się od prawdy.
Weź paczkę 52 kart. Jeśli mój klient jest niewinny, jest to normalna paczka kart, 13 serc. Jeśli mój klient kłamie, jest to ustalona paczka, a wszystkie 52 karty to serca.
Dobieram pierwszą kartę i to jest serce. Aha, winny! Cóż, oczywiście zdrowy rozsądek mówi nam, że tak nie jest: istniała jedna na cztery szanse, że tak się stanie, nawet gdyby był niewinny. Nie mamy znaczenia statystycznego po prostu patrząc na jedną kartę.
Więc dobieramy drugą kartę. Kolejne serce Hhhmmm ... zdecydowanie winny! Cóż, w pozostałych 51 kartach było 12 serc, więc nie jest to niemożliwe. Matematyka (13/52 * 12/51 = 0,0588) mówi nam, że dzieje się to w około 6% przypadków, nawet jeśli są niewinne. Dla większości naukowców nadal się to nie liczy.
Dobierz trzecią kartę, kolejne serce! Trzy z rzędu. Szanse na to są (13/52 * 12/51 * 11/50 = 0,01294), więc nieco ponad 1% czasu może się to zdarzyć przypadkowo.
W dużej części nauki 5% stosuje się jako punkt odcięcia. Więc jeśli nie masz innych dowodów niż te trzy karty, masz statystycznie istotny wynik, że jest winny.
Ważną kwestią jest to, że im więcej kart będziesz mógł spojrzeć, tym większe będzie twoje zaufanie do jego winy, co jest innym sposobem na stwierdzenie, że większe staje się znaczenie statystyczne.
UWAGA: nigdy nie masz dowodu jego winy, chyba że możesz spojrzeć na 14 kart. Przy normalnej talii kart teoretycznie możliwe jest wylosowanie 13 serc z rzędu, ale 14 jest niemożliwe. [Poza pedantami: załóżmy, że liczby na kartach nie są widoczne; wszystkie karty są jednym z czterech możliwych kolorów i tyle.]
UWAGA: masz dowód jego niewinności w chwili, gdy wyciągniesz dowolną kartę inną niż serce. Jest tak, ponieważ były tylko dwie możliwe paczki: normalna lub wszystkie serca. Rzeczywistość jest bardziej skomplikowana, a matematyka również bardziej skomplikowana.
Nawiasem mówiąc, jeśli twój klient nie jest graczem karcianym, wypróbuj Monopol: wszyscy rzucają czasem szóstkę; ale jeśli ktoś rzuci podwójnie sześć za każdym razem, gdy będziesz podejrzliwy. Statystyki pozwalają nam tylko ustalić dokładną liczbę podejrzeń.