Zastanawiałem się, czy ktokolwiek mógłby przedstawić zwięzłe podsumowanie definicji i zastosowania wartości p, poziomu istotności i błędu typu I.
Rozumiem, że wartości p są definiowane jako „prawdopodobieństwo uzyskania statystyki testowej co najmniej tak ekstremalnej jak ta, którą faktycznie obserwowaliśmy”, podczas gdy poziom istotności jest tylko arbitralną wartością odcięcia do oceny, czy wartość p jest znacząca, czy nie . Błąd typu I to błąd odrzuconej hipotezy zerowej, który był prawdziwy. Nie jestem jednak pewien, czy różnica między poziomem istotności a błędem typu I jest nieprawidłowa?
Załóżmy na przykład bardzo prosty eksperyment, w którym rzucam monetą 1000 razy i liczę, ile razy wyląduje na „głowach”. Moja hipoteza zerowa, H0, jest taka, że heads = 500 (bezstronna moneta). Następnie ustawiłem swój poziom istotności na alfa = 0,05.
Przerzucam monetę 1000 razy, a następnie obliczam wartość p, jeśli wartość p wynosi> 0,05, to nie odrzucam hipotezy zerowej, a jeśli wartość p wynosi <0,05, to odrzucam hipotezę zerową.
Teraz, jeśli wykonałbym ten eksperyment wielokrotnie, za każdym razem obliczając wartość p i odrzucając lub nie odrzucając hipotezy zerowej i rejestrując liczbę odrzuconych / nieudanych, ostatecznie odrzucę 5% hipotez zerowych które były w rzeczywistości prawdą, czy to prawda? To jest definicja błędu typu I. Dlatego poziom istotności w testach istotności Fishera jest zasadniczo błędem typu I z testowania hipotezy Neymana-Pearsona, jeśli przeprowadzasz powtarzane eksperymenty.
Jeśli chodzi o wartości p, gdybym uzyskał wartość p 0,06 z mojego ostatniego eksperymentu i wykonałem wiele eksperymentów i policzyłem wszystkie te, które otrzymałem wartość p od 0 do 0,06, to czy też nie miałbym 6% szans na odrzucenie prawdziwej hipotezy zerowej?