Odpowiedź na pytanie 1: Dzieje się tak, ponieważ wartość staje się arbitralnie mała, gdy wielkość próby wzrasta w częstych testach na różnicę (tj. Testy z zerową hipotezą braku różnicy / jakiejś formy równości), gdy prawdziwa różnica dokładnie równa zero , w przeciwieństwie do arbitralnie bliskiego zera, nie jest realistyczny (patrz komentarz Nicka Staunera do PO). Wartość staje się arbitralnie mała, ponieważ błąd statystyk częstych testów zwykle maleje wraz z wielkością próby, w wyniku czego wszystkie różnice są znaczące do arbitralnego poziomu przy wystarczająco dużej wielkości próby . Cosma Shalizi napisał o tym erudycyjnie .ppp
Odpowiedź na pytanie 2: W ramach częstego testowania hipotez można zapobiegać temu, nie wnioskując wyłącznie o wykryciu różnicy . Na przykład, można łączyć wnioski dotyczące różnicy i równoważności, aby nie sprzyjać (lub mieszać!) Ciężarowi dowodu na dowodzie skutku z dowodem braku skutku . Dowody braku efektu pochodzą, na przykład:
- dwa jednostronne testy równoważności (TOST),
- jednolicie najsilniejsze testy równoważności , oraz
- podejście przedziału ufności do równoważności (tj. jeśli % CI statystyki testowej mieści się w z góry określonym zakresie równoważności / istotności, wówczas wnioskuje się równoważność na poziomie istotności ).a-1−2αα
To, co łączy te podejście, to decyzja z góry o tym, jaki rozmiar efektu stanowi istotną różnicę i hipoteza zerowa sformułowana pod względem różnicy przynajmniej tak dużej, jak to, co uważa się za istotne.
Łączone wnioskowanie z testów różnicy i testów równoważności chroni w ten sposób przed uprzedzeniem, które opisujesz, gdy wielkości próbek są w ten sposób duże (tabela dwa na dwa pokazująca cztery możliwości wynikające z połączonych testów różnicy - pozytywistyczna hipoteza zerowa, H - i równoważność - negatywna hipoteza zerowa, H ):- 0+0−0
Zwróć uwagę na lewy górny kwadrant: test obezwładniony to taki, w którym tak odrzucasz hipotezę zerową braku różnicy, ale odrzucasz również hipotezę zerową istotnej różnicy, więc tak, istnieje różnica, ale z góry zdecydowałeś, że nie obchodzi cię to ponieważ jest za mały.
Odpowiedź na pytanie 3: patrz odpowiedź na pytanie 2.