Biorąc pod uwagę wystarczająco dużą wielkość próby, test zawsze pokaże znaczący wynik, chyba że rzeczywisty rozmiar efektu wynosi dokładnie zero. Czemu?

Jestem ciekawy twierdzenia zawartego w artykule Wikipedii dotyczącym wielkości efektu . Konkretnie:

[...] porównanie statystyczne o wartości innej niż zero zawsze będzie wykazywać statystycznie znaczące wyniki, chyba że wielkość efektu populacji będzie dokładnie równa zero

Nie jestem pewien, co to oznacza / sugeruje, nie mówiąc już o argumentach na poparcie tego. Wydaje mi się, że w końcu efektem jest statystyka, tj. Wartość obliczona z próbki, z własnym rozkładem. Czy to oznacza, że ​​efekty nigdy nie wynikają z przypadkowej zmienności (co, jak rozumiem, oznacza nieistotność)? Czy wtedy zastanawiamy się tylko, czy efekt jest wystarczająco silny - mając wysoką wartość bezwzględną?

Rozważam efekt, który znam najbardziej: współczynnik korelacji Pearsona r wydaje się temu zaprzeczać. Dlaczego każdy byłby $r$ statystycznie nieznaczące? Jeśli $r$ jest małe, nasza linia regresji

$$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$$

Dla $\epsilon$ small, jest bliskie 0, test F prawdopodobnie będzie zawierał przedział ufności zawierający 0 dla nachylenia. Czy to nie kontrprzykład?

Jako prosty przykład, załóżmy, że szacuję twój wzrost za pomocą statystycznego mumbo-jumbo.

Zawsze mówiłeś innym, że masz 177 cm (około 5 stóp 10 cali).

Gdybym miał przetestować tę hipotezę (że twój wzrost jest równy 177 cm, ) i mógłbym wystarczająco zmniejszyć błąd w moim pomiarze, to mógłbym udowodnić, że tak naprawdę nie jesteś 177 cm. Ostatecznie, jeśli oszacuję twoją wysokość do wystarczającej liczby miejsc po przecinku, prawie na pewno odejdziesz od podanej wysokości 177,00000000 cm. Być może masz 177,02 cm; Muszę tylko zmniejszyć mój błąd do mniej niż 0,02, aby dowiedzieć się, że nie masz 177 cm wzrostu.$h = 177$

Jak zmniejszyć błąd w statystykach? Zdobądź większą próbkę. Jeśli otrzymasz wystarczająco dużą próbkę, błąd staje się tak mały, że możesz wykryć najbardziej drobne odchylenia od hipotezy zerowej.

Jak zauważa @Kodiologist, tak naprawdę chodzi o to, co dzieje się w przypadku dużych próbek. W przypadku małych próbek nie ma powodu, dla którego nie można uzyskać fałszywych wyników pozytywnych ani fałszywych wyników negatywnych.

Myślę, że -test sprawia asymptotyczne najczystszy przypadek. Załóżmy, że mamy X 1 , … , X $z$i chcemy przetestowaćH0:μ=0vsHA:μ≠0. Nasza statystyka testowa wynosi Zn= ˉ X n-$X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$$H_0: \mu = 0$$H_A: \mu \neq 0$

$$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$$

więcZn=$\bar X_n \sim \mathcal N(\mu, \frac 1n)$. Jesteśmy zainteresowani$Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$ . $P(|Z_n| \geq \alpha)$= 1 + Φ ( - α - μ

$$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$$ NiechY $$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$$ będzie naszą zmienną odniesienia. Pod H 0 μ = 0, więc mamy P ( | Z n | ≥ α ) = 1 - P ( - α ≤ Y ≤ α ), więc możemy wybrać α, aby kontrolować nasz wskaźnik błędów typu I według potrzeb. Ale pod H A μ $Y \sim \mathcal N(0,1)$$H_0$ $\mu = 0$$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$$\alpha$$H_A$ więc P(|Z$\mu \sqrt n \neq 0$ więc z prawdopodobieństwem 1 odrzucimy H 0, jeśli μ ≠ 0 ( ± jest w przypadku μ < 0 , ale w obu przypadkach nieskończoności mają ten sam znak). $$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$$ $H_0$$\mu \neq 0$$\pm$$\mu < 0$

Chodzi o to, że jeśli dokładnie równa się 0, to nasza statystyka testowa ma rozkład odniesienia i odrzucimy 5% (lub cokolwiek innego) czasu. Ale jeśli μ nie jest dokładnie 0 , to prawdopodobieństwo, że odrzucimy głowice do 1, gdy n wzrasta. Chodzi tutaj o spójność testu, to znaczy, że pod H A moc (prawdopodobieństwo odrzucenia) zmierza do 1 jako n → ∞ .$\mu$ $0$$\mu$$0$$1$$n$$H_A$$1$$n \to \infty$

$H_0 : \rho = \rho_0$$H_A: \rho \neq \rho_0$$1$

Być może to, co powiedzieli, jest złe, jeśli nie z innego powodu niż ich użycie „ zawsze tak się dzieje”.

Nie wiem, czy to jest sedno zamieszania, które masz , ale opublikuję to, ponieważ myślę, że wielu robi i będzie się tym mylić:

„$X$$n$$n > n_0$$X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

To, co dosłownie mówią, tłumaczy się następująco:

$n$$n_0$

Co oni próbują powiedzieć, chociaż, co następuje:

Dla każdego poziomu istotności, wraz ze wzrostem wielkości próbki, prawdopodobieństwo, że test inny niż zerowy da znaczący wynik, zbliża się do 1, jeśli rzeczywisty rozmiar efektu nie jest dokładnie zerowy.

Istnieją tutaj zasadnicze różnice:

• Nie ma gwarancji. Bardziej prawdopodobne jest uzyskanie znaczącego wyniku przy większej próbce. Teraz mogliby uniknąć części winy tutaj, ponieważ jak dotąd jest to tylko kwestia terminologii. W kontekście prawdopodobieństwa, to jest zrozumiałe, że stwierdzenie „jeśli n jest wystarczająco duże, wówczas X” może być również interpretowane jako oznaczające „X staje się coraz bardziej prawdopodobne, aby mogło być prawdziwe jak n rośnie duży” .
  Jednak ta interpretacja wychodzi mi z okna, gdy tylko mówią, że zawsze tak się dzieje. Właściwą terminologią byłoby tutaj stwierdzenie, że dzieje się to „ z dużym prawdopodobieństwem ” ¹ .

• 
  $n > n_0$

Ale kiedy zrozumiesz literaturę, otrzymasz to, co próbują powiedzieć.

(Nota boczna: nawiasem mówiąc, jest to dokładnie jeden ze stałych problemów wielu osób z Wikipedią. Często można zrozumieć, co mówią, jeśli znasz już materiał, więc jest dobry tylko w celach informacyjnych lub jako przypomnienie , nie jako materiał do samokształcenia).

_{¹ Dla innych pedantów (cześć!) Tak, termin ten ma bardziej szczegółowe znaczenie niż to, z którym się łączyłem. Najluzszym terminem technicznym, który prawdopodobnie chcemy tutaj, jest „asymptotycznie prawie na pewno” . Zobacz tutaj .}

Moim ulubionym przykładem jest liczba palców według płci. Zdecydowana większość ludzi ma 10 palców. Niektórzy stracili palce z powodu wypadków. Niektóre mają dodatkowe palce.

Nie wiem, czy mężczyźni mają więcej palców niż kobiety (średnio). Wszystkie łatwo dostępne dowody sugerują, że zarówno mężczyźni, jak i kobiety mają po 10 palców.

Jestem jednak bardzo przekonany, że gdybym przeprowadził spis wszystkich mężczyzn i wszystkich kobiet, dowiedziałbym się, że jedna płeć ma więcej palców (średnio) niż druga.