Czy test t i jednokierunkowa ANOVA są testami Walda?

11

Test t do testowania, czy średnia normalnie rozłożonej próbki jest równa stałej, jest testem Walda, poprzez oszacowanie standardowego odchylenia średniej próbki na podstawie informacji Fishera o rozkładzie normalnym w średniej próbki. Ale statystyka testu w teście t ma rozkład t-studenta, podczas gdy test staistyczny w teście Walda asymptotycznie ma rozkład chi-kwadrat. Zastanawiam się, jak to wyjaśnić?

W jednostronnej ANOVA statystykę testową definiuje się jako stosunek wariancji między klasami do wariancji wewnątrz klasy. Zastanawiałem się, czy to także test Walda? Ale statystyka testowa w jednostronnej ANOVA ma rozkład F, a statystyka testowa w teście Walda asymptotycznie ma rozkład chi-kwadrat. Zastanawiam się, jak to wyjaśnić?

Dziękuję i pozdrawiam!

hypothesis-testing anova

— Tim
źródło

17

Rozważ następującą konfigurację. Mamy -wymiarowy wektor parametrów który całkowicie określa model, i estymator maksymalnego prawdopodobieństwa . Informacja Fishera w jest oznaczona . Co jest zwykle określany jako statystyka Wald jest $p$ $\theta$ $\hat{\theta}$ $\theta$ $I(\theta)$

(\hat{θ} - θ)^{T.} ja (\hat{θ}) (\hat{θ} - θ)

$(\hat{\theta} - \theta)^T I(\hat{\theta}) (\hat{\theta} - \theta)$

gdzie jest informacją Fishera ocenianą w estymatorze największego prawdopodobieństwa. W warunkach prawidłowości statystyka Walda podąża asymptotycznie a -dystrybucja z stopniami swobody, gdy jest prawdziwym parametrem. Statystyka Walda może być wykorzystana do przetestowania prostej hipotezy na całym wektorze parametrów. $I(\hat{\theta})$ $\chi^2$ $p$ $\theta$ $H_0 : \theta = \theta_0$

Przy odwrotna informacja Fishera, statystyka testowa Walda hipotezy to Jego asymptotyczny rozkład jest rozkładem z 1 stopniem swobody. $\Sigma(\theta) = I(\theta)^{-1}$ $H_0 : \theta_1 = \theta_{0,1}$

\frac{({\hat{θ}}_{1} - θ_{0, 1})^{2)}}{Σ (\hat{θ})_{ja ja}} .

$\frac{(\hat{\theta}_1 - \theta_{0,1})^2}{\Sigma(\hat{\theta})_{ii}}.$

χ^{2}

$\chi^2$

W przypadku normalnego modelu, w którym jest wektorem parametrów średniej i wariancji, statystyka testu Walda, jeśli wynosi z wielkością próbki. Tutaj jest estymatorem największego prawdopodobieństwa (gdzie dzielisz przez ). -test parametrem jest , gdzie jest Nienaprężone estymatorem wariancji (gdzie dzielenia przez ) . Statystyka testu Walda jest prawie, ale nie dokładnie, równa kwadratowi $\theta = (\mu, \sigma^2)$ $\mu = \mu_0$

\frac{n (\hat{μ} - μ_{0})^{2)}}{{\hat{σ}}^{2)}}

$\frac{n(\hat{\mu} - \mu_0)^2}{\hat{\sigma}^2}$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

n

$n$

t

$t$

\frac{\sqrt{n} (\hat{μ} - μ_{0})}{s}

$\frac{\sqrt{n}(\hat{\mu} - \mu_0)}{s}$

s^{2}

$s^2$

n - 1

$n-1$

t

$t$ -test statystyki, ale są asymptotycznie równoważne, gdy . Kwadratowa statystyka -test ma dokładną dystrybucję , która jest zbieżna z z 1 stopniem swobody dla .

n \to \infty

$n \to \infty$

t

$t$

F (1, n - 1)

$F(1, n-1)$

χ^{2}

$\chi^2$

n \to \infty

$n \to \infty$

Ta sama historia dotyczy testu w jednostronnej ANOVA. $F$

— NRH
źródło

Dzięki! Właśnie odkryłem, że statystyka testu t jest konstruowana bezpośrednio na podstawie statystyki testu prawdopodobieństwa, a nie na statystyce testu Walda. Czy jednokierunkowa ANOVA opiera się bezpośrednio na teście współczynnika wiarygodności?

— Tim

3

@Tim, testy stosowane w ANOVA są równoważne testom współczynnika wiarygodności opartym na normalnym rozkładzie błędów.

F

$F$

— NRH

Dzięki! W ramach normalnego modelu statystycznego niektórzy twierdzą również, że rozkład niewielkiej modyfikacji statystyki testu Walda ma rozkład F poniżej zera. Czy to prawda? Zadaję pytanie tutaj

— Tim

13

@NRH dał dobrą odpowiedź teoretyczną, oto ta, która ma być prostsza, bardziej intuicyjna.

Istnieje formalny test Walda (opisany w odpowiedzi NRH), ale odnosimy się również do testów, które sprawdzają różnicę między oszacowanym parametrem a jego hipotetyczną wartością w stosunku do wariancji oszacowanej przy szacowanym parametrze jako test w stylu Walda. Test t, jak zwykle go używamy, jest testem stylu Wald, nawet jeśli różni się nieco od dokładnego testu Walda (różnica vs. $n$ $n-1$ wewnątrz pierwiastka kwadratowego). Moglibyśmy nawet zaprojektować test stylu Wald na podstawie szacunkowej mediany pomniejszonej o hipotetyczną medianę podzieloną przez funkcję IQR, ale nie wiem, jaki byłby rozkład, lepiej byłoby użyć ładowania początkowego, permutacji lub symulacji rozkład dla tego testu, a nie zależny od asymptotyków chi-kwadrat. Test F dla ANOVA pasuje również do ogólnego wzorca, licznik można uznać za pomiar różnicy średnich od ogólnej średniej, a mianownik jest miarą zmienności.

Należy również zauważyć, że jeśli kwadratowa zmienna losowa, która następuje po rozkładzie, będzie miała rozkład F o wartości 1 df dla licznika, a mianownik df będzie równy rozkładowi t. Zauważ też, że rozkład F o nieskończonym mianowniku df jest rozkładem chi-kwadrat. Oznacza to, że zarówno statystyka t (kwadrat), jak i statystyka F są asymptotycznie chi-kwadrat, podobnie jak statystyka Walda. Po prostu używamy dokładniejszego rozkładu w praktyce.

— Greg Snow
źródło