Zrozumienie testu t dla regresji liniowej

Próbuję wypracować sposób przeprowadzenia testu hipotez regresji liniowej (hipoteza zerowa nie koreluje). Wydaje się, że każdy przewodnik i strona na temat, na które natrafiam, używa testu t-testowego. Ale nie rozumiem, co tak naprawdę oznacza test t dla regresji liniowej. Test t, o ile nie mam całkowicie błędnego zrozumienia lub modelu mentalnego, służy do porównania dwóch populacji. Ale regressor i regressand nie są próbkami podobnych populacji i mogą nawet nie być tej samej jednostki, więc ich porównywanie nie ma sensu.

Tak więc, gdy używamy testu t na regresji liniowej, co tak naprawdę robimy?

Prawdopodobnie myślisz o dwóch próbnych testach $t$ ponieważ często jest to pierwsze miejsce, w którym pojawia się rozkład $t$ . Ale tak naprawdę wszystko, co oznacza test $t$ polega na tym, że rozkład odniesienia dla statystyki testu jest rozkładem $t$ . Jeśli $Z \sim \mathcal N(0,1)$ i $S^2 \sim \chi^2_d$ z $Z$ i $S^2$niezależnych 2 , to

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ z definicji. Piszę to, aby podkreślić, żerozkład$t$jest tylko nazwą, która została nadana rozkładowi tego stosunku, ponieważ często się pojawia, a wszystko w tej formie będzie miało$t$ rozkład . W przypadku testu t dla dwóch próbek współczynnik ten pojawia się, ponieważ pod zerą różnica średnich jest zerową średnią Gaussa, a oszacowanie wariancji dla niezależnych Gaussian jest niezależne $\chi^2$ (niezależność można wykazać za pomocą twierdzenia Basu który wykorzystuje fakt, że standardowe oszacowanie wariancji w próbce Gaussa jest pomocnicze w stosunku do średniej populacji, podczas gdy średnia próby jest kompletna i wystarczająca dla tej samej ilości).

Z regresją liniową uzyskujemy w zasadzie to samo. W postaci $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ . Niech $S^2_j = (X^T X)^{-1}_{jj}$ i przyjmijmy, że predyktory $X$ są nieprzypadkowe. Gdybyśmy wiedzieli, $\sigma^2$ musielibyśmy p j - 0 pod zerowymH0:βj=0,więc faktycznie mielibyśmy test Z. Ale gdy szacujemyσ2możemy skończyć zχ2zmiennej losowej, że zgodnie z naszymi założeniami normalności okazuje się być niezależne od naszej statystycznej p ja następnie otrzymujemytdystrybucję.

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ $H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$$t$

---

Oto szczegóły: załóżmy . Niech H = X ( X T X ) - 1 X T będzie macierzą kapelusza, którą mamy ‖ e ‖ 2 = ‖ ( I - H ) y ‖ 2 = y T ( I - H ) y . H jest idempotentny, więc mamy naprawdę fajny wynik $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ z parametrem niecentralności δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0 , więc w rzeczywistości jest to centralna χ 2 z n - $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$ stopnie swobody (jest to szczególny przypadek twierdzenia Cochrana ). Używam $p$ do oznaczenia liczby kolumn , więc jeśli jedna kolumna X daje punkt przecięcia, mielibyśmy p - 1 predyktory nieprzechodzące. Niektórzy autorzy używają p jako liczby predyktorów przechwytujących, więc czasami możesz zobaczyć coś takiego jak n - p - 1 w stopniach swobody, ale to wszystko to samo.$X$$X$$p-1$$p$$n-p-1$

Wynikiem tego jest to, że , więc σ 2 : = $E(e^Te / \sigma^2) = n-p$działa świetnie jako estymatorσ2.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Oznacza to, że β j to stosunek standardowego kwadratu Gaussa do chi kwadrat podzielony przez stopnie swobody. Aby to zakończyć, musimy wykazać się niezależnością i możemy użyć następującego wyniku:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

Wyniki: dla i macierzy i B w R l x K i R m x K odpowiednio Z i B Z są niezależnie wtedy i tylko wtedy, gdy Σ B , T = 0 (to wykonywanie 58 (b) w rozdziale 1 statystyk matematycznych Jun Shao ).$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

Mamy β = ( X, T, X ) - 1 X T r i e = ( I - H ) y , gdzie y ~ N ( X β , Ď 2 I ) . Oznacza to ( X T X ) - 1 X T ⋅ σ 2 I ⋅ ( I - H ) T = σ 2$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ tak, beta ⊥e, i dlatego beta ⊥ e t e.

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

Skutek jest taki, teraz wiemy, p j w razie potrzeby (w wszystkie powyższe założenia).

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

$C = {A \choose B}$ be the $(l+m)\times k$ matrix formed by stacking $A$ on top of $B$. Then

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ where $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$ is a multivariate Gaussian and it is a well-known result that two components of a multivariate Gaussian are independent if and only if they are uncorrelated, so the condition $A\Sigma B^T = 0$ turns out to be exactly equivalent to the components $AZ$ and $BZ$ in $CZ$ being uncorrelated.

$\square$

@Chaconne's answer is great. But here is a much shorter nonmathematical version!

Since the goal is to compute a P value, you first need to define a null hypothesis. Almost always, that is that the slope is actually horizontal so the numerical value for the slope (beta) is 0.0.

The slope fit from your data is not 0.0. Is that discrepancy due to random chance or due to the null hypothesis being wrong? You can't ever answer that for sure, but a P value is one way to sort-of-kind-of get at an answer.

The regression program reports a standard error of the slope. Compute the t ratio as the slope divided by its standard error. Actually, it is (slope minus null hypothesis slope) divided by the standard error, but the null hypothesis slope is nearly always zero.

Now you have a t ratio. The number of degrees of freedom (df) equals the number of data points minus the number of parameters fit by the regression (two for linear regression).

With those values (t and df) you can determine the P value with an online calculator or table.

It is essentially a one-sample t-test, comparing an observed computed value (the slope) with a hypothetical value (the null hypothesis).