Dlaczego rozkład T jest wykorzystywany do hipotez testujących współczynnik regresji liniowej?

17

W praktyce powszechne jest stosowanie standardowego testu T do sprawdzenia znaczenia współczynnika regresji liniowej. Mechanika obliczeń ma dla mnie sens.

Dlaczego rozkład T można wykorzystać do modelowania standardowej statystyki testowej stosowanej w testowaniu hipotez regresji liniowej? Standardowa statystyka testu, o której mowa tutaj:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Nate Parke
źródło

Pełna i kompletna odpowiedź na to pytanie będzie dość długa, jestem pewien. Więc czekając, aż ktoś to rozwiąże, możesz całkiem dobrze zrozumieć, dlaczego tak jest, patrząc na niektóre notatki, które znalazłem tutaj: onlinecourses.science.psu.edu/stat501/node/297 . Zauważ, że

.

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$

— StatsStudent

1

Nie mogę uwierzyć, że to nie duplikat, a jednak wszystkie głosy poparcia (zarówno w kwestii pytania, jak i odpowiedzi) ... A co z tym ? A może nie jest to duplikat, co oznacza, że istnieją (lub były do dziś) super-podstawowe tematy, które nie zostały omówione przez prawie siedem lat istnienia Cross Validated ... Wow ...

— Richard Hardy

@RichardHardy Hmm, to brzmi jak duplikat. Choć jest to bardziej gadatliwy, pytanie jest w szczególności: „W jaki sposób mogę udowodnić, że dla , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Firebug

26

Aby zrozumieć, dlaczego używamy rozkład t, trzeba wiedzieć, co jest podstawową rozkład i reszta sumy kwadratów ( ), ponieważ te dwa razem wzięte daje rozkład t. $\widehat{\beta}$ $RSS$

Łatwiej jest to rozkład , który jest rozkład normalny - oczekuje Należy zauważyć, że = jest więc funkcją liniową , gdzie $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ . W wyniku tego jest również rozkład $Y\sim N(X\beta, \sigma^{2}I_{n})$ - daj mi znać, jeśli potrzebujesz pomocy wyprowadzenia rozkładu . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

Dodatkowo, , gdzie jest liczbą obserwacji, a jest liczbą parametrów zastosowanych w regresji. Dowód tego jest nieco bardziej zaangażowany, ale także prosty do uzyskania (patrz dowód tutaj Dlaczego RSS jest dystrybuowany chi razy razy np? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

Do tego momentu Rozważałam wszystko w macierz / wektor notacja, ale niech do wykorzystania prostoty i używać jej rozkład normalny, który da $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

Dodatkowo z rozkładu chi- wynika, że: $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

Było to po prostu przegrupowanie pierwszego wyrażenia chi-kwadrat i jest niezależne od . Dodatkowo definiujemy $N(0,1)$ , który jest obiektywnym estymatorem dla. Zgodnie z definicjądzielenie rozkładu normalnego przez niezależny kwadrat chi (ponad jego stopnie swobody) daje rozkład t (dla dowodu patrz:norma podzielona przez $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ daje T-dowód - dowód $\sqrt{\chi^2(s)/s}$ ) otrzymujesz:

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

Gdzie . $s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Daj mi znać, czy to ma sens.

— francium87d
źródło

co za świetna odpowiedź! Czy mógłbyś

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$ ?

— KingDingeling

4

Odpowiedź jest w rzeczywistości bardzo prosta: używasz t-dystrybucji, ponieważ został właściwie zaprojektowany specjalnie do tego celu.

$x_1,x_2,\dots,x_n$ $\bar x=\sum_{i=1}^n x_i/n$ $\bar x$

$\sigma$ $\xi=(\bar x-\mu)\sqrt n/\sigma$ $\mathcal N(0,1)$ $\sigma$ $\hat\sigma$ $\sigma$ $\hat\sigma$

$\hat\sigma_\beta$ $\hat\beta$ $\sigma$

— Aksakal
źródło