Standardowe błędy dla wielu współczynników regresji?

Zdaję sobie sprawę, że to bardzo podstawowe pytanie, ale nigdzie nie mogę znaleźć odpowiedzi.

Obliczam współczynniki regresji przy użyciu równań normalnych lub rozkładu QR. Jak obliczyć standardowe błędy dla każdego współczynnika? Zwykle myślę, że standardowe błędy są obliczane jako:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Co to jest dla każdego współczynnika? Jaki jest najskuteczniejszy sposób obliczenia tego w kontekście OLS? $\sigma_{\bar x}$

standard-error regression-coefficients

— Belmont
źródło

Podczas szacowania metodą najmniejszych kwadratów (przy założeniu normalnej składowej losowej) szacunki parametru regresji są zwykle rozkładane ze średnią równą parametrowi regresji rzeczywistej i macierzy kowariancji gdzie jest wariancją resztkową, a jest matrycą projektową. jest transpozycją a jest zdefiniowane przez równanie modelu z parametrami regresji, a jest terminem błędu. Szacowane odchylenie standardowe parametru beta uzyskuje się, przyjmując odpowiedni termin w $\Sigma = s^2\cdot(X^TX)^{-1}$ $s^2$ $X^TX$ $X^T$ $X$ $X$ $Y=X\beta+\epsilon$ $\beta$ $\epsilon$ $(X^TX)^{-1}$ pomnożenie go przez oszacowanie próbki wariancji rezydualnej, a następnie przyjęcie pierwiastka kwadratowego Nie jest to bardzo proste obliczenie, ale każdy pakiet oprogramowania obliczy go i dostarczy w wyniku.

Przykład

Na stronie 134 Draper and Smith (przywołane w moim komentarzu) podają następujące dane do dopasowania modelu gdzie . $Y = \beta_0 + \beta_1 X + \varepsilon$ $\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Wygląda na przykład, w którym nachylenie powinno być bliskie 0.

X^{t} = (\begin{matrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 2 & 2 & 5 & 5 & 9 & 9 & 9 & 9 & 10 \end{matrix}) .

$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$

Więc

X^{t} X = (\begin{matrix} n & \sum X_{i} \\ \sum X_{i} & \sum X_{i}^{2} \end{matrix}) = (\begin{matrix} 10 & 60 \\ 60 & 482 \end{matrix})

$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$

\begin{aligned} (X^{t} X)^{- 1} & = (\begin{matrix} \frac{\sum X_{ja}^{2)}}{n \sum (X_{ja} - \bar{X})^{2)}} & \frac{- \bar{X}}{\sum (X_{ja} - \bar{X})^{2)}} \\ \frac{- \bar{X}}{\sum (X_{ja} - \bar{X})^{2)}} & \frac{1}{\sum (X_{ja} - \bar{X})^{2)}} \end{matrix}) \\ = (\begin{matrix} \frac{482}{10 (122)} & - \frac{6}{122} \\ - \frac{6}{122} & \frac{1}{122} \end{matrix}) \\ = (\begin{matrix} 0,395 & - 0,049 \\ - 0,049 & 0,008 \end{matrix}) \end{aligned}

$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$

gdzie . $\bar{X} = \sum X_i/n = 60/10 = 6$

Oszacowanie dla = (b0) = (Yb-b1 Xb) b1 Sxy / Sxx $β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0,0163 i b0 = 0,5-0,0163 (6) = 0,402

Od powyżej Sb1 = Se (0,008) i Sb0 = Se (0,395), gdzie Se jest szacowanym odchyleniem standardowym dla składnika błędu. Se = √2,3085. $(X^TX)^{-1}$

Przepraszam, że równania nie zawierały indeksowania dolnego i górnego, kiedy je wycinałem i wklejałem. Tabela również nie odtwarzała się dobrze, ponieważ spacje zostały zignorowane. Pierwszy ciąg 3 liczb odpowiada pierwszym wartościom XY i XY i jest taki sam dla kolejnych trzech ciągów. Po Sumie pojawiają się sumy odpowiednio dla XY i XY, a następnie suma kwadratów odpowiednio dla XY i XY. Macierze 2x2 też się popsuły. Wartości po nawiasach powinny znajdować się w nawiasach pod liczbami po lewej stronie.

— Michael R. Chernick
źródło

Nie mam na myśli wtyczki do mojej książki, ale przechodzę przez obliczenia rozwiązania najmniejszych kwadratów w prostej regresji liniowej (Y = aX + b) i obliczam standardowe błędy dla aib, str. 101-103, The Essentials of Biostatistics dla lekarzy, pielęgniarek i lekarzy, Wiley 2011. bardziej szczegółowy opis można znaleźć w Draper and Smith Applied Regression Analysis 3rd Edition, Wiley New York 1998, str. 126-127. W poniższej odpowiedzi wezmę przykład od Drapera i Smitha.

— Michael R. Chernick,

Kiedy zacząłem wchodzić w interakcje z tą witryną, Michael, miałem podobne odczucia. Z doświadczeniem uległy zmianie. Warto znać trochę a kiedy już to zrobisz, jest (prawie) tak szybkie, aby wpisać to, co jest w języku angielskim. Nauczyłem się również, studiując przykładowe posty (takie jak wiele odpowiedzi @chl, kardynał i inni użytkownicy o wysokiej reputacji na post), że dostarczanie referencji, jasnych ilustracji i przemyślanych równań jest zwykle bardzo cenione i dobrze Odebrane. Wysoka jakość to jedna rzecz odróżniająca tę stronę od większości innych.

T E X

$\TeX$

— whuber

To wszystko fajnie, Bill i fajnie, że tylu ludzi poświęca się oferowaniu wysokiej jakości postów. Mogę używać lateksu do innych celów, takich jak publikowanie artykułów. Ale nie mam czasu, aby podjąć wysiłek, którego ludzie oczekują ode mnie na tej stronie. Nie zamierzam poświęcać czasu tylko na świadczenie usług na tej stronie.

— Michael R. Chernick

Myślę, że rozłączenie jest tutaj: „To tylko jedna z wielu rzeczy w tej witrynie, która wymaga od postów poświęcenia dodatkowego czasu i wysiłku” - @whuber i ja mówimy, że w rzeczywistości nie zajmuje to więcej czasu, jeśli wiesz jak to zrobić. Nie uczymy się , abyśmy mogli publikować posty na tej stronie - my (przynajmniej ja) uczymy się ponieważ jest to ważna umiejętność jako statystyka i sprawia, że posty są znacznie bardziej czytelne na tej stronie.

T E X

$\TeX$

T E X

$\TeX$

— Makro

Tak jak wielu ludzi tutaj, tak, pracuję jako statystyk, ale zdarza mi się też, że jest fajnie - ta strona jest dla mnie rekreacyjna i jest fajnym dodatkiem, że inni uważają moje posty za przydatne. Jeśli zauważysz, że zaznaczanie swoich równań jest pracą i nie uważasz, że warto się uczyć, niech tak będzie, ale wiedz, że niektóre z twoich treści zostaną pominięte.

T E X

$\TeX$

— Makro