Analityczne rozwiązanie szacunków współczynnika regresji liniowej

Próbuję zrozumieć notację macierzową i pracuję z wektorami i macierzami.

W tej chwili chciałbym zrozumieć, jak obliczany jest wektor współczynników szacunkowych w regresji wielokrotnej.$\hat{\beta}$

Wydaje się, że podstawowe równanie

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Jak mam rozwiązać tutaj wektor $\beta$ ?

Edycja : Czekaj, utknąłem. Jestem tu teraz i nie wiem, jak kontynuować:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Z dla wszystkich jest przechwyceniem:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Czy możesz wskazać mi właściwy kierunek?

Mamy

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Można to pokazać, pisząc równanie wprost ze składnikami. Na przykład napisz zamiast . Następnie weź pochodne w odniesieniu do , , ..., i wszystko w stos, aby uzyskać odpowiedź. Aby szybko i łatwo zilustrować, możesz zacząć od .$(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Z doświadczeniem opracowuje się ogólne zasady, z których niektóre podano np. W tym dokumencie .

Edytuj, aby poprowadzić dodaną część pytania

Przy mamy$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Pochodna w odniesieniu do to$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Podobnie pochodną względem jest$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Stąd pochodną względem jest$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Teraz zauważ, że możesz przepisać ostatnie wyrażenie jako

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Oczywiście wszystko robi się w ten sam sposób dla większego .$p$

Możesz także użyć formuł z książki kucharskiej Matrix . Mamy

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Teraz weź pochodne każdego terminu. Możesz zauważyć, że . Pochodna terminu w odniesieniu do wynosi zero. Pozostały okres$\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

ma formę funkcji

$$f(x)=x'Ax+b'x,$$

we wzorze (88) w książce na stronie 11, z , i . Pochodna jest podana we wzorze (89):$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

więc

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Teraz, ponieważ otrzymujemy pożądane rozwiązanie:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Oto technika minimalizacji sumy kwadratów w regresji, która faktycznie ma zastosowania do bardziej ogólnych ustawień i która uważam za przydatną.

Spróbujmy całkowicie uniknąć rachunku macierzy wektorowej.

Załóżmy, że jesteśmy zainteresowani minimalizowaniem gdzie , i . Przyjmujemy dla uproszczenia, że i .

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Dla każdego otrzymujemy $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Jeśli możemy wybrać (znaleźć!) Wektor taki, że ostatni termin po prawej stronie wynosi zero dla każdego , to zrobilibyśmy to, ponieważ oznaczałoby to, że .$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Ale, dla wszystkich wtedy i tylko wtedy, gdy i to ostatnie równanie jest prawdziwe tylko wtedy, gdy . Więc jest zminimalizowane poprzez wzięcie .$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Chociaż może to wydawać się „sztuczką” pozwalającą uniknąć rachunku różniczkowego, ma on jednak szersze zastosowanie i interesującą geometrię.

Jednym z przykładów, w których ta technika sprawia, że ​​wyprowadzenie jest znacznie prostsze niż jakiekolwiek podejście rachunku macierzowego-wektorowego, jest uogólnienie na przypadek macierzy. Niech , i . Załóżmy, że chcemy zminimalizować w całej macierzy parametrów . Tutaj jest macierzą kowariancji.$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Całkowicie analogiczne podejście do powyższego szybko ustala, że ​​minimum osiąga się przyjmując Oznacza to, że w ustawieniach regresji, w których odpowiedź jest wektorem z kowariancją a obserwacje są niezależne, wówczas oszacowanie OLS osiąga się poprzez wykonanie oddzielnych regresji liniowych na elementach odpowiedzi.$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Jednym ze sposobów, który może pomóc Ci zrozumieć, jest niestosowanie algebry macierzy i różnicowanie każdego elementu względem każdego komponentu, a następnie „przechowywanie” wyników w wektorze kolumny. Więc mamy:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Teraz masz tych równań, po jednym dla każdej beta. Jest to proste zastosowanie reguły łańcucha:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Teraz możemy ponownie zapisać sumę w nawiasie jako Otrzymujesz:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Teraz mamy tych równań i „ułożymy je” w wektorze kolumny. Zauważ, że jest jedynym terminem zależnym od , więc możemy ułożyć to w wektor i otrzymamy:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Teraz możemy wziąć wersję beta poza sumę (ale musi pozostać na RHS sumy), a następnie wziąć odwrotność:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$