Intuicja za

10

Zamkniętą formę w regresji liniowej można zapisać jako

$\hat{w}=(X^TX)^{-1}X^Ty$

Jak intuicyjnie wyjaśnić rolę w tym równaniu? $(X^TX)^{-1}$

— Darszak
źródło

2

Czy mógłbyś wyjaśnić, co rozumiesz przez „intuicyjnie”? Na przykład istnieje cudownie intuicyjne wyjaśnienie w kategoriach przestrzeni produktów wewnętrznych, przedstawione w Plane Odpowiedzi Christensena na złożone pytania, ale nie wszyscy docenią to podejście. Jako kolejny przykład w mojej odpowiedzi na stronie stats.stackexchange.com/a/62147/919 znajduje się geometryczne wyjaśnienie , ale nie wszyscy postrzegają relacje geometryczne jako „intuicyjne”.

— whuber

Intuicyjnie przypomina to, co oznacza $ (X ^ TX) ^ {- 1}? Czy to jakiś rodzaj obliczenia odległości czy coś takiego, nie rozumiem tego.

— Darshak

1

Jest to w pełni wyjaśnione w odpowiedzi, do której linkowałem.

— whuber

To pytanie już istnieje, choć być może nie ma satysfakcjonującej odpowiedzi math.stackexchange.com/questions/2624986/...

— Sextus Empiricus

5

Uważam, że te posty są szczególnie pomocne:

Jak uzyskać estymator najmniejszych kwadratów dla wielokrotnej regresji liniowej?

Związek między SVD a PCA. Jak używać SVD do wykonywania PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Jeżeli jest matrycy czym macierz wyznacza występ na powierzchni kolumny . Intuicyjnie, masz nadokreślony układ równań, ale nadal chcesz go używać do definiowania liniowa mapa , która będzie mapować wiersze od do czegoś blisko wartości , $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ . Postanawiamy więc wysłać do najbliższej rzeczy która może być wyrażona jako liniowa kombinacja twoich cech (kolumny ). $X$ $y$ $X$

Jeśli chodzi o interpretację , nie mam jeszcze niesamowitej odpowiedzi. Wiem, że możesz myśleć o jako o zasadzie macierzy kowariancji zestawu danych. $(X^TX)^{-1}$ $(X^TX)$

— James McKeown
źródło

jest czasami nazywany „macierzą rozproszenia” i jest po prostu powiększoną wersją macierzy kowariancji

(X^{T} X)

$(X^T X)$

— JacKeown,

4

Geometryczny punkt widzenia

Geometrycznej punktu widzenia może być jak n-wymiarowych wektorów i będących punktami w n-wymiarowej przestrzeni . gdzie $y$ $X\beta$ $V$ jest również w podprzestrzeniobjętej przez wektory. $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

Dwa rodzaje współrzędnych

Dla tej podprzestrzeni możemy wyobrazić sobie dwa różne typy współrzędnych : $W$

Do $\boldsymbol{\beta}$ są jak współrzędne dla regularnych współrzędnych przestrzeni. Wektor w przestrzeni jest liniową kombinacją wektorów $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
Do $\boldsymbol{\alpha}$ nie są współrzędne w regularnych sensie, ale robią określić punkt w podprzestrzeni . Każde $W$ $\alpha_i$ odnosi się do prostopadłych rzutów na wektory . Jeśli stosujemy wektor jednostkowy (dla uproszczenia), a następnie „współrzędnych” do wektora może być wyrażona jako: $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
oraz zbiór wszystkich współrzędnych jako:

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

Mapowanie między współrzędnymi i $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

dla wyrażenie „współrzędne” staje się konwersją ze współrzędnych na „współrzędne” $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

Możesz zobaczyć jako wyrażenie, ile każdy rzutuje na drugi $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ $x_j$

Następnie interpretację geometryczną można postrzegać jako mapę od wektorowych „współrzędnych” do współrzędnych liniowych . $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

Wyrażenie podaje rzut „współrzędnych” i $\mathbf{X^Ty}$ $\mathbf{y}$ zamienia je w . $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

Uwaga : W projekcji „Współrzędne” od są takie same, w postaci rzutu „współrzędnych” od od czasu $\mathbf{y}$ $\mathbf{\hat{y}}$ . $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

— Sextus Empiricus
źródło

Bardzo podobne konto w temacie stats.stackexchange.com/a/124892/3277 .

— ttnphns

Rzeczywiście bardzo podobne. Dla mnie ten widok jest bardzo nowy i musiałem się nad tym zastanowić. Zawsze widziałem regresję najmniejszych kwadratów pod względem rzutu, ale w tym punkcie widzenia nigdy nie próbowałem zrozumieć intuicyjnego znaczenia dla części

lub zawsze widziałem to w bardziej pośrednim wyrażeniu

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$ .

— Sextus Empiricus

3

Zakładając, że znasz prostą regresję liniową: i jej rozwiązanie :

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

Łatwo zobaczyć, jak odpowiada licznikowi powyżej, a odwzorowuje na mianownik. Ponieważ mamy do czynienia z macierzami, kolejność ma znaczenie. jest macierzą KxK, a jest wektorem Kx1. Dlatego kolejność jest następująca: $X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

— Aksakal
źródło

Ale sama ta analogia nie mówi, czy przed lub po wielokrotności z odwrotnością.

— kjetil b halvorsen

@kjetilbhalvorsen, I uporządkować operacje

— Aksakal

Intuicja za

Geometryczny punkt widzenia

Dwa rodzaje współrzędnych

Mapowanie między współrzędnymi i βαα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

Mapowanie między współrzędnymi i $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$