Czy kolejność zmiennych objaśniających ma znaczenie przy obliczaniu ich współczynników regresji?

Początkowo myślałem, że kolejność nie ma znaczenia, ale potem przeczytałem o procesie ortogonalizacji Gram-Schmidta do obliczania wielu współczynników regresji, a teraz mam inne przemyślenia.

Zgodnie z procesem gram-schmidta, im później zmienna objaśniająca jest indeksowana wśród innych zmiennych, tym mniejszy jest jej wektor resztkowy, ponieważ odejmuje się od niego wektory resztkowe poprzedzających zmiennych. W rezultacie współczynnik regresji zmiennej objaśniającej jest również mniejszy.

Jeśli to prawda, to wektor resztkowy danej zmiennej byłby większy, gdyby został wcześniej zindeksowany, ponieważ odejmowanych byłoby mniej wektorów resztkowych. Oznacza to, że współczynnik regresji byłby również większy.

Ok, więc zostałem poproszony o wyjaśnienie mojego pytania. Więc zamieściłem zrzuty ekranu z tekstu, który wprawił mnie w zakłopotanie. OK, proszę bardzo.

Rozumiem, że istnieją co najmniej dwie opcje obliczania współczynników regresji. Pierwsza opcja jest oznaczona (3.6) na zrzucie ekranu poniżej.

Pierwszy sposób

Oto druga opcja (musiałem użyć wielu zrzutów ekranu).

Drugi sposób

wprowadź opis zdjęcia tutaj

O ile czegoś źle nie odczytam (co jest zdecydowanie możliwe), wydaje się, że kolejność ma znaczenie w drugiej opcji. Czy to ma znaczenie w pierwszej opcji? Dlaczego lub dlaczego nie? A może mój układ odniesienia jest tak zawalony, że nie jest to nawet ważne pytanie? Czy to wszystko ma jakiś związek z sumą kwadratów typu I i sumą kwadratów typu II?

Z góry dziękuję, jestem taki zdezorientowany!

regression multiple-regression regression-coefficients

— Ryan Zotti
źródło

Czy mógłbyś nakreślić dokładną procedurę obliczania współczynników? Z tego, co wiem o ortogonalizacji gram-schmidta i o tym, jak można ją zastosować do problemu regresji, mogę założyć, że stosując procedurę gs można dopasować regresję, ale nie oryginalne współczynniki. Zauważ, że dopasowanie regresji jest rzutem na przestrzeń kolumn. Jeśli ortogonalizujesz kolumny, otrzymasz ortogonalną podstawę przestrzeni obejmującej kolumny, dlatego dopasowanie będzie liniową kombinacją tej podstawy, a także liniową kombinacją oryginalnych kolumn. Będzie tak samo ...

— mpiktas

ale współczynniki będą różne. To jest całkowicie normalne.

— mpiktas

Myślę, że jestem zdezorientowany, ponieważ pomyślałem, że przeczytałem w „Elementach statystycznego uczenia się”, że współczynniki obliczone przy użyciu procesu gram-schmidta będą takie same jak współczynniki obliczone przy użyciu tradycyjnego procesu: B = (X'X) ^ - 1 X'y.

— Ryan Zotti

Oto fragment książki, która mówi o procedurze: „Możemy zobaczyć oszacowanie [współczynników] jako wynik dwóch zastosowań prostej regresji. Kroki są następujące: 1. regresuj x na 1, aby uzyskać resztkowe z = x - x ̄1; 2. cofnij y na resztkowej wartości z, aby uzyskać współczynnik βˆ1. Przepis ten uogólnia się na przypadek wejść p, jak pokazano w algorytmie 3.1. Zauważ, że dane wejściowe z0, ..., zj − 1 w kroku 2 są ortogonalne, stąd obliczone proste współczynniki regresji są w rzeczywistości również współczynnikami regresji wielokrotnej. ”

— Ryan Zotti

Robi się trochę niechlujny, gdy kopiuję i wklejam tutaj sekcję komentarzy, więc prawdopodobnie najlepiej po prostu spojrzeć bezpośrednio na źródło. Jest to strona 53 do 54 „Elementów statystycznego uczenia się”, którą można bezpłatnie pobrać ze strony Stanforda: www-stat.stanford.edu/~tibs/ElemStatLearn .

— Ryan Zotti

Odpowiedzi:

Uważam, że zamieszanie może wynikać z czegoś nieco prostszego, ale daje mi dobrą okazję do przeglądu niektórych powiązanych kwestii.

$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$

{\hat{β}}_{ja} \overset{?}{=} \frac{⟨ y, z_{ja} ⟩}{‖ z_{ja} ‖^{2)}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

{\hat{β}}_{p}

$\bhat_p$

Kolejny schemat ortogonalizacji (forma ortogonalizacji Gram – Schmidta) (prawie) tworzy parę macierzy i takie, że gdzie $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$

X = Z sol,

$\m X = \Z \G \>,$

Z

$\Z$ jest pz kolumnami ortonormalnymi, a jest górny trójkątny. Mówię „prawie”, ponieważ algorytm określa tylko do norm kolumn, które na ogół nie będą jednością, ale można sprawić, by miały normę jednostkową poprzez normalizację kolumn i dokonanie odpowiedniego prostego dostosowania współrzędnych matryca .

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

Zakładając oczywiście, że ma rangę , unikalnym rozwiązaniem najmniejszych kwadratów jest wektor który rozwiązuje układ $\m X \in \mathbb R^{n \times p}$ $p \leq n$ $\bhat$

X^{T.} X \hat{β} = X^{T.} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

Zastępstwo $\m X = \Z \G$ i używając (z konstrukcji), otrzymujemy co jest równoważne $\Z^T \Z = \m I$

{sol}^{T.} sol \hat{β} = {sol}^{T.} Z^{T.} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

sol \hat{β} = Z^{T.} y .

$\G \bhat = \Z^T \m y \>.$

Teraz skoncentruj się na ostatnim rzędzie układu liniowego. Jedynym niezerowym elementem w ostatnim wierszu jest . Otrzymujemy więc $\G$ $g_{pp}$

{sol}_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ .

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$ Nietrudno dostrzec (zweryfikować to jako sprawdzenie zrozumienia!), Żei to daje rozwiązanie. ( Lektor z : użyłem już znormalizowanego, aby mieć normę jednostkową, podczas gdy w książce tego nie mają . To wyjaśnia fakt, że książka ma kwadratową normę w mianowniku, podczas gdy ja mam tylko normę.)

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

Aby znaleźć wszystkie współczynniki regresji, należy wykonać prosty krok do zastąpienia w celu rozwiązania dla indywidualnego . Na przykład dla wiersza $\bhat_i$ $(p-1)$ , a więc Można kontynuować tę procedurę, pracując „wstecz” od ostatniego wiersza systemu do pierwszego, odejmując ważone sumy współczynników regresji już obliczonych, a następnie dzieląc przez wiodący termin aby uzyskać .

{sol}_{p - 1, p - 1} {\hat{β}}_{p - 1} + {sol}_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = {sol}_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - {sol}_{p - 1, p - 1}^{- 1} {sol}_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

Chodzi o to, że w sekcji ESL możemy zmienić kolejność kolumn aby uzyskać nową macierz przy czym ta oryginalna kolumna jest teraz ostatnią. Jeśli następnie zastosujemy procedurę Gram – Schmidta na nowej macierzy, otrzymamy nową ortogonalizację, dzięki czemu rozwiązanie dla pierwotnego współczynnika znajdziemy w prostym powyższym rozwiązaniu. To daje nam interpretację współczynnika regresji . Jest to regresja jednowymiarowa na wektorze resztkowym uzyskana przez „regresję” pozostałych kolumn macierzy projektowej z . $\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ $\m x_r$

Ogólne rozkłady QR

Procedura Gram-Schmidt ale Sposób wytwarzania QR rozkład . Rzeczywiście istnieje wiele powodów, aby preferować inne podejścia algorytmiczne niż procedurę Gram – Schmidta. $\m X$

Odbicia domu i rotacje Givens zapewniają bardziej stabilne numerycznie podejście do tego problemu. Należy zauważyć, że powyższy rozwój nie zmienia się w ogólnym przypadku rozkładu QR. Mianowicie, niech być dowolnego rozkładu QR . Następnie, stosując dokładnie takie same rozumowania i manipulacje algebraiczne, jak powyżej, mamy rozwiązanie najmniejszych kwadratów spełnia co upraszcza Ponieważ jest trójkątem górnym, działa ta sama technika zastępowania. Najpierw rozwiązujemy dla

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T.} R \hat{β} = R^{T.} Q^{T.} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T.} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$ a następnie przejdź do tyłu od dołu do góry. Wybór dla których QR rozkładu algorytm użyć ogólnie zawiasy kontrolowanie niestabilności numerycznej i z tej perspektywy, Gram-Schmidt generalnie nie jest konkurencyjna podejście.

Pojęcie dekompozycji jako macierzy ortogonalnej razy coś innego można również uogólnić nieco dalej, aby uzyskać bardzo ogólną formę dopasowanego wektora , ale obawiam się, że ta odpowiedź stała się już zbyt długa . $\m X$ $\hat{\m y}$

— kardynał
źródło

książkę i wygląda na to, że ćwiczenie 3.4 może być przydatne w zrozumieniu koncepcji używania GS do znalezienia wszystkich współczynników regresji (nie tylko współczynnika końcowego $\beta_j$ $\beta_p$ - więc napisałem rozwiązanie. Mam nadzieję, że to jest przydatny.

Ćwiczenie 3.4 w języku ESL

Pokaż, w jaki sposób można uzyskać wektor współczynników najmniejszych kwadratów z jednego przejścia procedury Grama-Schmidta. Reprezentuj swoje rozwiązanie pod względem rozkładu QR $X$ .

Rozwiązanie

Przypomnijmy, że za pomocą jednego przejścia procedury Grama-Schmidta możemy zapisać naszą macierz jako gdzie zawiera kolumny ortogonalne , a jest macierzą o górnej przekątnej z tymi na przekątnej, a . Jest to odzwierciedleniem faktu, że z definicji $X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{jot} = z_{jot} + \sum_{k = 0}^{jot - 1} γ_{k jot} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

Teraz przez $QR$ rozkład , możemy napisać $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

$\hat \beta$

(X^{T.} X) \hat{β} = X^{T.} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T.} Q^{T.}) (Q R) \hat{β} & = R^{T.} Q^{T.} y \\ R \hat{β} & = Q^{T.} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2)}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

— Andrew Tulloch
źródło

Dlaczego nie spróbować i porównać? Dopasuj zestaw współczynników regresji, a następnie zmień kolejność i dopasuj je ponownie i sprawdź, czy różnią się (inne niż możliwy błąd zaokrąglenia).

Jak wskazuje @mpiktas, nie jest do końca jasne, co robisz.

$B$ $(x'x)B=(x'y)$ $(x'x)$

$x_1$ $x_2$ $x_1$ $y$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x_1$ $x_1$ $x_2$

— Greg Snow
źródło

Myślę, że twój ostatni akapit jest prawdopodobnie najbliżej źródła mojego pomieszania - GS ma znaczenie. Tak myślałem. Nadal jestem trochę zdezorientowany, ponieważ książka, którą czytam, zatytułowana: „The Elements of Statistics Learning” (publikacja Stanforda, która jest dostępna bezpłatnie: www-stat.stanford.edu/~tibs/ElemStatLearn ) wydaje się sugerują, że GS jest równoważne standardowemu podejściu do obliczania współczynników; to znaczy, B = (X'X) ^ - 1 X'y.

— Ryan Zotti

I część tego, co mówisz, trochę mnie też dezorientuje: „Widzę użycie GS do rozwiązania dla B w równaniu najmniejszych kwadratów (x′x) ^ - 1 B = (x′y). Ale wtedy zrobiłbyś GS na macierzy (x′x), a nie na oryginalnych danych. ” Myślałem, że macierz x'x zawiera oryginalne dane? ... Przynajmniej tak mówią elementy uczenia statystycznego. Mówi, że x w x'x jest macierzą N na p, gdzie N jest liczbą danych wejściowych (obserwacji), a p jest liczbą wymiarów.

— Ryan Zotti

Jeśli GS nie jest standardową procedurą obliczania współczynników, to jak zwykle traktowana jest kolinearność? W jaki sposób redundancja (kolinearność) jest zwykle rozdzielana między x? Czy kolinearność tradycyjnie powoduje, że współczynniki są niestabilne? Czy to nie sugeruje, że proces GS jest procesem standardowym? Ponieważ proces GS powoduje również, że współczynniki są niestabilne - mniejszy wektor resztkowy powoduje, że współczynnik jest niestabilny.

— Ryan Zotti

Przynajmniej tak mówi tekst: „Jeśli xp jest silnie skorelowane z niektórymi innymi xk, wektor resztkowy zp będzie bliski zeru, a od (3.28) współczynnik βˆp będzie bardzo niestabilny”.

— Ryan Zotti

Pamiętaj, że GS jest formą rozkładu QR.

— kardynał