Pytanie o normalny dowód równania

Jak możesz udowodnić, że równania normalne: mają jedno lub więcej rozwiązań bez założenia, że X jest odwracalny? $(X^TX)\beta = X^TY$

Domyślam się tylko, że ma to coś wspólnego z uogólnioną odwrotnością, ale jestem całkowicie zagubiony.

regression proof

— ryati
źródło

Zdobywasz punkty, zadając pytania, które wywołują niesamowite odpowiedzi.

— Nikana Reklawyks,

Można pokusić się o gadanie i zwrócenie na to uwagi, ponieważ forma kwadratowa

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

jest dodatnia półokreślona, istnieje dla której jest minimalna i to minimum jest znalezione (poprzez ustawienie gradientu względem na zero) z równaniami normalnymi $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

skąd musi być co najmniej jedno rozwiązanie niezależnie od rangi $X'X$ . Argument ten nie wydaje się jednak zgodny z duchem pytania, które wydaje się być stwierdzeniem czysto algebraicznym. Być może interesujące jest zrozumienie, dlaczego takie równanie musi mieć rozwiązanie i dokładnie w jakich warunkach. Zacznijmy więc od nowa i udawaj, że nie znamy połączenia z najmniejszymi kwadratami.

To wszystko sprowadza się do znaczenia , transpozycją . Okaże się, że jest to kwestia prostej definicji, odpowiedniej notacji i koncepcji niedegenerowanej formy seskwilinowej. Przypomnijmy, że jest „macierzą projektową” wierszy (po jednej dla każdej obserwacji) i kolumn (po jednej dla każdej zmiennej, w tym stałej, jeśli występuje). Reprezentuje zatem liniową transformację z przestrzeni wektorowej do . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

Transpozycja , uważana za transformację liniową , jest liniową transformacją podwójnych przestrzeni . Aby zrozumieć kompozycję taką jak , konieczne jest zidentyfikowanie pomocą . Tak właśnie działa zwykły iloczyn wewnętrzny (suma kwadratów) na . $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

W rzeczywistości istnieją dwie wewnętrzne produkty i zdefiniowane w i odpowiednio. Są to dwueliniowe funkcje symetryczne o wartościach rzeczywistych, które nie są zdegenerowane . To ostatnie oznacza, że $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

z analogicznymi instrukcjami dla . Geometrycznie te wewnętrzne produkty pozwalają nam mierzyć długość i kąt. Warunkiem mogą być traktowane jako jako "prostopadłe" z . Niedegeneracja oznacza, że tylko wektor zerowy jest prostopadły do całej przestrzeni wektorowej. (Ta ogólność oznacza, że uzyskane tutaj wyniki będą miały zastosowanie do uogólnionego ustawienia najmniejszych kwadratów , dla którego niekoniecznie jest zwykłym iloczynem wewnętrznym podanym jako suma iloczynów składników, ale jest jakąś dowolną niedegenerowaną postacią. Możemy całkowicie zrezygnować z , definiując $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ $g_V$ $X':\mathbb W\to\mathbb V^*$ , ale spodziewam się, że wielu czytelników nie będzie zaznajomionych z podwójnymi spacjami lub nie będzie się z nimi czuć, dlatego wybieram unikanie tego sformułowania).

Mając te wewnętrzne produkty w dłoni, transpozycja dowolnej transformacji liniowej jest zdefiniowana przez przez $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

wszystkie i . To, że faktycznie istnieje wektor z tą właściwością, można ustalić poprzez zapisanie rzeczy na podstawie dla i ; że ten wektor jest unikalny, wynika z braku degeneracji produktów wewnętrznych. Jeśli bowiem i są dwoma wektorami, dla których dla wszystkich , to (z liniowości w pierwszym składniku) dla wszystkich implikujących . $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

Gdy zapisu dla zbioru wszystkich wektorów prostopadły do każdego wektora w . Również w celu notacji napisz dla obrazu , zdefiniowanego jako zbiór . Podstawowym związkiem między i jego transpozycją jest $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

Oznacza to, że jest w jądra wtedy i tylko wtedy, gdy jest prostopadła do obrazu . $w$ $X'$ $w$ $X$ To twierdzenie mówi dwie rzeczy:

Jeśli , to dla wszystkich , co jedynie oznacza, że jest prostopadła do . $X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
Jeśli jest prostopadłe do , oznacza to tylko dla wszystkich , ale jest to równoważne a nieregeneracja implikuje . $w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

Już skończyliśmy. Analiza wykazała, że rozkłada się jako produkt bezpośredni . Oznacza to, że możemy wziąć dowolne i zapisać je jednoznacznie jako z i . Oznacza to, że ma postać dla co najmniej jednej . Zauważ więc, że $\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

Podstawowa relacja mówi, że jest to to samo, co lewa strona znajdująca się w jądrze : $X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

skąd rozwiązuje równania normalne $\beta$ $X'X\beta = X'y.$

Jesteśmy teraz w stanie udzielić krótkiej geometrycznej odpowiedzi na pytanie (wraz z kilkoma odkrywczymi komentarzami): równania normalne mają rozwiązanie, ponieważ każdy wektor rozkłada się (jednoznacznie) jako suma wektora w zakresie od i innego wektora prostopadle do i jest obrazem z co najmniej jednym -wektor . Wymiar obrazu (jego ranga ) jest wymiarem możliwych do zidentyfikowania parametrów. Wymiar jądra $n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ zlicza nietrywialne relacje liniowe między parametrami. Wszystkie parametry są oznaczone gdy jest mapa z jednego do jednego jego obrazu w . $X$ $\mathbb V$ $\mathbb W$

W końcu jest przydatny do dozowania z przestrzenią całkowicie i pracy wyłącznie z podprzestrzeni , „przestrzeń kolumna” macierzy . Równań normalnych wynoszą prostopadłym rzucie na . To uwalnia nas koncepcyjnie od powiązania z jakąkolwiek konkretną parametryzacją modelu i pokazuje, że modele najmniejszych kwadratów mają wewnętrzny wymiar niezależny od tego, w jaki sposób zostały sparametryzowane. $\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

Jednym z interesujących rezultatów tej abstrakcyjnej demonstracji algebraicznej jest to, że możemy rozwiązać równania normalne w dowolnych przestrzeniach wektorowych. Wynik odnosi się, powiedzmy, do przestrzeni złożonych, do przestrzeni nad polami skończonymi (gdzie minimalizacja sumy kwadratów nie ma większego sensu), a nawet nad przestrzeniami o nieskończonych wymiarach, które obsługują odpowiednie formy sekwencyjne.

— Whuber
źródło

Nigdy wcześniej nie miałem przedstawiciela, który zaakceptował tę odpowiedź. Właśnie się z tym potknąłem i chciałem ci jeszcze raz podziękować!

— ryati

Napisałbym tę kwadratową formę jako zamiast jako i użyj drugiej strzałki do takich rzeczy jak

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— Michael Hardy

@Michael Twój komentarz musi zawierać błąd typograficzny. Czy mógłbyś wyjaśnić, co miałeś na myśli?

— whuber

@whuber: Nie widzę błędu typograficznego. Chodzi o to, że dwie strzałki i mają różne znaczenie.

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Michael Hardy

@Michael Wybacz, że nie widziałem tego rozróżnienia pomimo wielu odczytów. Niezależnie od tego pierwsza dla mnie strzałka odnosi się do funkcji iniekcyjnej, podczas gdy druga odnosi się do dowolnej funkcji, ale podejrzewam, że nie tego zamierzacie. Czy mógłbyś wyjaśnić swoją notację?

— whuber

Łatwo jest wykazać (spróbuj sam, dla dowolnej liczby punktów, ), że istnieje odwrotność , jeśli w zestawie próbek występują co najmniej dwie różne wartości (predyktory). Tylko jeśli wszystkie twoje dane mają takie same wartości (tj. Punkty ułożone w kierunku , wzdłuż linii pionowej), wówczas każda linia poprowadzona przez ich średnią linię będzie miała dowolne nachylenie (współczynnik regresji) , dzięki czemu linia regresji LSE nie jest unikalna. $n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
źródło

Dla kompletności dla prostej regresji liniowej, podczas gdy dla wielu regresji liniowych.

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

— Lucozade

Odniesienie do wielokrotnej regresji w komentarzu jest zagadkowe, ponieważ odpowiedź ta wyraźnie odnosi się tylko do przypadku zwykłej regresji, w której dopasowuje się „linię”, a nie powierzchnię o wyższych wymiarach. Co więcej, wydaje się, że odpowiedziałeś na inne pytanie: to pytanie dotyczy tylko przypadku, w którym nie jest odwracalny.

X^{'} X

$X'X$

— whuber

W typowej regresji X jest chudy i dlatego z pewnością nie jest odwracalny (choć może być odwrócony). Łatwo jest udowodnić (zapytać, czy potrzebujesz pomocy), że jeśli X jest chudy i pozostawiony odwracalny, to X ^ T * X jest odwracalny. W takim przypadku będzie dokładnie jedno rozwiązanie. A jeśli X nie ma pełnej rangi kolumny, X ^ T * X nie będzie pełnej rangi, a zatem będziesz miał niedookreślony system.

— użytkownik542833
źródło

Uwagi te nie wydają się odpowiedzieć na pytanie: niezależnie od rangi , będzie nadal istnieć rozwiązanie. Jako przykład rozważmy ekstremalny przypadek, w którym jest macierzą wszystkich zer. Następnie równania normalne zmniejszają się do a dowolne jest rozwiązaniem.

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

— whuber

whuber: oczywiście odnoszą się do pytania: jedno rozwiązanie, jeśli X jest pełną pozycją kolumny (jak wspomniałem), i nieskończone rozwiązania, jeśli jest to system

— nieokreślony

Fakt, że system jest „niedookreślony”, nie oznacza wcale, że ma jakieś rozwiązania. Pytanie dotyczy istnienia rozwiązań.

— whuber