11

Nie mam formalnej definicji równoważności skali, ale oto, co mówi o tym Wprowadzenie do uczenia statystycznego na s. 217:

Standardowe współczynniki najmniejszych kwadratów ... są equivariant skala : mnożąc $X_j$ przez stałą $c$ po prostu prowadzi do skalowania najsłabiej oszacowań współczynników kwadraty o współczynnik $1/c$ .

Dla uproszczenia załóżmy ogólny model liniowy $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ , gdzie $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ to macierz $N \times (p+1)$ (gdzie $p+1 < N$ ) ze wszystkimi wpisami w $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ i $\boldsymbol\epsilon$ to $N$ wymiarowy wektor losowych zmiennych o wartościach rzeczywistych z $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ .

Z oszacowania OLS wiemy, że jeśli $\mathbf{X}$ ma pełną (kolumnę) pozycję,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Załóżmy, że pomnożymy kolumnę

X

$\mathbf{X}$ , powiedzmy

x_{k}

$\mathbf{x}_k$ dla niektórych

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , przez stałą

c \neq 0

$c \neq 0$ . Byłoby to równoważne macierzy

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ gdzie wszystkie pozostałe wpisy macierzy

S

$\mathbf{S}$ powyżej mają wartość

0

$0$ , a

c

$c$ znajduje się w

k

$k$ tym wpisie przekątnej

S

$\mathbf{S}$ . Następnie,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ ponieważ nową macierzą projektu jest

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Po pracy można pokazać, że

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} i

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Jak przejść stąd, aby wyświetlić cytowane wyżej roszczenie (tj. że

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Nie jest dla mnie jasne, jak obliczyć

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Klarnecista
źródło

Myślę, że twój nie ma racji, brakuje mnożnika całym rzędzie.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Pamiętaj też, że roszczenie to , nie każdy .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Tak, właśnie to rozgryzłem. Wysyłam odpowiedź.

— Klarnecista

2

Można wymienić cały ten algebrę o znacznie prostszej analizy jednostek, ponieważ mnożenie przez jedynie zmienia jednostkę miary, a więc odpowiada zmiana w jednostkach związanych z jego współczynnik jest podzielenie go przez . To nie dowodzi, że należy niestety podzielić przez . Jednak ten łańcuch myśli może przypominać nam, że regresję wielokrotną można przeprowadzić kolejno przez jedną regresję przeciwko jednemu regresorowi, przy czym jasne jest, że jest podzielony przez , a zatem dowód jest kompletny.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— Whuber

@ Whuber, choć intuicja dla wyniku jest jasna, wydaje się, że musi być trochę algebry w dostarczaniu dowodu. W końcu współczynnik skalowania musi zostać odwrócony.

c

$c$

— user795305

11

Ponieważ twierdzenie w cytacie jest zbiorem stwierdzeń dotyczących przeskalowywania kolumn , równie dobrze możesz udowodnić je wszystkie naraz. Rzeczywiście, nie trzeba więcej pracy, aby udowodnić uogólnienie twierdzenia: $X$

Gdy jest pomnożone przez prawo przez odwracalną macierz , wówczas nowy współczynnik oszacowania jest równy lewy pomnożony przez . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Jedynymi faktami algebraicznymi, których potrzebujesz, są (łatwo udowodnione, dobrze znane), że dla dowolnej macierzy i dla macierzy odwracalnych i . (Subtelniejsza wersja tego ostatniego jest potrzebna podczas pracy z uogólnionymi inwersjami: dla odwracalnych i i dowolnego , $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ ). $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Dowód algebraicznie :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

CO BYŁO DO OKAZANIA. (Aby to dowód na to być całkowicie Ogólnie górny odnosi się do uogólnionych odwrotności). $^-$

Dowód według geometrii :

Biorąc pod uwagę zasady i z i , odpowiednio, oznacza liniową transformację z do . Prawym mnożenie przez można uznać za pozostawienie tej transformacji stały ale zmienia do (czyli do kolumny ). Zgodnie z tym zmianą podstawy reprezentacja dowolnego wektora $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ musi się zmienić poprzez pomnożenie w lewo przez ,QED. $\hat\beta\in\mathbb{R}^p$ $A^{-1}$

(Ten dowód działa niezmodyfikowany, nawet jeśli nie jest odwracalny.) $X^\prime X$

Cytat dotyczy w szczególności przypadku przekątnej macierzy z do i . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Połączenie z najmniejszymi kwadratami

Celem jest tutaj zastosowanie pierwszych zasad w celu uzyskania wyniku, przy czym zasada jest najmniejszych kwadratów: oszacowanie współczynników, które minimalizują sumę kwadratów reszt.

Ponownie udowodnienie (ogromnego) uogólnienia nie jest już trudniejsze i raczej ujawnia. Załóżmy, że to dowolna mapa (liniowa lub nie) rzeczywistych przestrzeni wektorowych i załóżmy, że jest dowolną funkcją o wartościach rzeczywistych na . Niech będzie (możliwie pustym) zbiorem punktów dla których jest zminimalizowane.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Wyniki: , który jest określony wyłącznie przez i , nie zależy od żadnego wyboru podstawy stosowanych do reprezentacji wektorów w . $U$ $Q$ $\phi$ $E_p$ $V^p$

Dowód: QED.

Nie ma nic do udowodnienia!

Zastosowanie wyniku: Niech będzie dodatnią półksiężycową formą kwadratową na , niech , i załóżmy, że jest mapą liniową reprezentowaną przez gdy wybrane są zasady i . Zdefiniuj . Wybierz podstawę i załóżmy $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ jest reprezentacją niektórych na tej podstawie. Jest najmniejszych kwadratów : minimalizuje kwadrat odległości . Ponieważ jest liniową mapą zmieniając podstaw odpowiada prawej zwielokrotnianiem za pośrednictwem odwracania sygnału macierzy . Że wola lewej pomnożyć przez , QED . $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— Whuber
źródło

6

Określenie Estymator najmniejszych kwadratów , w którym konstrukcja macierzy pełne rzędu. Zakładając, że macierz skalowania jest odwracalna. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Zdefiniuj ten nowy skalowany estymator . Oznacza to, że dla wszystkich . Definiowanie $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$ , możemy przepisać tę wyświetlaną nierówność powyżej jako

dla wszystkich

. Dlatego

, i stąd, że Estymator najmniejszych kwadratów

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

Ze względu na odwracalności macierzy skalowania

, wynika z tego, że

. W tym przypadku, to tylko różni się od

przez

wejścia są skalowane przez

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

.

\frac{1}{c}

$\frac{1}{c}$

— użytkownik795305
źródło

1

Nie jestem zaznajomiony z pracą z

i podobnymi funkcjami - czy mógłbyś wyjaśnić przejście od drugiej do trzeciej linii równań?

arg min

$\text{arg min}$

— Klarnecista

Napisałem to nieco inaczej, co powinno uczynić kroki bardziej wyraźnymi.

— user795305

To jest naprawdę sprytne. (+1)

— Klarnecista

4

Zrozumiałem to po opublikowaniu pytania. Jeśli jednak moja praca jest poprawna, błędnie zinterpretowałem roszczenie. The skalowanie występuje tylko dla jednego składnikaodpowiadającego kolumniepomnożonej przez. $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Zauważ, że w powyższym zapisie jest macierzą diagonalną, symetryczną i ma odwrotną (ponieważ jest diagonalną) $\mathbf{S}$ $(p+1) \times (p+1)$ Zauważ, żejestmacierzą. Załóżmy, że Potem wynika, że

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

Stąd

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$

i pomnożenie tego przez

ma podobny efekt, jak pomnożenie

przez

- pozostaje taki sam, z wyjątkiem

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

mnoży się przez

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

:

\frac{1}{c}

$\frac{1}{c}$

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

według potrzeb.

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$

— Klarnecista
źródło

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

3

Najbardziej trywialny dowód w historii

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Y = (X S.) ({S.}^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

$XS$ $S^{-1}\beta$

Dowód Algebra tylko dla OLS

Skalowanie jest taka: . Twój OLS Estymator jest

Z = X * re ja za sol (s_{1}, s_{2)}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T.} X)^{- 1} X^{T.} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T.} Z)^{- 1} Z^{T.} Y = ({S.}^{T.} X^{T.} X S.)^{- 1} {S.}^{T.} X^{T.} Y = {S.}^{- 1} (X^{T.} X)^{- 1} {S.}^{- 1} S. X^{T.} Y = {S.}^{- 1} (X^{T.} X)^{- 1} X^{T.} Y = {S.}^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
źródło

2

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

@ Whuber, faktycznie jest na odwrót: rozsądna procedura dopasowania powinna spełniać ten warunek, w przeciwnym razie prosta zmiana jednostki miary spowoduje inną prognozę / oszacowanie. zaktualizuję swoją odpowiedź, trochę się nad tym

— zastanowię

X

$X$

3

kumpel cesarski , nie królewski ...: D (ładna odpowiedź, +1)

— usεr11852

@ usεr11852, dowiedziałem się czegoś dzisiaj :)

— Aksakal

2

Łatwym sposobem, aby uzyskać ten wynik jest, aby $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

$b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

$b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
źródło

Pokazuje, że estymator OLS jest równoważny skali?

Połączenie z najmniejszymi kwadratami

Najbardziej trywialny dowód w historii

Dowód Algebra tylko dla OLS