Na czym polega „regresja o zmniejszonej randze”?

Czytałem Elementy uczenia statystycznego i nie mogłem zrozumieć, o co chodzi w rozdziale 3.7 „Skurcz i wybór wielu wyników”. Mówi o RRR (regresja o zmniejszonej rangi) i mogę jedynie zrozumieć, że założenie dotyczy uogólnionego wielowymiarowego modelu liniowego, w którym współczynniki są nieznane (i należy je oszacować), ale wiadomo, że nie ma pełnej rangi. To jedyna rzecz, którą rozumiem.

Reszta matematyki jest poza mną. Nie pomaga nawet to, że autorzy mówią „można pokazać” i pozostawiają rzeczy jako ćwiczenie.

Czy ktoś może pomóc wyjaśnić, co się tutaj dzieje, intuicyjnie? Czy ten rozdział rzekomo omawia nowe metody? albo co?

— cgo
źródło

Wydaje się, że daje metody regresji, które wykorzystują modele wielu wyników w kontekście skurczu i selekcji zmiennych. Nie ma jednego wyniku Y, ale więcej niż jednego wyniku Y. Załóżmy, że masz wyniki 5 lat, a następnie w tej sekcji omówiono metody łączenia oszacowania metod zamiast budowania 5 oddzielnych modeli.

— spdrnl

Moje kilka centów: założenie macierzy niskiej rangi upraszcza sprawę. Na szczęście to założenie obowiązuje dla wielu źródeł danych w świecie rzeczywistym.

— Vladislavs Dovgalecs

Wygląda na to, że założenie to dotyczy ograniczenia rozwiązania. W tym artykule opisano, dlaczego statprob.com/encyclopedia/…

— Vladislavs Dovgalecs

Odpowiedzi:

1. Co to jest regresja o zmniejszonej wartości (RRR)?

Rozważmy wielowymiarową wielokrotną regresję liniową, tj. Regresję z zmiennymi niezależnymi i zmiennymi zależnymi. Niech i będą zestawami danych predykcyjnych ( ) i odpowiedzi ( ). Następnie zwykłą zwykłą regresję metodą najmniejszych kwadratów (OLS) można sformułować jako minimalizującą następującą funkcję kosztów: $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

gdzie jest macierzą wag regresji . Jego rozwiązanie jest przez i jest on łatwo zauważyć, że jest to równoważne z oddzielne OLS regresji, po jednym dla każdej zmiennej zależnej. $\mathbf B$ $p\times q$

{\hat{B}}_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

Zmniejszonej pozycja regresji wprowadza ograniczenie na stopień , a mianowicie powinny być zminimalizowane , gdzie jest maksymalna dopuszczalna rangę . $\mathbf B$ $L$ $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. Jak uzyskać rozwiązanie RRR?

Okazuje się, że RRR może być obsadzony jako problem wektora własnego. Rzeczywiście, wykorzystując fakt, że OLS jest zasadniczo prostopadły występ na powierzchni kolumny , można przepisać tak Pierwszy termin nie zależy od , a drugi składnik może być minimalizowana przez SVD / PCA z dopasowanymi wartościami $\mathbf X$ $L$

L = ‖ Y - X {\hat{B}}_{O L S} ‖^{2} + ‖ X {\hat{B}}_{O L S} - X B ‖^{2} .

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

W szczególności, jeżeli są przede główne osie , a następnie $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{B}}_{R R R} = {\hat{B}}_{O L S} U_{r} U_{r}^{⊤} .

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

3. Do czego służy RRR?

Mogą istnieć dwa powody, aby używać RRR.

$\mathbf B$ $r$

Po drugie, można go użyć jako metody redukcji wymiarów / eksploracji danych. Jeśli mamy wiele zmiennych predykcyjnych i kilka zmiennych zależnych, wówczas RRR konstruuje „czynniki ukryte” w przestrzeni predyktorów, które najlepiej wykonują wyjaśnienie wariancji DV. Następnie można spróbować zinterpretować te ukryte czynniki, wykreślić je itp. O ile mi wiadomo, robi się to rutynowo w ekologii, gdzie RRR jest znane jako analiza redundancji i jest przykładem tego, co nazywają metodami święceń ( patrz odpowiedź @ GavinSimpson tutaj ).

4. Związek z innymi metodami redukcji wymiarów

RRR jest ściśle powiązany z innymi metodami redukcji wymiarów, takimi jak CCA i PLS. Omówiłem to trochę w mojej odpowiedzi na pytanie: Jaki jest związek między częściowymi najmniejszymi kwadratami, regresją o zmniejszonej rangi i regresją składowych głównych?

$\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

$\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

Zobacz tam więcej szczegółów.

Zobacz Torre, 2009, A Least-Squares Framework for Component Analysis, aby uzyskać szczegółowe informacje na temat tego, jak większość powszechnych liniowych metod wielowymiarowych (np. PCA, CCA, LDA, - ale nie PLS!) Można postrzegać jako RRR.

5. Dlaczego ta sekcja w Hastie i in. takie mylące?

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

L = ‖ (Y - X B) (Y^{⊤} Y)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$

Y

$\mathbf Y$

Y

$\mathbf Y$ wybiela się, a różnica znika. Co więc Hastie i in. wezwanie RRR to tak naprawdę CCA w przebraniu (i rzeczywiście zobacz ich 3.69).

Nic z tego nie zostało właściwie wyjaśnione w tym rozdziale, stąd zamieszanie.

Zobacz moją odpowiedź na przyjazny samouczek lub wprowadzenie do regresji o zmniejszonej wartości do dalszego czytania.

— ameba mówi Przywróć Monikę
źródło

To jest bardzo ładnie napisane szczegółowe wyjaśnienie. Dziękuję, doceniam to.

— cgo

r

$r$

B

$\bf B$

Y

$Y$

B

$B$

B

$B$

L

$L$

B

$B$

L

$L$

r

$r$

r

$r$

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$

p

$p$

q

$q$

r

$r$

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$

Patrz na przykład google.fr/url?sa=t&source=web&rct=j&url=https://...

— dohmatob

Regresja o zmniejszonej randze to model, w którym nie ma jednego wyniku Y, ale wielu wyników Y. Oczywiście dla każdej odpowiedzi można po prostu dopasować osobną regresję liniową wielowymiarową, ale wydaje się to nieefektywne, gdy funkcjonalny związek między predyktorami i każdą odpowiedzią jest wyraźnie podobny. Zobacz to ćwiczenie kaggle w sytuacji, w której, jak sądzę, oczywiście.

https://www.kaggle.com/c/bike-sharing-demand/data

Istnieje kilka powiązanych technik podejścia do tego problemu, które budują „czynniki” lub „składniki” ze zmiennych X, które są następnie używane do przewidywania Ys. Ta strona dokumentacji SAS pomogła mi wyjaśnić różnice. Wydaje się, że zmniejszona regresja rangi polega na wyodrębnianiu składników, które maksymalnie uwzględniają zmienność między odpowiedziami, w przeciwieństwie do częściowych najmniejszych kwadratów, które wyodrębniają składniki, które maksymalnie uwzględniają różnice między odpowiedziami i predyktorami.

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_pls_sect014.htm

— Iggy25
źródło

+1. To jest poprawne. Omówiłem tę stronę dokumentacji SAS, aw szczególności ich liczbę, w mojej odpowiedzi na stats.stackexchange.com/questions/206587.

— ameba mówi Przywróć Monikę