Stosujesz regresję kalenicową dla nieokreślonego układu równań?

Gdy , problem najmniejszych kwadratów, który nakłada sferyczne ograniczenie na wartość można zapisać jako dla zbyt określonego systemu. to euklidesowa norma wektora. $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

Odpowiednie rozwiązanie dla $\beta$ podano przez

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ który można wyprowadzić z metody mnożników Lagrange'a (

mnożnik to

λ

$\lambda$ ):

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

Rozumiem, że istnieje właściwość, która

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ Prawa strona przypomina pseudo-odwrotność macierzy regresora

X

$X$ w niedookreślonym przypadku (z dodanym parametrem regularyzacji

λ

$\lambda$ ). Czy to oznacza, że można użyć tego samego wyrażenia do przybliżenia

β

$\beta$ dla niedookreślonego przypadku? Czy istnieje oddzielne wyprowadzenie dla odpowiedniego wyrażenia w nieokreślonym przypadku, ponieważ ograniczenie sferyczne jest zbędne z funkcją celu (minimalna norma

β

$\beta$ ):

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
źródło

Począwszy od sformułowania problemu regresji kalenicy jako

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

możesz napisać problem jako

$\min \| A\beta - b \|_{2}^{2}$

gdzie

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Matryca ma pełnej kolumny powodu części. Zatem problem najmniejszych kwadratów jako unikalne rozwiązanie $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Pisząc to w kategoriach i , i upraszczając wiele zer, otrzymujemy $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Nic w tym wyprowadzeniu nie zależy od tego, czy ma więcej wierszy lub kolumn, a nawet od tego, czy ma pełną pozycję. Ta formuła ma zatem zastosowanie do nieokreślonego przypadku. $X$ $X$

Algebraicznym faktem jest to, że dla , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Mamy więc również możliwość korzystania

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Aby odpowiedzieć na konkretne pytania:

Tak, obie formuły działają zarówno dla przypadku nieokreślonego, jak i przypadku nadmiernie określonego. Oni także praca jeśli jest mniejsza niż minimum liczbę wierszy i kolumn . Druga wersja może być bardziej wydajna w przypadku problemów, które nie są określone, ponieważ jest mniejszy niż w tym przypadku. $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
Nie znam żadnych pochodnych alternatywnej wersji formuły, która zaczyna się od jakiegoś innego problemu z najmniejszymi kwadratami i używa normalnych równań. W każdym razie możesz to uzyskać w prosty sposób, używając odrobiny algebry.

Możliwe, że myślisz o problemie regresji grzbietu w formie

$\min \| \beta \|_{2}^{2}$

z zastrzeżeniem

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Jednak ta wersja problemu regresji kalenicy po prostu prowadzi do tego samego problemu z tłumieniem najmniejszych kwadratów . $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— Brian Borchers
źródło

Warto zauważyć, co dzieje się w limicie, ponieważ przyjmuje wartość 0, jeśli ma pełną pozycję w rzędzie lub pełną pozycję w kolumnie. Jeśli ma pełny stopień kolumny, to w limicie dostajesz pseudoinwersję . Podobnie, jeśli ma pełną pozycję w rzędzie, to w limicie dostajesz pseudo-odwrotność . Działa to zgodnie z oczekiwaniami.

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Brian Borchers,

To jest fenomenalnie kompleksowa odpowiedź, a wyprowadzenie z rozszerzonych tablic (plus algebry, którą przegapiłem) jest bardzo satysfakcjonujące. Nie myślałem o problemie regresji grzbietu w formie, którą przedstawiłeś na końcu, ale ciekawe jest, że prowadzi on do tej samej funkcji celu. Wielkie dzięki!

— hatmatrix

Dzięki. Włożę tutaj bezwstydną wtyczkę - możesz znaleźć to (i wiele powiązanych materiałów) w podręczniku na temat szacowania parametrów i odwrotnych problemów, które napisałem wspólnie z Rickiem Asterem i Cliffem Thurberem.

— Brian Borchers

Dodaję również, że obliczenie tej macierzy odwrotnej zwykle nie jest najlepszym sposobem na użycie tej formuły. W zależności od wielkości i możliwości sparsity z może być znacznie lepiej wyłączyć za pomocą iteracyjnego schematu lub po prostu przy użyciu faktoryzacji Choleskiego macierzy .

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers

Dzięki za sugestie! Doceniam odniesienie do twojej książki, ponieważ miałem problem ze znalezieniem tekstu na tym materiale. Nasz rozmiar danych w rzeczywistości nie jest bardzo duży (tyle, że możemy musieć zastosować to wiele razy do oddzielnych zestawów danych), więc może być podatny na bezpośrednie odwrotne, ale dzięki za dodatkowe wskaźniki!

— hatmatrix