Przejrzyste wyjaśnienie „stabilności numerycznej inwersji macierzy” w regresji grzbietu i jej roli w zmniejszaniu przeładowania


10

Rozumiem, że możemy zastosować regularyzację w przypadku problemu regresji metodą najmniejszych kwadratów jako

w=argminw[(yXw)T(yXw)+λw2]

i że ten problem ma rozwiązanie zamknięte, ponieważ:

w^=(XTX+λI)1XTy.

Widzimy, że w drugim równaniu regularyzacja po prostu dodaje λ do przekątnej XTX , co ma na celu poprawę stabilności liczbowej odwrócenia macierzy.

Moje obecne „prymitywne” rozumienie stabilności numerycznej jest takie, że jeśli funkcja stanie się bardziej „stabilna numerycznie”, wówczas na jej wynik mniejszy wpływ będzie miał szum na wejściu. Mam trudności z powiązaniem tej koncepcji ulepszonej stabilności numerycznej z szerszym obrazem tego, w jaki sposób unika ona / zmniejsza problem nadmiernego dopasowania.

Próbowałem spojrzeć na Wikipedię i kilka innych witryn uniwersyteckich, ale nie wyjaśniają, dlaczego tak jest.


Przychodzi na myśl regresja kalenicy. link
EngrStudent

1
Możesz znaleźć pewną wartość w dyskusji (głównie opisowej / intuicyjnej zamiast algebraicznej) w Dlaczego szacowanie grzbietu staje się lepsze niż OLS przez dodanie stałej do przekątnej?
Glen_b

Odpowiedzi:


2

W modelu liniowym , zakładając nieskorelowane błędy ze średnim zerem i o pełnej pozycji kolumny, estymator najmniejszych kwadratów jest estymatorem obiektywnym dla parametru . Jednak estymator ten może mieć dużą wariancję. Na przykład, gdy dwie kolumny są wysoce skorelowane.Y=Xβ+ϵX(XTX)1XTYβX

Parametr kary czyni stronniczym estymatorem , ale zmniejsza jego wariancję. Ponadto jest późniejszym oczekiwaniem na w regresji bayesowskiej z przed . W tym sensie uwzględniamy w analizie pewne informacje, które mówią, że składniki nie powinny być zbyt daleko od zera. Ponownie prowadzi nas to do stronniczego oszacowania ale zmniejsza wariancję oszacowania.λw^βw^βN(0,1λI)βββ

W ustawieniu, w którym wymiarowy, powiedzmy , dopasowanie najmniejszych kwadratów będzie pasowało do danych prawie idealnie. Chociaż obiektywne, szacunki te będą bardzo wrażliwe na wahania danych, ponieważ w tak dużych wymiarach będzie wiele punktów o dużej dźwigni. W takich sytuacjach znak niektórych składników można ustalić na podstawie pojedynczej obserwacji. Kara umowna powoduje zmniejszenie tych oszacowań do zera, co może zmniejszyć MSE estymatora poprzez zmniejszenie wariancji.XNpβ^

Edycja: W pierwszej odpowiedzi podałem link do odpowiedniego artykułu i pośpiesznie go usunąłem. Oto on: http://www.jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf


1
W obecnej formie jest to bardziej komentarz; myślisz, że mógłbyś udzielić merytorycznej odpowiedzi?
Silverfish,

Dół p. 5 prawo / góra str. Pozostało 6, odnoszących się do Ryc. 3, zawiera kluczową dyskusję na pytanie zadane w tym poście.
Mark L. Stone

To wszystko jest prawidłowe, ale nie jestem pewien, czy odpowiada na pytanie PO.
ameba

ameba, patrz mój komentarz powyżej, który odnosi się do linku, który został później zredagowany z odpowiedzi Erica Mittmana, jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf .
Mark L. Stone

1

Stabilność numeryczna i nadmierne dopasowanie są w pewnym sensie powiązane, ale różne są kwestie.

Klasyczny problem OLS:

Rozważ klasyczny problem najmniejszych kwadratów:

minimize(over b)(yXb)T(yXb)

Rozwiązaniem jest klasyczny . Chodzi o to, że według prawa wielkich liczb:b^=(XX)1(Xy)

limn1nXXE[xx]limn1nXyE[xy]

Stąd szacunek OLS również zbiega się z . (W kategoriach algebry liniowej jest to rzut liniowy zmiennej losowej na rozpiętość liniową zmiennych losowych .)b^E[xx]1E[xy]yx1,x2,,xk

Problemy?

Mechanicznie, co może pójść nie tak? Jakie są możliwe problemy?

  1. W przypadku małych próbek nasze szacunkowe próbki i mogą być słabe.E[xx]E[xy]
  2. Jeśli kolumny są współliniowe (z powodu nieodłącznej kolinearności lub małej wielkości próbki), problem będzie miał ciąg rozwiązań! Rozwiązanie może nie być unikalne. X
    • Dzieje się tak, jeśli ma niedobór rangi.E[xx]
    • Dzieje się tak również wtedy, gdy ma niedobór rangi z powodu małej wielkości próby w stosunku do liczby problemów z regresorem.XX

Problem (1) może prowadzić do przeuczenia, ponieważ oszacowanie zaczyna odzwierciedlać wzorce w próbie, których nie ma w populacji podstawowej. Oszacowanie może odzwierciedlać wzorce w i , które tak naprawdę nie istnieją w ib^1nXX1nXyE[xx]E[xy]

Problem (2) oznacza, że ​​rozwiązanie nie jest unikalne. Wyobraź sobie, że próbujemy oszacować cenę poszczególnych butów, ale pary butów są zawsze sprzedawane razem. To źle postawiony problem, ale powiedzmy, że i tak to robimy. Możemy wierzyć, że cena lewego buta plus cena prawego buta wynosi 50 USD , ale jak możemy wymyślić indywidualne ceny? Czy ustawienie ceny lewego buta i ceny prawego buta porządku? Jak możemy wybierać spośród wszystkich możliwości?pl=45pr=5

Przedstawiamy karę :L2

Teraz rozważ:

minimize(over b)(yXb)T(yXb)+λb2

Może to nam pomóc w przypadku obu rodzajów problemów. kara popycha naszą oszacowania do zera. Działa to skutecznie jako bayesowski, zanim rozkład wartości wartości współczynników zostanie wyśrodkowany wokół . To pomaga w przeuczeniu. Nasze szacunki odzwierciedlą zarówno dane, jak i nasze początkowe przekonania, że jest bliski zeru.L2b0b

L2 również zawsze pozwala nam znaleźć unikalne rozwiązanie źle postawionych problemów. Jeśli znamy cenę lewych i prawych butów łącznie na , rozwiązaniem, które minimalizuje również normę jest wybranie .$50L2pl=pr=25

Czy to magia? Nie. Regularyzacja to nie to samo, co dodawanie danych, które faktycznie pozwoliłyby nam odpowiedzieć na pytanie. w pewnym sensie przyjmuje pogląd, że jeśli brakuje danych, wybierz oszacowania bliższe .L20

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.