Potrzeba centrowania i standaryzacji danych w regresji

Rozważ regresję liniową z pewną regularyzacją: Np. Znajdź który minimalizuje | | A x - b | | 2 + λ | | x | | $x$$||Ax - b||^2+\lambda||x||_1$

Zwykle kolumny A są znormalizowane, aby miały średnią zerową i normę jednostkową, podczas gdy jest wyśrodkowany, aby mieć średnią zerową. Chcę się upewnić, czy moje rozumienie przyczyny standaryzacji i centrowania jest prawidłowe.$b$

Przez zastosowanie średnich kolumn i B zero, nie potrzebujemy już terminu przechwytywania. W przeciwnym razie celem byłby | | A x - x 0 1 - b | | 2 + λ | | x | | 1 . Ustawiając normy kolumn A na 1, usuwamy możliwość przypadku, w którym tylko dlatego, że jedna kolumna A ma bardzo wysoką normę, otrzymuje niski współczynnik x , co może prowadzić do błędnego wniosku, że ta kolumna A nie „ dobrze wyjaśnia” x .$A$$b$$||Ax-x_01-b||^2+\lambda||x||_1$$x$$x$

To rozumowanie nie jest dokładnie rygorystyczne, ale intuicyjne, czy to właściwy sposób myślenia?

Masz rację co do zerowania średnich kolumn i b .$A$$b$

Jeśli jednak chodzi o dostosowanie norm kolumn , zastanów się, co by się stało, gdybyś zaczął od znormalizowanego A , a wszystkie elementy x miałyby mniej więcej taką samą wielkość. Następnie pomnóżmy jedną kolumnę przez, powiedzmy, 10 - 6 . Odpowiedni element x zostałby, w regresji nieregularnej, powiększony o współczynnik 10 6 . Zobacz, co stanie się z terminem regularyzacji? Dla wszystkich praktycznych celów regularyzacja miałaby zastosowanie tylko do tego jednego współczynnika. $A$$A$$x$$10^{-6}$$x$$10^6$

Normalizując kolumny , pisząc intuicyjnie, umieszczamy je wszystkie w tej samej skali. W związku z tym różnice w wielkościach elementów x są bezpośrednio związane z „zawrotnością” funkcji wyjaśniającej ( A x ), co jest, luźno mówiąc, tym, co regularyzacja próbuje kontrolować. Bez tego wartość współczynnika, np. 0,1, w porównaniu z 10,0, nie powiedziałaby ci, przy braku wiedzy o A , nic, o którym współczynniku najbardziej się przyczyniało do „zawrotności” A x . (W przypadku funkcji liniowej, takiej jak A x , „falistość” jest związana z odchyleniem od zera).$A$$x$$Ax$$A$$Ax$$Ax$

Wracając do twojego wyjaśnienia, jeśli jedna kolumna ma bardzo wysoką normę i z jakiegoś powodu uzyskuje niski współczynnik x , nie doszlibyśmy do wniosku, że kolumna A nie „wyjaśnia” $A$$x$$A$$x$ dobrze . wcale nie „wyjaśnia” x . $A$$x$