Standaryzacja a normalizacja regresji Lasso / Ridge'a

Wiem, że powszechną praktyką jest standaryzacja cech regresji grzbietu i lasso, jednak czy bardziej praktyczna byłaby normalizacja cech w skali (0,1) jako alternatywa dla standaryzacji z-score dla tych metod regresji?

— Steve
źródło

Odpowiedzi:

Jeśli zastosujesz normalizację (ściśnij w [0,1]), uzyskasz miarę względnej ważności zmiennych, ale zmieni to skalę twoich zmiennych i stracisz wszelką interpretowalność modelu. Zaletą standaryzacji jest to, że nadal można interpretować model w taki sam sposób, jak w przypadku nieregularnej regresji OLS (na to już tutaj odpowiedziano ).

— Digio
źródło

Model regularny działa zupełnie inaczej z normalizacją lub bez! W szczególności, jeśli nie znormalizujemy funkcji, będziemy mieli różne kary za różne funkcje!

— Haitao Du

Mówiłem konkretnie o interpretacji współczynnika Lasso , a nie o szacunkach. Biorąc pod uwagę, że szacunki uległyby zmianie, byłbym ciekawy, jak zmieniłaby się interpretacja modelu.

— Digio

Nie wydaje mi się, aby pytanie, na które podałeś link w swojej odpowiedzi, potwierdza twoją tezę. Czy możesz wyjaśnić w swoim oryginalnym poście, dlaczego interpretacja współczynników ols zgadza się ze współczynnikami lasso tylko wtedy, gdy cechy są znormalizowane? Dziękuję Ci!

— user795305

@ Ben, źle zrozumiałeś moją odpowiedź (być może moja wina). Odpowiedź Mam związana wyjaśnia, jak w modelu współczynniki lasso i w prosty regresji OLS (lub innych) są interpretowane w ten sam sposób - w żadnym wypadku (standaryzowany czy nie). Dzięki normalizacji (w dowolnym typie lub regresji parametrycznej) tracisz oryginalną skalę i nie możesz interpretować współczynników bez przekształcenia wstecznego. Dzięki standaryzacji interpretujesz model w normalny sposób.

— Digio

@Digio: dlaczego normalizacja miałaby mniej interpretować współczynniki niż jakakolwiek inna zmiana skali? Czy transformacje normalizacyjne i standaryzacyjne nie są identyczne, ale dla licznika używają? Oba wymagają transformacji wstecznej w taki sam sposób, aby interpretować współczynniki jako dV / dx, przy czym x w jednostkach nieskalowanych cech. Tak, współczynniki znormalizowanych funkcji można również interpretować bezpośrednio jako dV / dz, gdzie z jest wynikiem z każdej cechy, a interpretacja ta nie jest możliwa w przypadku normalizacji. Ale czy to oznacza, że współczynniki znormalizowanych cech tracą wszelką interpretację?

— OldSchool

Normalizacja jest bardzo ważna w przypadku metod z regularyzacją. Wynika to z faktu, że skala zmiennych wpływa na to, ile regularyzacji będzie miało zastosowanie do określonej zmiennej.

Załóżmy na przykład, że jedna zmienna ma bardzo dużą skalę, powiedzmy, że kolejność milionów, a inna zmienna ma wartość od 0 do 1. Wówczas możemy myśleć, że regularyzacja będzie miała niewielki wpływ na pierwszą zmienną.

Podobnie jak normalizacja, normalizacja do wartości 0 do 1 lub standaryzacja funkcji nie ma większego znaczenia.

— Haitao Du
źródło

Ta odpowiedź jest oczywista. Pod pojęciem „normalizacja” rozumie się tutaj ściskanie wszystkich wartości w [0,1], nie jest to tylko inne słowo określające normalizację. Pytanie dotyczy wpływu normalizacji w [0,1] vs. normalizacji ~ N (0,1) na współczynniki modelu.

— Digio

Co to znaczy znormalizować do [0,1]? Można to osiągnąć na wiele sposobów. Jakie jest twoje zalecenie dotyczące regresji karanej?

— Cagdas Ozgenc

Ponieważ pytanie mówi o „normalizacji cech w skali (0,1)”, chociaż być może lepszym terminem jest przeskalowanie cech , jest ogólną techniką uzyskiwania oszacowań współczynników, które wyrażają względne zmienne znaczenie (podobne do miary czystości RF). Tak, istnieje wiele sposobów na osiągnięcie tego i nie jest to coś specyficznego dla regresji karnej, ale to pytanie dotyczy wpływu przeskalowania funkcji (nie standaryzacji) na Lasso.

— Digio

co rozumiesz przez „normalizacja do wartości 0 do 1 lub standaryzacja funkcji nie ma większego znaczenia”? W jakim sensie nie ma to większego znaczenia? Czy możesz podać intuicję lub odniesienia do tego roszczenia?

— user795305