Wiem, że regresję liniową można uznać za „linię, która jest pionowo najbliższa wszystkich punktów” :
Jest jednak inny sposób, aby to zobaczyć, wizualizując przestrzeń kolumny, jako „rzut na przestrzeń rozciągniętą przez kolumny macierzy współczynników” :
Moje pytanie brzmi: co się dzieje w tych dwóch interpretacjach, gdy stosujemy karaną regresję liniową, taką jak regresja kalenicy i LASSO ? Co dzieje się z linią w pierwszej interpretacji? A co dzieje się z projekcją w drugiej interpretacji?
AKTUALIZACJA: @JohnSmith w komentarzach przywołał fakt, że kara występuje w przestrzeni współczynników. Czy istnieje także interpretacja w tej przestrzeni?