Mediana szacuje regresję L1, podczas gdy szacunki regresji L2 oznaczają?

24

Zadano mi więc pytanie, na podstawie których oszacowano centralne miary L1 (tj. Lasso) i L2 (tj. Regresja grzbietu). Odpowiedź to L1 = mediana i L2 = średnia. Czy jest w tym coś intuicyjnego? A może trzeba to ustalić algebraicznie? Jeśli tak, jak mam to zrobić?

— Bstat
źródło

4

Czy przez L1 / L2 masz na myśli funkcję celu czy ograniczenia? Jeśli funkcja celu, to tak błąd L1 jest minimalizowany za pomocą mediany warunkowej, a L2 średnia warunkowa. Jeśli ograniczenia (do czego odnosi się grzbiet / lasso), jest to niewłaściwy sposób myślenia o tym. Ich „centralne miary” wciąż zmierzają do uzyskania warunkowego środka, ale z różnymi karami za

β

$\beta$ .

— muratoa,

24

Istnieje proste geometryczne wyjaśnienie, dlaczego funkcja utraty L1 daje medianę.

Przypomnijmy, że pracujemy w jednym wymiarze, więc wyobraź sobie linię liczbową rozciągającą się w poziomie. Wykreśl każdy punkt danych na linii liczbowej. Połóż palec gdzieś na linii; Twój palec będzie Twoim aktualnym oszacowaniem kandydata.

Załóżmy, że przesuwasz palec nieco w prawo, powiedz $\delta$ jednostek w prawo. Co stanie się z całkowitą stratą? Cóż, jeśli twój palec znajdował się między dwoma punktami danych i przesuwasz go przez punkt danych, zwiększyłeś całkowitą utratę o $\delta$ dla każdego punktu danych na lewo od palca i zmniejszyłeś go o $\delta$ dla każdego punktu danych do na prawo od twojego palca. Jeśli więc jest więcej punktów danych po prawej stronie palca niż po lewej, przesunięcie palca w prawo zmniejsza całkowitą utratę. Innymi słowy, jeśli więcej niż połowa punktów danych znajduje się po prawej stronie palca, należy przesunąć palec w prawo.

Prowadzi to do przesunięcia palca w miejsce, w którym połowa punktów danych znajduje się na tym miejscu, a połowa na prawo. To miejsce jest medianą.

To L1 i mediana. Niestety nie mam podobnego wyjaśnienia „cała intuicja, brak algebry” dla L2 i średniej.

— DW
źródło

7

Jeśli mówimy o prostym oszacowaniu punktowym, to jest to prosty rachunek różniczkowy.

\frac{d}{d β} \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β)^{2} = - 2 \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β) = 0 \Rightarrow β = \frac{1}{n} \sum_{i} y_{i}

$\frac{d}{d \beta} \frac{1}{n}\sum_{i=1}^n (y_i - \beta)^2 = -2\frac{1}{n}\sum_{i=1}^n(y_i - \beta) = 0 \Rightarrow \beta = \frac{1}{n}\sum_i y_i$

— muratoa

3

@muratoa, tak, znam obliczanie rachunku różniczkowego, ale pytanie dotyczy konkretnie wyjaśnienia, które skupia się na intuicji i unika algebry. Zakładam, że pytający zna już wyprowadzanie rachunku różniczkowego, ale szuka czegoś, co zapewni więcej intuicji.

— DW,

Myślałem, że OP wspomniał o regresji, która sugeruje, że mówi on o oszacowaniu y dla x, który jest średnią warunkową z wykorzystaniem najmniejszych kwadratów i mediany warunkowej dla średniego błędu bezwzględnego. Te same wyjaśnienia powinny działać, ale problem jest nieco inny. Wyjaśnienie rachunku dla średniej jest dość jasne i proste. Być może wyjaśnienie średniej można podać w podobny sposób jak DW dla mediany. Średnia próby jest obiektywnym oszacowaniem średniej populacji.

— Michael R. Chernick,

Gdy odsuniesz oszacowanie od próbki, średni błąd kwadratu zmienia się z powodu wzrostu obciążenia. Średni błąd kwadratowy faktycznie wzrasta o d

gdy oszacowanie dodaje d do średniej próby jako oszacowanie kandydata.

^{2}

$^2$

— Michael R. Chernick,

11

Istnieje szybka i brudna wersja algebry podana przez muratoa dla przypadku L1. Zauważ, że z wyjątkiem sytuacji, gdy

, pochodna

WRT

jest

, czyli

jeśli

i

Jeśli

. Więc

β = y_{i}

$\beta = y_i$

| y_{i} - β |

$| y_i -\beta |$

β

$\beta$

- s g n (y_{i} - β)

$-\mathrm{sgn}(y_i-\beta)$

- 1

$-1$

β < y_{i}

$\beta < y_i$

+ 1

$+1$

β > y_{i}

$\beta > y_i$

, z wyjątkiem sytuacji, gdy

oznacza

. Pochodna znika, gdy występuje taka sama liczba dodatnich i ujemnych składników między

, co z grubsza powstaje, gdy

jest medianą

.

\frac{d}{d β} \frac{1}{n} \sum_{i} | y_{i} - β | = - \frac{1}{n} \sum_{i} s g n (y_{i} - β)

$\frac{\mathrm{d}}{\mathrm{d}\beta} \,\frac{1}{n}\sum_i | y_i -\beta | = -\frac{1}{n}\,\sum_i \mathrm{sgn}(y_i-\beta)$

β

$\beta$

y_{i}

$y_i$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

— Yves,

17

To wyjaśnienie jest streszczeniem muratoa i komentarzy Yvesa do odpowiedzi DW. Mimo że jest oparty na rachunku różniczkowym, uważam go za prosty i łatwy do zrozumienia.

Zakładając, że mamy a chcą uzyskać nowe oszacowanie oparte na nich. Najmniejszą stratę uzyskuje się, gdy znajdziemy co powoduje, że pochodna straty wynosi zero. $y_1, y_2, ... y_k$ $\beta$ $\beta$

Utrata L1

L. 1 = \frac{1}{k} \sum_{ja = 1}^{k} | y_{ja} - β |

$L1=\frac{1}{k}\sum_{i=1}^k|y_i-\beta|$

wynosi 1, gdy

, -1 gdy

. Pochodna jest równa 0, gdy istnieje taka sama liczba dodatnich i ujemnych składników między

, co oznacza, że

powinna być medianą

.

\frac{\partial {L.}_{1}}{\partial β} = - \frac{1}{k} \sum_{ja = 1}^{k} s sol n (y_{ja} - β)

$\frac{\partial L_1}{\partial\beta}=-\frac{1}{k}\sum_{i=1}^k sgn(y_i-\beta)$

s g n (y_{i} - β)

$sgn(y_i-\beta)$

y_{i} > β

$y_i>\beta$

y_{i} < β

$y_i<\beta$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

Utrata L2

L. 2) = \frac{1}{k} \sum_{ja = 1}^{k} (y_{ja} - β)^{2)}

$L2=\frac{1}{k}\sum_{i=1}^k(y_i-\beta)^2$

\frac{\partial {L.}_{2)}}{\partial β} = - \frac{2)}{k} \sum_{ja = 1}^{k} (y_{ja} - β)

$\frac{\partial L_2}{\partial\beta}=-\frac{2}{k}\sum_{i=1}^k(y_i-\beta)$

Aby więc zminimalizować utratę L2,

powinna być średnią

.

\frac{\partial {L.}_{2)}}{\partial β} = 0 \to β = \frac{1}{k} \sum_{ja = 1}^{k} y_{ja}

$\frac{\partial L_2}{\partial\beta}=0\rightarrow\beta=\frac{1}{k}\sum_{i=1}^k y_i$

β

$\beta$

y_{i}

$y_i$

— szef kuchni
źródło

3

Dodanie do odpowiedzi DW jeszcze bardziej praktycznym przykładem (również dla funkcji utraty L2):

Wyobraź sobie małą wioskę złożoną z 4 domów blisko siebie (np. 10 metrów). W odległości 1 kilometra znajduje się kolejny bardzo odizolowany dom. Teraz przybywasz do tego miasta i chcesz gdzieś zbudować własny dom. Chcesz mieszkać blisko innych domów i przyjaźnić się ze wszystkimi. Rozważ te dwa alternatywne scenariusze:

Postanawiasz być w miejscu, w którym średnia odległość do dowolnego domu jest najmniejsza (tj. Minimalizując funkcję utraty L1).
- Jeśli umieścisz swój dom w centrum wioski, będziesz w odległości około 10 metrów od 4 domów i 1 km od jednego domu, co daje średnią odległość około 200 metrów (10 + 10 + 10 + 10 + 1000 / 5).
- Jeśli umieścisz dom 500 metrów od wioski, będziesz w odległości około 500 metrów od 5 domów, co daje średnią odległość 500 metrów.
- Jeśli umieścisz swój dom obok izolowanego domu, będziesz w odległości 1 km od wioski (4 domy) i około 10 metrów od 1 domu, co daje średnią odległość około 800 metrów.
Tak więc do najniższej średniej odległości 100 metrów dochodzi poprzez budowę domu we wsi. Mówiąc dokładniej, zbudujesz swój dom pośrodku tych 4 domów, aby zyskać kilka metrów średniej odległości. Okazuje się, że ten punkt jest „ punktem środkowym ”, który uzyskalibyście podobnie, stosując wzór mediany.
Decydujesz się na demokratyczne podejście. Pytasz każdego z pięciu przyszłych sąsiadów o preferowaną lokalizację nowego domu. Wszyscy cię lubią i chcą, abyś mieszkał blisko nich. Wszyscy podają więc swoją preferowaną lokalizację jako miejsce tuż obok własnego domu. Bierzesz średnią ze wszystkich głosowanych lokalizacji twoich pięciu sąsiadów, a wynik to „200 metrów od wioski” (średnia głosów: 0 + 0 + 0 + 0 + 1000/5 = 200), co stanowi „ średni punkt ” z 5 domów, który uzyskałbyś podobnie stosując średnią formułę. Lokalizacja ta okazuje się dokładnie taka sama, która naśladuje sumę kwadratów odległości (tj. Funkcja utraty L2). Zróbmy matematykę, aby to zobaczyć:
- W tej lokalizacji suma kwadratów odległości wynosi: 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 800 ^ 2 = 800 000
- Jeśli zbudujemy dom w centrum wioski, nasza suma kwadratowych odległości wyniesie: 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 1000 ^ 2 = 1 000 000
- Jeśli budujemy, budujemy dom w odległości 100 metrów od wioski (jak w 1), suma kwadratów odległości wynosi: 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 900 ^ 2 = 850 000
- Jeśli zbudujemy dom w odległości 100 metrów od izolowanego domu, suma kwadratów odległości wynosi: 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 100 ^ 2 = 3 250 000

Tak więc, warto zauważyć, że nieco sprzecznie z intuicją, kiedy minimalizujemy sumę odległości, nie znajdujemy się w „środku” w sensie średniej, ale w sensie mediana. Jest to jeden z powodów, dla których OLS, jeden z najpopularniejszych modeli regresji, wykorzystuje błędy kwadratu zamiast błędów bezwzględnych.

— Jonathan Zimmermann
źródło

1

Oprócz już opublikowanych odpowiedzi (które były dla mnie bardzo pomocne!) Istnieje geometryczne wyjaśnienie związku między normą L2 a średnią.

Aby użyć tego samego zapisu co chefwen , formuła utraty L2 jest następująca:

L. 2) = \frac{1}{k} \sum_{ja = 1}^{k} (y_{ja} - β)^{2)}

$L2 = \frac{1}{k} \sum^{k}_{i=1} (y_i - \beta)^2$

$\beta$ $L2$ $k$

\sqrt{\sum_{ja = 1}^{k} (y_{ja} - β)^{2)}}

$\sqrt { \sum^{k}_{i=1} (y_i - \beta)^2 }$

$y$ $k$ $y$ $\vec{\beta} = (\beta, \beta, ..., \beta)$

$\beta$ $y$ $\vec{\beta}$ $\vec{\beta}$ $\vec{1} = (1, 1, ..., 1)$ $y$ $\vec{1}$

$k = 2$ $y = (2, 6)$ $\vec{1}$ $(4, 4)$

$k > 2$

\begin{aligned} \vec{β} & = {proj}_{\vec{1}} y \\ = \frac{y \cdot \vec{1}}{| \vec{1} |^{2)}} \vec{1} \\ β & = \frac{\sum_{ja = 1}^{k} y_{ja}}{k} \end{aligned}

$\begin{alignat}{2} \vec{\beta} &= \operatorname{proj}_{\vec{1}}{y} \\ &= \frac{y \cdot \vec{1}}{|\vec{1}|^2}\vec{1} \\ \beta &= \frac{\sum^k_{i=1} y_i}{k} \end{alignat}$

— Paweł
źródło