Dlaczego kara Lasso jest równoważna podwójnemu wykładniczemu (Laplaceowi) przedtem?

27

Czytałem w wielu odnośnikach, że oszacowanie Lasso dla wektora parametru regresji jest równoważne trybowi tylnemu w którym poprzedni rozkład dla każdego jest podwójnym wykładniczym (znanym również jako rozkład Laplace'a). $B$ $B$ $B_i$

Próbowałem to udowodnić, czy ktoś może dopracować szczegóły?

— Wintermute
źródło

@ user777 Dzisiaj przeglądałem tę książkę. Nie można znaleźć niczego istotnego.

— Wintermute,

3

Powiązane: stats.stackexchange.com/questions/177210/…

— Tim

30

Dla uproszczenia rozważmy tylko jedną obserwację zmiennej $Y$ takiej jak

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ i niepoprawny poprzedni $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ .

Zatem gęstość połączenia $Y, \mu, \sigma^2$ jest proporcjonalna do

f (Y, μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Biorąc log i odrzucając warunki, które nie obejmują , $\mu$

\log f (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Zatem maksimum (1) będzie oszacowaniem MAP i rzeczywiście jest problemem Lasso po ponownym sparametryzowaniu . $\tilde \lambda = \lambda \sigma^2$

Rozszerzenie do regresji jest jasne - wymienić z w normalny prawdopodobieństwa i ustawić przed na będzie ciągiem niezależnych Laplace rozkładów. $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M.
źródło

25

Jest to oczywiste po sprawdzeniu ilości, którą LASSO optymalizuje.

Przyjmijmy, że jest niezależnym Laplace'em ze średnią zero i pewną skalą . $\beta_i$ $\tau$

Więc . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Model danych to typowe założenie regresji . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Teraz minus dwukrotność kłody tylnej jest w formie

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Niech i otrzymamy -posterior z $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

Estymator MAP dla minimalizuje powyższe, co minimalizuje $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Tak więc estymatorem MAP dla jest LASSO. $\beta$

(Tutaj potraktowałem jako skutecznie naprawiony, ale możesz robić z nim inne rzeczy i nadal otrzymywać LASSO.) $\sigma^2$

Edycja: To właśnie otrzymuję za skomponowanie odpowiedzi off-line; Nie widziałem dobrej odpowiedzi, która została już opublikowana przez Andrew. Mój naprawdę nic nie robi, czego on już nie robi. Na razie zostawiam mój, ponieważ daje on kilka dodatkowych szczegółów rozwoju pod względem . $\beta$

— Glen_b - Przywróć Monikę
źródło

1

Wydaje się, że istnieje różnica w twojej odpowiedzi i Andrew. Twoja odpowiedź ma poprawną formę regulizera:

, podczas gdy Andrew ma

, gdzie w regresji liniowej otrzymujemy

.

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.

2

@AlexR Myślę, że źle interpretujesz μ w odpowiedzi Andrew. Μ tam odpowiada

w regresji z tylko przecięciem, a nie

w regresji wielokrotnej; ten sam argument występuje w przypadku większej sprawy (zwróć uwagę na podobieństwa z moją odpowiedzią), ale łatwiej jest podążać w prostej sprawie. Odpowiedź Andrew jest zasadniczo słuszna, ale nie łączy wszystkich kropek z pierwotnym pytaniem, pozostawiając niewielką ilość do wypełnienia przez czytelnika. Myślę, że nasze odpowiedzi są spójne (do pewnych drobnych różnic związanych z σ, które można uwzględnić) i że w pełni zasłużył na kleszcz

β_{0}

$\beta_0$

X β

$X\beta$

— Glen_b