Jakie są normy i jakie mają znaczenie dla regularyzacji?

Ostatnio widziałem wiele artykułów na temat rzadkich reprezentacji, a większość z nich używa normy i dokonuje pewnych minimalizacji. Moje pytanie brzmi: co to jest norma , a norma ? A w jaki sposób mają one znaczenie dla regularyzacji? $\ell_p$ $\ell_p$ $\ell_{p, q}$

Dzięki

machine-learning regularization sparse

— woda
źródło

$\ell_p$

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

(Istnieją również normy , które są definiowane analitycznie, z wyjątkiem funkcji zamiast wektorów lub sekwencji - tak naprawdę to samo, ponieważ wektory są funkcjami o domenach skończonych). $L_p$

Nie znam żadnego zastosowania normy w aplikacji do uczenia maszynowego, gdzie , z wyjątkiem sytuacji, gdy . Zwykle widzisz lub , lub czasami gdzie chcesz złagodzić przypadek ; nie jest ściśle wypukły w , ale $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ jest dla . W niektórych przypadkach może to ułatwić znalezienie rozwiązania. $1 < p < \infty$

W kontekście regulacji, jeśli dodasz do funkcji celu, mówisz, że oczekujesz, że będzie rzadki , to znaczy składa się głównie z zer. To trochę techniczne, ale w zasadzie, jeśli istnieje $\|\vec x\|_1$ $\vec x$ gęste rozwiązanie, prawdopodobnie istnieje rzadsze rozwiązanie z tą samą normą. Jeśli oczekujesz, że twoje rozwiązanie będzie gęste, możesz dodać do celu, ponieważ wtedy znacznie łatwiej jest pracować z jego pochodną. Oba służą do tego, aby rozwiązanie nie miało zbyt dużej wagi. $\|\vec x\|_2^2$

Mieszana norma pojawia się, gdy próbujesz zintegrować kilka źródeł. Zasadniczo chcesz, aby wektor rozwiązania składał się z kilku elementów , gdzie jest indeksem jakiegoś źródła. normą jest po prostu -norm wszystkich $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$ -norms zbiera się w wektorze. Tj.

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

Celem tego nie jest „nadmierne sparsowanie” zestawu rozwiązań, powiedzmy za pomocą . Poszczególne elementy są rzadkie, ale nie ryzykujesz, że nukniesz cały wektor rozwiązania, biorąc $\|\vec x\|_{1,2}$ $1$ normę ze wszystkich rozwiązań. Zamiast tego używasz norm na zewnątrz. $2$

Mam nadzieję, że to pomaga.

Zobacz ten artykuł, aby uzyskać więcej informacji.

— Josephine Moeller
źródło

+1 za wyjaśnienie norm mieszanych. Sam ich nigdy nie zrozumiałem.

— Suresh Venkatasubramanian

(+1) Ładna odpowiedź. Witamy w CrossValidated, John!

— MånsT