Co oznaczają podwójne słupki i 2 na dole zwykłych najmniejszych kwadratów?

Widziałem ten zapis dla zwykłych najmniejszych kwadratów tutaj .

min_{w} {‖ X w - y ‖}_{2}^{2)}

$\min_w \left\| Xw - y \right\|^2_2$

Nigdy nie widziałem podwójnych pasków i 2 na dole. Co oznaczają te symbole? Czy mają dla nich określoną terminologię?

— Aseem Bansal
źródło

Zastosowanie podwójnych słupków wskazuje tylko, że stosujemy normę L2.

— Michael R. Chernick

@MichaelChernick and the 2? Czy to część „normy L2”?

— Aseem Bansal,

Tak, podobnie jak L2, istnieje również L1.

— Jon

Myślę, że

X_{w}

$X_w$ powinno być

X w

$Xw$ ponieważ

w

$w$ jest wektorem

— ilanman

@ilanman Tak, to było to, co było w notacji przed edycją. Zmieniłem to z powrotem

— Aseem Bansal

Mówisz o -norm (normie euklidesowej) wektora ( ). Jeśli to dla ciebie obce, krótko -norm wektora , to: $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

Więc w twoim przypadku co jest zgodne z sumą kwadratów reszt dla regresji liniowej. W kontekście problemów z regresją widać to również często w obliczeniach błędu średniego kwadratu (MSE) i regresji grzbietu . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

Jest to powszechna norma (między innymi jest matematycznie wygodna), więc gdy będzie to oczywiste z kontekstu, zobaczysz dolne pominięte i po prostu . $2$ $\|u\|^2$

Jak wspomniano w komentarzach, możesz także zobaczyć -norm: $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

Co odpowiada wartości bezwzględnej. Znów zobaczysz to w średnich błędach bezwzględnych (MAE) lub problemach Lasso .

Inne popularne normy:

1 -norm: odległość Hamminga lub liczba niezerowych w wektorze, tj. przy obliczaniu rzadkości wektora. Technicznie rzecz biorąc, nie jest to norma (jest to funkcja liczności), ponieważ masz definicję , ale ma ona postać normy, więc nazywamy ją jedną.
- Ta norma jest idealną normą używaną do indukowania rzadkości dla problemów regresji, ponieważ naprawdę chcemy wyzerować współczynniki, jednak obliczanie regularności jest trudne dla NP, więc zamiast tego przybliżamy ją do który można rozwiązać za pomocą programowania liniowego. Jest również popularny w Compressed Sensing . $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm: = underset dla $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : Norma Frobeniusa (euklidesowa), zastosowana do macierzy $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— ilanman
źródło

Link do wolfram alpha był bardzo pomocny.

— Aseem Bansal,

Piszesz, że liczy (pseudo) norma liczba zer w wektorze-ty może oznaczać liczbę non -ZERO wpisy? (Byłoby to bardziej zgodne z tym, co widziałem, a także oznaczałoby, że byłby odległością Hamminga między a , w przeciwieństwie do bycia

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$ minus to dystans.)

— wchargin

Błąd ortograficzny: „Frobenius”.

— hobbs

Zamiast „jest to powszechna norma” powiedziałbym tylko, że „L2 jest normą”;)

— user541686