Dlaczego domyślną normą macierzową jest norma widmowa, a nie norma Frobeniusa?

W przypadku normy wektorowej powszechnie stosowaną i intuicyjną definicją jest norma L2 lub „odległość euklidesowa”. Ale dlaczego „najczęściej stosowana” lub „domyślna” definicja normy dla macierzy jest normą spektralną , a nie normą Frobeniusa (która jest podobna do normy L2 dla wektorów)?

Czy ma to coś wspólnego z iteracyjnymi algorytmami / mocami macierzy (jeśli promień widmowy jest mniejszy niż 1, algorytm się zbiegnie)?

---

1. Zawsze można spierać się o słowa takie jak „najczęściej używane”, „domyślne”. Słowo „domyślne” wspomniane powyżej pochodzi od domyślnego typu zwracanego w Matlabfunkcji norm. W Rdomyślnej normą dla macierzy jest normą L1. Oba są „nienaturalne” do mnie (na matrycy wydaje się bardziej „naturalne”, aby zrobić $\sqrt{\sum_{i,j}a^{2}_{i,j}}$ jak w wektorze). (Dzięki za komentarze @ usεr11852 i @ whuber i przepraszam za zamieszanie.)

2. Czy można rozszerzyć użycie normy macierzowej , pomogłoby mi to zrozumieć więcej?

Ogólnie nie jestem pewien, czy norma spektralna jest najczęściej stosowana. Na przykład normę Frobeniusa stosuje się w celu przybliżenia rozwiązania nieujemnego rozkładania na czynniki pierwsze macierzy lub regulowania macierzy korelacji / kowariancji . Myślę, że część tego pytania wynika z wykroczenia terminologicznego, które niektórzy ludzie (łącznie ze mną) odnoszą się do normy Frobeniusa jako normy matrycy euklidesowej . Dlatego, że nie należy w rzeczywistości normą macierz (tj. Widmowa normą) to taka, która jest skłonna do matryc przy użyciu L 2 wektor normy. Normą Frobeniusa jest to, że jest elementarne: | | A | $L_2$$L_2$ , aL2normą macierzy (||||2=$||A||_F = \sqrt{\sum_{i,j}a_{i,j}^2}$$L_2$) opiera się na wartościach osobliwych, dlatego jest bardziej „uniwersalny”. (na szczęście lepszego terminu?)Norma macierzyL2jest normą typu euklidesowego, ponieważ jest indukowana przez normę wektora euklidesowego, gdzie| | A| | 2=maks. | | x | | 2 = 1 | | Ax| | 2. Jest to zatemindukowana normadla macierzy, ponieważ jestindukowanaprzez$||A||_2 = \sqrt{\lambda_{max}(A^T A)})$$L_2$$||A||_2 = \max\limits_{||x||_2 =1} || Ax||_2$ norma wektorowa ,$L_2$ w tym przypadku norma wektorowa .

Prawdopodobnie MATLAB dąży do domyślnego zapewnienia normy podczas używania polecenia ; co w konsekwencji zapewnia euklidesową normy wektorowej ale także L 2 normę matrycy, tj. widmowa normą matrycy (niesłusznie zamiast cytowane „ Frobeniusa / norma euklidesowa macierz ”). Na koniec zauważę, że to, co jest domyślną normą, jest w pewnym stopniu kwestią opinii: na przykład „ Algebra macierzy - teoria, obliczenia i zastosowania w statystyce ” JE Gentle'a dosłownie ma rozdział (3.9.2) o nazwie: „ Frobenius” Norma - „Zwykła” norma$L_2$norm$L_2$"; więc wyraźnie widmowa norma nie jest domyślną normą dla wszystkich rozważanych stron! :) Jak komentuje @amoeba, różne społeczności mogą mieć różne konwencje terminologiczne. Nie trzeba dodawać, że uważam, że książka Gentle'a jest nieocenionym źródłem informacji na temat Aplikacja Lin. Algebra w statystykach i zachęcam do dalszych poszukiwań!

Część odpowiedzi może być związana z obliczeniami numerycznymi.

$$Ax=b$$ $\tilde x$$A\tilde x \approx b$ $$\tilde A \tilde x = \tilde b$$ $\tilde x$ $$\tilde A \approx A, \quad \tilde b \approx b$$ $\tilde A-A$$\tilde b-b$$\| \tilde A-A \|$$\| \tilde b-b\|$$l_1$$l_\infty$ norm (max row sum) is the easiest to push through (for components of the solution in the linear system case, for instance), and for yet others, the $l_2$ spectral norm is the most appropriate one (induced by the traditional $l_2$ vector norm, as pointed out in another answer). For the work horse of statistical computing in symmetric p.s.d. matrix inversion, Cholesky decomposition (trivia: the first sound is a [x] as in Greek letter "chi", not [tʃ] as in "chase"), the most convenient norm to keep track of the error bounds is the $l_2$ norm... although the Frobenius norm also pops up in some results e.g. on partitioned matrix inversion.

The answer to this depends on the field you're in. If you're a mathematician, then all norms in finite dimensions are equivalent: for any two norms $\|\cdot\|_a$ and $\|\cdot\|_b$, there exist constants $C_1,C_2$, which depend only on dimension (and a,b) such that:

$$C_1\|x\|_b\leq \|x\|_a\leq C_2\|x\|_b.$$

This implies that norms in finite dimensions are quite boring and there is essentially no difference between them except in how they scale. This usually means that you can choose the most convenient norm for the problem you're trying to solve. Usually you want to answer questions like "is this operator or procedure bounded" or "does this numerical process converge." With boundedness, you only usually care that something is finite. With convergence, by sacrificing the rate at which you have convergence, you can opt to use a more convenient norm.

For example, in numerical linear algebra, the Frobenius norm is sometimes preferred because it's a lot easier to calculate than the euclidean norm, and also that it naturally connects with a wider class of Hilbert Schmidt operators. Also, like the Euclidean norm, it's submultiplictive: $\|AB\|_F\leq \|A\|_F\|B\|_F$, unlike say, the max norm, so it allows you to easily talk about operator multiplication in whatever space you're working in. People tend to really like both the $p=2$ norm and the Frobenius norm because they have natural relations to both the eigenvalues and singular values of matrices, along with being submultiplictive.

For practical purposes, the differences between norms become more pronounced because we live in a world of dimensions and it usually matters how big a certain quantity is, and how it's measured. Those constants $C_1,C_2$ above are not exactly tight, so it becomes important just how much more or less a certain norm $\|x\|_a$ is compared to $\|x\|_b$.