Niezbędne artykuły na temat rozkładu macierzy

Niedawno przeczytałem książkę Skillicorn o rozkładach matryc i byłem nieco rozczarowany, ponieważ był skierowany do słuchaczy. Chciałbym skompilować (dla siebie i innych) krótką bibliografię podstawowych artykułów (ankiety, ale także artykuły przełomowe) na temat rozkładu macierzy. Mam przede wszystkim na myśli SVD / PCA (i mocne / rzadkie warianty) i NNMF, ponieważ są one najczęściej używane. Czy wszyscy macie jakieś rekomendacje / sugestie? Powstrzymuję moje, by nie stronić od odpowiedzi. Prosiłbym o ograniczenie każdej odpowiedzi do 2-3 artykułów.

PS: Te dwa dekompozycje nazywam najczęściej stosowanymi w analizie danych . Oczywiście QR, Cholesky, LU i polar są bardzo ważne w analizie numerycznej. Nie na tym jednak koncentruje się moje pytanie.

Skąd wiesz, że SVD i NMF są zdecydowanie najczęściej stosowanymi rozkładami macierzy, a nie LU, Cholesky i QR? Moim ulubionym „przełomem” musiałby być gwarantowany algorytm QR ujawniający rangę,

• Chan, Tony F. „Pozycja ujawniająca faktoryzacje QR”. Algebra liniowa i jej zastosowania, tomy 88–89, kwiecień 1987, strony 67–82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... rozwinięcie wcześniejszego pomysłu QR z obrotową kolumną:

• Businger, Peter; Golub, Gene H. (1965). Liniowe rozwiązania najmniejszych kwadratów według transformacji Householdera. Numerische Mathematik Volume 7, Number 3, 269-276, DOI: 10.1007 / BF01436084

A ( ?) Klasyczny podręcznik jest:

• Golub, Gene H .; Van Loan, Charles F. (1996). Matrix Computations (wydanie trzecie), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(wiem, że nie prosiłeś o podręczniki, ale nie mogę się oprzeć)

Edycja: Nieco więcej googlingów znajduje artykuł, którego streszczenie sugeruje, że możemy być nieco w poprzek morświnów. Mój powyższy tekst pochodzi z perspektywy „numerycznej algebry liniowej” (NLA); być może bardziej interesuje Cię perspektywa „statystyki stosowanej / psychometrii” (AS / P)? Czy mógłbyś to wyjaśnić?

• Lawrence Hubert, Jacqueline Meulman i Willem Heiser. Dwa cele faktoryzacji macierzy: ocena historyczna. SIAM Review Vol. 42, nr 1 (mar., 2000), s. 68–82

Dla NNMF Lee i Seung opisują iteracyjny algorytm, który jest bardzo prosty do wdrożenia. W rzeczywistości dają dwa podobne algorytmy, jeden do minimalizacji normy resztkowej Frobeniusa, drugi do minimalizacji Rozbieżności Kullbacka-Leiblera aproksymacji i macierzy oryginalnej.

• Daniel Lee, H. Sebastian Seung, Algorytmy dla nieujemnej faktoryzacji macierzy, Postępy w systemach przetwarzania informacji neuronowych 13: Materiały z konferencji w 2000 r. MIT Naciśnij. s. 556–562.

Może znajdziesz interesujące

1. [Learning with Matrix Factorizations] Praca doktorska Nathana Srebro,
2. [Badanie różnych metod faktoryzacji macierzy dla dużych systemów rekomendujących] , Gábor Takács i in. i prawie taka sama technika opisana tutaj

Dwa ostatnie łącza pokazują, w jaki sposób rzadkie faktoryzacje macierzy są używane w filtrowaniu grupowym. Uważam jednak, że algorytmy faktoryzacji podobne do SGD mogą być przydatne gdzie indziej (przynajmniej są wyjątkowo łatwe do kodowania)

Witten, Tibshirani - Karany rozkład macierzy

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - Randomized SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Na tegorocznych targach NIPS ukazał się krótki artykuł na temat rozproszonego SVD na dużą skalę, który działa w jednym przejściu przez macierz przesyłania strumieniowego .

Dokument jest bardziej zorientowany na implementację, ale przedstawia rzeczy z perspektywy czasu rzeczywistego i zegara na ścianie. Tabela na początku jest również dobrą ankietą.