Czy jest jakaś przewaga SVD nad PCA?

Wiem, jak obliczyć PCA i SVD matematycznie, i wiem, że oba można zastosować do regresji liniowej najmniejszych kwadratów.

Główną zaletą SVD matematycznie wydaje się być to, że można ją zastosować do macierzy niekwadratowych.

Oba skupiają się na rozkładzie macierzyPoza wymienioną przewagą SVD, czy istnieją jakieś dodatkowe zalety lub spostrzeżenia zapewniane przez użycie SVD w porównaniu z PCA? $X^\top X$

Naprawdę szukam intuicji, a nie jakichkolwiek różnic matematycznych.

pca least-squares svd

— Baz
źródło

Pytanie jest niejasne. Najpierw wspomnij o regresji OLS. Potem znika. Następnie, advantage... SVD over PCA- svd i PCA nie mogą być porównywane jako operacja matematyczna i metoda analizy danych. Czy twoje pytanie może dotyczyć sposobów wykonywania PCA ? Albo o co pytasz

— ttnphns

Przepraszam, że jestem niejasny. Mam estymatory typu grzbietu, które pochodzą z PCA, a drugie z SVD. Istnieją różnice w sposobie konfigurowania modeli, tzn. W zależności od wykorzystywanych wcześniej informacji. Ale są one napisane przez tego samego autora. Próbuję zrozumieć różnice między nimi i próbuję dowiedzieć się, dlaczego użyłby PCA vs. SVD jako podstawy swojej analizy. Być może było to arbitralne, ale jeśli rozumiem zalety i wady, to by pomogło. Jak dotąd wydaje się, że SVD jest po prostu sposobem na PCA, który jest bardziej stabilny numerycznie.

— Baz

W porządku, ale zastanawiałem się tylko, czy użycie SVD daje również dodatkowe ekonometryczne spostrzeżenia / intuicje na temat problemu.

— Baz

Jeśli chcesz skoncentrować się na ekonometrii, myślę, że musisz to wyjaśnić w pytaniu i wyjaśnić, dlaczego. Nie widzę, aby dyskusja na temat SVD i PCA, które i tak były całkiem różnymi gatunkami zwierząt, różni się w ekonometrii niż w jakiejkolwiek innej dziedzinie nauk statystycznych.

— Nick Cox

@Baz: „Jak dotąd wydaje się, że SVD jest po prostu sposobem na PCA, który jest bardziej stabilny numerycznie” - [w tym kontekście] jest dokładnie tak, tak.

— ameba mówi Przywróć Monikę

Odpowiedzi:

Jak powiedzieli @ttnphns i @ nick-cox, SVD jest metodą numeryczną, a PCA jest metodą analizy (jak najmniejszych kwadratów). Możesz wykonać PCA za pomocą SVD, lub PCA wykonując rozkład własny (lub ), lub możesz wykonać PCA za pomocą wielu innych metod, tak jak możesz rozwiązać najmniejsze kwadraty za pomocą kilkunastu różnych algorytmów jak metoda Newtona, spadek gradientu lub SVD itp. $X^T X$ $X X^T$

Tak więc nie ma „przewagi” SVD nad PCA, ponieważ jest to jak pytanie, czy metoda Newtona jest lepsza od najmniejszych kwadratów: te dwa nie są porównywalne.

— fioletowy51
źródło

Fajny przykład tego, jak zwięzła, krótka odpowiedź wciąż może dotrzeć do sedna pytania.

— Nick Cox

Wow, 8 głosów pozytywnych za tę odpowiedź i 0 głosów pozytywnych za oryginalne pytanie. To nie ma większego sensu. Jeśli głosujesz za odpowiedzią, rozważ również głosowanie na pytanie!

— ameba mówi Przywróć Monikę

@amoeba Pytanie do mnie jest zdezorientowane. Odpowiedź wyjaśnia, co to za zamieszanie. Myślę, że to dobre wytłumaczenie różnic w głosowaniu.

— Nick Cox

W rzeczywistości, aby być bardziej pedantycznym, SVD nie jest metodą numeryczną per se, to operacja algebry liniowej, którą można wdrożyć za pomocą określonych metod numerycznych obejmujących takie rzeczy jak transformacje Householdera ...

— purple51

Jednak zaletą (przy wyprowadzaniu głównych składników przez) SVD jest liczbowa: większa precyzja. Zobacz na przykład Jolliffe (2002). Może

— Nikos Alexandris

Pytanie naprawdę nasuwa pytanie, czy przed zastosowaniem SVD należy wykonać normalizację kolumn Z-score. Wynika to z powyższej transformacji PCA, po której następuje SVD. Czasami normalizacja jest dość szkodliwa. Jeśli twoje dane są na przykład (przekształcone) liczbą słów, które są dodatnie, odjęcie średniej jest zdecydowanie szkodliwe. Jest tak, ponieważ zera reprezentujące brak słowa w dokumencie zostaną zmapowane na liczby ujemne o dużej wielkości. W przypadku problemów liniowych należy zastosować wyższą wartość do przedstawienia zakresu, w którym cechy są najbardziej wrażliwe. Również dzielenie przez odchylenie standardowe jest szkodliwe dla tego typu danych.

— Stefan Savev
źródło

To ciekawy przykład, ale uważam, że powinien raczej należeć do innego wątku. PCA można zdecydowanie zrobić bez punktacji Z, więc nie zgadzam się z twoim pierwszym zdaniem: nie o to tak naprawdę pyta.

— ameba mówi Przywróć Monikę

PCA i SVD są takie same, jeśli zignorujesz odejmowanie średnich (jest to punktacja Z, o której wspominałem, czasami ludzie dają PCA z dzieleniem przez stdev). Nie zgadzam się więc z tym, że można robić PCA bez odejmowania środków. Możesz także wykonać PCA na macierzach nie kwadratowych.

— Stefan Savev,