Statystyki i duże zbiory danych pca

1

W jaki sposób powiązane są PCA, LDA, CCA i PLS? Wszystkie wydają się „widmowe” i algebraiczne liniowe i bardzo dobrze rozumiane (powiedzmy, że ponad 50 lat teorii wokół nich zbudowanych). Są używane do bardzo różnych rzeczy (PCA do redukcji wymiarów, LDA do klasyfikacji, PLS do regresji), ale nadal czują się …

26 pca discriminant-analysis partial-least-squares canonical-correlation

2

Czy ma sens łączenie PCA i LDA?

Załóżmy, że mam zestaw danych do nadzorowanego zadania klasyfikacji statystycznej, np. Za pomocą klasyfikatora Bayesa. Ten zestaw danych składa się z 20 elementów i chcę sprowadzić go do 2 elementów za pomocą technik redukcji wymiarów, takich jak analiza głównych składników (PCA) i / lub liniowa analiza dyskryminacyjna (LDA). Obie techniki …

25 classification pca regularization discriminant-analysis overfitting

3

Interpretacja regularyzacji grzbietu w regresji

Mam kilka pytań dotyczących kary za kalenicę w kontekście najmniejszych kwadratów: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Wyrażenie to sugeruje, że macierz kowariancji X jest zmniejszona w kierunku macierzy diagonalnej, co oznacza, że (zakładając, że zmienne są znormalizowane przed procedurą) korelacja między zmiennymi wejściowymi zostanie obniżona. Czy ta interpretacja …

25 regression pca regularization ridge-regression

5

W jaki sposób najważniejsze główne komponenty mogą zachować moc predykcyjną zmiennej zależnej (a nawet prowadzić do lepszych prognoz)?

Załóżmy, że używam regresji . Dlaczego, wybierając najlepsze głównych składników , model zachowuje moc predykcyjną na ?Y∼XY∼XY \sim XkkkXXXYYY Rozumiem, że z punktu widzenia redukcji wymiarów / wyboru cech, jeśli są wektorami własnymi macierzy kowariancji X z najwyższymi wartościami własnymi k , to Xv_1, Xv_2 ... Xv_k są pierwszymi k …

25 regression classification pca dimensionality-reduction regularization

2

Jak korzystać z wyników R prcomp do prognozowania?

Mam data.frame z 800 obs. z 40 zmiennych i chciałbym zastosować zasadową analizę komponentów do poprawy wyników mojej prognozy (która do tej pory najlepiej działa z maszyną Vector Support na około 15 ręcznie wybranych zmiennych). Rozumiem, że prcomp może mi pomóc poprawić moje przewidywania, ale nie wiem, jak korzystać z …

25 r pca

3

LSA vs. PCA (klastrowanie dokumentów)

Badam różne techniki stosowane w grupowaniu dokumentów i chciałbym wyjaśnić pewne wątpliwości dotyczące PCA (analiza głównego składnika) i LSA (utajona analiza semantyczna). Po pierwsze - jakie są między nimi różnice? Wiem, że w PCA rozkład SVD jest stosowany do macierzy kowariancji terminów, podczas gdy w LSA jest to matryca termin-dokument. …

25 clustering pca data-mining svd lsa

2

Czy PCA jest niestabilna w wielokoliniowości?

Wiem, że w sytuacji regresji, jeśli masz zestaw wysoce skorelowanych zmiennych, jest to zwykle „złe” ze względu na niestabilność szacowanych współczynników (wariancja zmierza w kierunku nieskończoności, gdy wyznacznik zmierza w kierunku zera). Moje pytanie brzmi, czy ta „zła” utrzymuje się w sytuacji PCA. Czy współczynniki / obciążenia / ciężary / …

25 pca multicollinearity

5

Przykłady PCA, w których komputery o niskiej wariancji są „przydatne”

Zwykle w analizie głównych składników (PCA) używa się pierwszych kilku komputerów PC, a komputery o niskiej wariancji są odrzucane, ponieważ nie wyjaśniają one dużej zmienności danych. Czy istnieją jednak przykłady, w których komputery PC o niskiej zmienności są przydatne (tj. Mają zastosowanie w kontekście danych, mają intuicyjne wyjaśnienie itp.) I …

24 pca

2

Jak rozumieć „nieliniowy” jak w „nieliniowej redukcji wymiarowości”?

Próbuję zrozumieć różnice między metodami liniowej redukcji wymiarów (np. PCA) a metodami nieliniowymi (np. Izomapa). Nie do końca rozumiem, co oznacza (nie) liniowość w tym kontekście. Czytałem z Wikipedii, że Dla porównania, jeżeli PCA (algorytm liniowej redukcji wymiarów) zostanie zastosowany do zredukowania tego samego zestawu danych do dwóch wymiarów, uzyskane …

24 pca terminology dimensionality-reduction pattern-recognition manifold-learning

3

Jak dokładnie rzadkie PCA jest lepsze od PCA?

Dowiedziałem się o PCA kilka wykładów temu na zajęciach i kopiąc więcej o tej fascynującej koncepcji, poznałem rzadkie PCA. Chciałem zapytać, jeśli się nie mylę, to jest to rzadkie PCA: w PCA, jeśli masz punktów danych ze zmiennymi , możesz zastosować każdy punkt danych w przestrzeni wymiarowej przed zastosowaniem PCA. …

24 machine-learning pca sparse

1

Właściwości PCA dla obserwacji zależnych

Zwykle używamy PCA jako techniki redukcji wymiarów dla danych, w których zakłada się, że przypadki są identyczne Pytanie: Jakie są typowe niuanse w stosowaniu PCA w odniesieniu do zależnych danych innych niż iid? Jakie miłe / użyteczne właściwości PCA, które przechowują dane ID, są zagrożone (lub całkowicie utracone)? Na przykład …

23 time-series pca non-independent iid

2

Jaka jest różnica między PCA a asymptotycznym PCA?

W dwóch artykułach z 1986 i 1988 r. Connor i Korajczyk zaproponowali podejście do modelowania zwrotów z aktywów. Ponieważ te szeregi czasowe mają zwykle więcej aktywów niż obserwacje okresu, zaproponowano wykonanie PCA w odniesieniu do przekrojowych kowariancji zwrotów aktywów. Nazwali tę metodę Asymptotic Principal Component Analysis (APCA, co jest dość …

23 pca econometrics

4

Wpisywanie brakujących wartości dla PCA

Użyłem tej prcomp()funkcji do wykonania PCA (analiza głównego składnika) w R. Jednak w tej funkcji jest błąd, który na.actionpowoduje, że parametr nie działa. Poprosiłem o pomoc w stosie przepływu ; dwóch użytkowników zaoferowało dwa różne sposoby radzenia sobie z NAwartościami. Problem z obydwoma rozwiązaniami polega jednak na tym, że gdy …

23 r pca missing-data data-imputation

1

Dlaczego dla

W PCA, gdy liczba wymiarów jest większa (lub nawet równa) liczbie próbek N , dlaczego jest tak, że będziesz mieć co najwyżej N - 1 niezerowe wektory własne? Innymi słowy, pozycja macierzy kowariancji wśród wymiarów d ≥ N wynosi N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Przykład: Twoje próbki to wektoryzowane obrazy …

22 pca dimensionality-reduction eigenvalues

2

Dlaczego PCA danych za pomocą SVD danych?

To pytanie dotyczy skutecznego sposobu obliczania głównych składników. Wiele tekstów na temat liniowego PCA opowiada się za dekompozycją danych w liczbie pojedynczej . Oznacza to, że jeśli mamy dane i chcemy zastąpić zmienne (jego kolumny ) głównymi składnikami, wykonujemy SVD: , wartości osobliwe (pierwiastki kwadratowe wartości własnych) zajmujące główną przekątną …

22 pca algorithms svd matrix-decomposition

Pytania otagowane jako pca