Statystyki i duże zbiory danych pca

1

Analiza PCA i korespondencji w odniesieniu do Biplot

Biplot jest często używany do wyświetlania wyników analizy głównych składników (i powiązanych technik). Jest to podwójny lub nakładkowy wykres rozrzutu pokazujący obciążenia komponentów i oceny komponentów jednocześnie. @Amoeba poinformował mnie dzisiaj, że udzielił odpowiedzi odbiegającej od mojego komentarza do pytania, które dotyczy tego, w jaki sposób współrzędne biplot są produkowane …

38 pca multivariate-analysis svd correspondence-analysis biplot

2

Jak analiza czynnikowa wyjaśnia kowariancję, podczas gdy PCA wyjaśnia wariancję?

Oto cytat z książki Bishopa „Rozpoznawanie wzorców i uczenie maszynowe”, rozdział 12.2.4 „Analiza czynnikowa”: Według wyróżnionej części analizy czynnika oddaje kowariancji pomiędzy zmiennymi w macierzy WWW . Zastanawiam się JAK ? Oto jak to rozumiem. Powiedzmy, że xxx to obserwowana zmienna ppp wymiarowa, WWW to macierz obciążenia czynnikowego, a zzz …

37 pca factor-analysis geometry

3

Czy znak wyników lub ładunków w PCA lub FA ma znaczenie? Czy mogę odwrócić znak?

Przeprowadziłem analizę składowych głównych (PCA) z R przy użyciu dwóch różnych funkcji ( prcompi princomp) i zauważyłem, że wyniki PCA różnią się znakiem. Jak to możliwe? Rozważ to: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 [6,] 0.481756 0.1639112 …

37 r pca factor-analysis

3

Liniowość PCA

PCA jest uważana za procedurę liniową, jednak: PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), gdzie . To znaczy, że wektory własne uzyskane przez PCA na macierzach danych nie sumują się do zrównania wektorów własnych uzyskanych przez PCA z sumą macierzy danych . Ale nie jest to definicja funkcji liniowej która:X i X i fX=X1+X2+…+XnX=X1+X2+…+XnX=X_1+X_2+\ldots+X_nXiXiX_iXiXiX_ifff f(x+y)=f(x)+f(y)?f(x+y)=f(x)+f(y)?f(x+y)=f(x)+f(y)? …

35 pca linear

3

PCA i podział pociąg / test

Mam zestaw danych, dla którego mam wiele zestawów etykiet binarnych. Dla każdego zestawu etykiet uczę klasyfikatora, oceniając go poprzez walidację krzyżową. Chcę zmniejszyć wymiarowość za pomocą analizy głównych składników (PCA). Moje pytanie brzmi: Czy możliwe jest wykonanie PCA raz dla całego zestawu danych, a następnie użycie nowego zestawu danych o …

35 machine-learning classification pca cross-validation

3

Dlaczego t-SNE nie jest stosowany jako technika redukcji wymiarów do grupowania lub klasyfikacji?

W ostatnim zadaniu powiedziano nam, abyśmy używali PCA na cyfrach MNIST, aby zmniejszyć wymiary z 64 (8 x 8 obrazów) do 2. Następnie musieliśmy grupować cyfry za pomocą Gaussian Mixture Model. PCA wykorzystujące tylko 2 główne komponenty nie daje wyraźnych klastrów, w wyniku czego model nie jest w stanie wytworzyć …

34 classification clustering pca dimensionality-reduction tsne

1

Jaki jest intuicyjny powód wykonywania rotacji w analizie czynnikowej / PCA i jak wybrać odpowiedni obrót?

Moje pytania Jaki jest intuicyjny powód wykonywania rotacji czynników w analizie czynnikowej (lub komponentach w PCA)? Rozumiem, że jeśli zmienne są prawie jednakowo ładowane w najlepszych komponentach (lub czynnikach), to oczywiście trudno jest odróżnić komponenty. W takim przypadku można użyć rotacji, aby uzyskać lepsze rozróżnienie komponentów. Czy to jest poprawne? …

33 pca interpretation factor-analysis dimensionality-reduction factor-rotation

1

W jaki sposób PCA pomógłby w analizie skupień metodą k-średnich?

Kontekst : Chcę podzielić obszary mieszkalne miasta na grupy na podstawie ich cech społeczno-ekonomicznych, w tym gęstości zabudowy, gęstości zaludnienia, powierzchni zieleni, ceny mieszkań, liczby szkół / ośrodków zdrowia / ośrodków opieki dziennej itp. Chcę zrozumieć, na ile różnych grup można podzielić dzielnice mieszkaniowe i jakie są ich unikalne cechy. …

32 clustering pca k-means dimensionality-reduction

1

Funkcja celu PCA: jaki jest związek między maksymalizacją wariancji a minimalizacją błędu?

Algorytm PCA można sformułować w kategoriach macierzy korelacji (załóżmy, że dane XXX zostały już znormalizowane i rozważamy jedynie rzut na pierwszy komputer). Funkcję celu można zapisać jako: maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. To jest w porządku i używamy mnożników Lagrangian, aby go rozwiązać, tj. Przepisując go …

32 pca optimization

3

PCA o korelacji lub kowariancji: czy PCA o korelacji ma kiedykolwiek sens? [Zamknięte]

W analizie głównych składników (PCA) można wybrać macierz kowariancji lub macierz korelacji, aby znaleźć składniki (z ich odpowiednich wektorów własnych). Dają one różne wyniki (obciążenia komputera i wyniki), ponieważ wektory własne między oboma macierzami nie są równe. Rozumiem, że jest to spowodowane faktem, że surowego wektora danych i jego standaryzacji …

32 pca factor-analysis

3

Budowanie autokodera w Tensorflow, aby przewyższyć PCA

Hinton i Salakhutdinov w zmniejszaniu wymiarów danych za pomocą sieci neuronowych Science 2006 zaproponowali nieliniowe PCA poprzez zastosowanie głębokiego autoencodera. Kilka razy próbowałem zbudować i wyszkolić autoencoder PCA z Tensorflow, ale nigdy nie byłem w stanie uzyskać lepszego wyniku niż liniowy PCA. Jak mogę skutecznie trenować autoencoder? (Późniejsza edycja przez …

31 pca python deep-learning tensorflow autoencoders

1

Redukcja wymiarów (SVD lub PCA) na dużej, rzadkiej matrycy

/ edit: Dalsze działania teraz możesz użyć irlba :: prcomp_irlba / edit: śledzenie mojego własnego posta. irlbama teraz argumenty „środkowy” i „skalowany”, które pozwalają go używać do obliczania podstawowych składników, np .: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Mam dużą różnorodność Matrixfunkcji, których chciałbym użyć w algorytmie …

31 r pca dimensionality-reduction svd matrix-decomposition

5

Wykrywanie znaczących predyktorów spośród wielu zmiennych niezależnych

W zbiorze danych dwóch nie pokrywających się populacji (pacjenci i osoby zdrowe, ogółem n=60n=60n=60 ) chciałbym znaleźć (spośród zmiennych niezależnych) znaczące predyktory dla zmiennej zależnej ciągłej. Występuje korelacja między predyktorami. Chcę dowiedzieć się, czy któryś z predyktorów jest powiązany ze zmienną zależną „w rzeczywistości” (zamiast przewidywać zmienną zależną tak dokładnie, …

31 regression pca feature-selection stepwise-regression underdetermined

3

Wizualizacja miliona edycji PCA

Czy możliwe jest zwizualizowanie wyników analizy głównych składników w sposób zapewniający lepszy wgląd niż tylko tabele podsumowań? Czy można to zrobić, gdy liczba obserwacji jest duża, powiedzmy ~ 1e4? I czy można to zrobić w R [mile widziane inne środowiska]?

31 r data-visualization pca biplot

4

Jak przeprowadzić redukcję wymiarowości za pomocą PCA w R.

Mam duży zestaw danych i chcę przeprowadzić redukcję wymiarów. Teraz wszędzie czytam, że mogę do tego użyć PCA. Jednak nadal nie wydaje mi się, co robić po obliczeniu / wykonaniu PCA. W R można to łatwo zrobić za pomocą polecenia princomp. Ale co zrobić po obliczeniu PCA? Jeśli zdecydowałem, że …

30 r pca

Pytania otagowane jako pca