Jak przeprowadzić redukcję wymiarowości za pomocą PCA w R.

Mam duży zestaw danych i chcę przeprowadzić redukcję wymiarów.

Teraz wszędzie czytam, że mogę do tego użyć PCA. Jednak nadal nie wydaje mi się, co robić po obliczeniu / wykonaniu PCA. W R można to łatwo zrobić za pomocą polecenia princomp.

Ale co zrobić po obliczeniu PCA? Jeśli zdecydowałem, że chcę użyć pierwszych $100$ głównych składników, w jaki sposób dokładnie zredukować zestaw danych?

Uważam, że to, o co pytasz, dotyczy obcinania danych przy użyciu mniejszej liczby głównych komponentów (PC). Myślę, że w przypadku takich operacji funkcja ta prcompjest bardziej ilustracyjna, ponieważ łatwiej jest zwizualizować mnożenie macierzy zastosowane w rekonstrukcji.

Po pierwsze, podaj syntetyczny zestaw danych, Xtwykonujesz PCA (zazwyczaj wyśrodkowujesz próbki w celu opisania komputerów związanych z macierzą kowariancji:

#Generate data
m=50
n=100
frac.gaps <- 0.5 # the fraction of data with NaNs
N.S.ratio <- 0.25 # the Noise to Signal ratio for adding noise to data

x <- (seq(m)*2*pi)/m
t <- (seq(n)*2*pi)/n

#True field
Xt <- 
 outer(sin(x), sin(t)) + 
 outer(sin(2.1*x), sin(2.1*t)) + 
 outer(sin(3.1*x), sin(3.1*t)) +
 outer(tanh(x), cos(t)) + 
 outer(tanh(2*x), cos(2.1*t)) + 
 outer(tanh(4*x), cos(0.1*t)) + 
 outer(tanh(2.4*x), cos(1.1*t)) + 
 tanh(outer(x, t, FUN="+")) + 
 tanh(outer(x, 2*t, FUN="+"))

Xt <- t(Xt)

#PCA
res <- prcomp(Xt, center = TRUE, scale = FALSE)
names(res)

W wynikach lub prcompmożesz zobaczyć PC ( res$x), wartości własne ( res$sdev) podające informacje o wielkości każdego PC i ładunkach ( res$rotation).

res$sdev
length(res$sdev)
res$rotation
dim(res$rotation)
res$x
dim(res$x)

Kwadrat wartości własnych daje wariancję wyjaśnioną przez każdy komputer:

plot(cumsum(res$sdev^2/sum(res$sdev^2))) #cumulative explained variance

Wreszcie możesz utworzyć skróconą wersję swoich danych, używając tylko wiodących (ważnych) komputerów:

pc.use <- 3 # explains 93% of variance
trunc <- res$x[,1:pc.use] %*% t(res$rotation[,1:pc.use])

#and add the center (and re-scale) back to data
if(res$scale != FALSE){
	trunc <- scale(trunc, center = FALSE , scale=1/res$scale)
}
if(res$center != FALSE){
    trunc <- scale(trunc, center = -1 * res$center, scale=FALSE)
}
dim(trunc); dim(Xt)

Widać, że wynikiem jest nieco gładsza matryca danych, z filtrowanymi funkcjami małej skali:

RAN <- range(cbind(Xt, trunc))
BREAKS <- seq(RAN[1], RAN[2],,100)
COLS <- rainbow(length(BREAKS)-1)
par(mfcol=c(1,2), mar=c(1,1,2,1))
image(Xt, main="Original matrix", xlab="", ylab="", xaxt="n", yaxt="n", breaks=BREAKS, col=COLS)
box()
image(trunc, main="Truncated matrix (3 PCs)", xlab="", ylab="", xaxt="n", yaxt="n", breaks=BREAKS, col=COLS)
box()

A oto bardzo podstawowe podejście, które możesz wykonać poza funkcją prcomp:

#alternate approach
Xt.cen <- scale(Xt, center=TRUE, scale=FALSE)
C <- cov(Xt.cen, use="pair")
E <- svd(C)
A <- Xt.cen %*% E$u

#To remove units from principal components (A)
#function for the exponent of a matrix
"%^%" <- function(S, power)
     with(eigen(S), vectors %*% (values^power * t(vectors)))
Asc <- A %*% (diag(E$d) %^% -0.5) # scaled principal components

#Relationship between eigenvalues from both approaches
plot(res$sdev^2, E$d) #PCA via a covariance matrix - the eigenvalues now hold variance, not stdev
abline(0,1) # same results

Teraz decyzja, które komputery zachować, to osobne pytanie - które interesowało mnie już dawno temu . Mam nadzieję, że to pomaga.

Te inne odpowiedzi są bardzo dobre i szczegółowe, ale zastanawiam się, czy rzeczywiście zadajesz o wiele bardziej podstawowe pytanie: co robisz, gdy masz komputery?

Każdy komputer staje się po prostu nową zmienną. Powiedzmy, że PC1 stanowi 60% całkowitej odmiany, a PC2 stanowi 30%. Ponieważ stanowi to 90% całkowitej uwzględnionej zmiany, możesz po prostu wziąć te dwie nowe zmienne (PC) jako uproszczoną wersję oryginalnych zmiennych. Oznacza to dopasowanie ich do modeli, jeśli jesteś tym zainteresowany. Kiedy przychodzi czas na interpretację wyników, robisz to w kontekście oryginalnych zmiennych, które są skorelowane z każdym komputerem.

Przepraszam, jeśli nie doceniłem zakresu pytania!

$i$$\frac{\lambda_i}{\Sigma_{k=1}^{p} \lambda_k}$$p$$p =784$w Twoim przypadku). [Pamiętaj, ponieważ twoja macierz kowariancji jest nieujemna. Zdecydowanie nie będziesz mieć ujemnych wartości własnych$\lambda$.] Teraz z definicji wektory własne są do siebie ortogonalne. Oznacza to, że ich odpowiednie prognozy są również ortogonalne i tam, gdzie pierwotnie miałeś dużą potencjalnie skorelowaną próbkę zmiennych, teraz masz (miejmy nadzieję znacznie) mniejszą liniowo niezależną próbkę („wyniki”).

Praktycznie z PCA używasz projekcji komputerów („wyników”) jako danych zastępczych dla oryginalnej próbki. Wykonujesz całą analizę wyników, a następnie rekonstruujesz oryginalną próbkę z powrotem za pomocą komputerów PC, aby dowiedzieć się, co się wydarzyło na twojej pierwotnej przestrzeni (to w zasadzie główna regresja składników ). Oczywiście, jeśli jesteś w stanie zinterpretować swoje wektory własne („ładunki”), to znajdujesz się w jeszcze lepszej sytuacji: możesz opisać, co dzieje się z twoją próbką w trybie zmienności przedstawionym przez to ładowanie, wnioskując bezpośrednio o tym ładowaniu i w ogóle nie zależy na odbudowie. :)

Ogólnie rzecz biorąc, co „po obliczeniu PCA” zależy od celu analizy. PCA zapewnia tylko liniowo niezależną podpróbkę danych, która jest optymalna według kryterium rekonstrukcji RSS. Możesz użyć go do klasyfikacji, regresji, lub obu, lub, jak wspomniałem, możesz chcieć rozpoznać znaczące ortogonalne tryby zmian w twojej próbce.

Komentarz : Myślę, że najlepszym naiwnym sposobem decydowania o liczbie składników do zachowania jest oparcie szacunku na pewnym progu zmienności próbki, który chciałbyś zachować w próbce o zmniejszonej wymiarowości, a nie tylko na pewnej dowolnej liczbie, np. 3, 100, 200. Jak wyjaśniono w user4959, można sprawdzić zmienność skumulowaną, sprawdzając odpowiednie pole listy pod $loadingspolem w utworzonym obiekcie listy princomp.

After doing the PCA then you may select the first two components and plot.. You can see the variation of the components using a scree plot in R. Also using summary function with loadings=T you can fins the variation of features with the components.

You can also look at this http://www.statmethods.net/advstats/factor.html and http://statmath.wu.ac.at/~hornik/QFS1/principal_component-vignette.pdf

Try to think what you want. You can interpret lots of things from PCA analysis.

Best Abhik