Statystyki i duże zbiory danych pca

1

Artykuł wspomina o „symulacji Monte Carlo w celu ustalenia liczby głównych składników”; jak to działa?

Robię analizę Matlaba na danych MRI, gdzie wykonałem PCA na matrycy o wymiarach 10304x236, gdzie 10304 to liczba wokseli (traktuj je jako piksele), a 236 to liczba punktów czasowych. PCA daje mi 236 wartości własnych i powiązanych z nimi współczynników. Wszystko w porządku. Jednak, gdy nadchodzi czas, aby zdecydować, ile …

10 pca eigenvalues neuroimaging

1

Dlaczego oceny głównych składników nie są skorelowane?

Przypuśćmy, że jest macierzą danych skoncentrowanych na średnich. Macierz ma , ma różne wartości własne, a wektory własne , \ mathbf s_2 ... \ mathbf s_m , które są ortogonalne.ZAA\mathbf AS =cov( A )S=cov(A)\mathbf S=\text{cov}(\mathbf A)m × mm×mm\times mmmms1s1\mathbf s_1s2)s2\mathbf s_2smsm\mathbf s_m -tego główny składnik (niektórzy nazywają je "wyniki") jest …

10 correlation pca linear-algebra

2

Różnica między PCA a grupowaniem widmowym dla małego zestawu próbek cech logicznych

Mam zestaw danych 50 próbek. Każda próbka składa się z 11 (prawdopodobnie skorelowanych) cech logicznych. Chciałbym przedstawić, w jaki sposób wizualizować te próbki na wykresie 2D i sprawdzić, czy wśród 50 próbek znajdują się klastry / grupy. Wypróbowałem następujące dwa podejścia: (a) Uruchom PCA na matrycy 50x11 i wybierz pierwsze …

10 clustering data-visualization pca k-means spectral-analysis

4

Model historii zdarzeń dyskretnych (przeżycie) w R.

Próbuję dopasować model czasu dyskretnego do R, ale nie jestem pewien, jak to zrobić. Czytałem, że możesz zorganizować zmienną zależną w różnych wierszach, po jednym dla każdej obserwacji czasu, i użyć glmfunkcji z łączem logit lub cloglog. W tym sensie, mam trzy kolumny: ID, Event(1 lub 0, w każdym okresie …

10 r survival pca sas matlab neural-networks r logistic spatial spatial-interaction-model r time-series econometrics var statistical-significance t-test cross-validation sample-size r regression optimization least-squares constrained-regression nonparametric ordinal-data wilcoxon-signed-rank references neural-networks jags bugs hierarchical-bayesian gaussian-mixture r regression svm predictive-models libsvm scikit-learn probability self-study stata sample-size spss wilcoxon-mann-whitney survey ordinal-data likert group-differences r regression anova mathematical-statistics normal-distribution random-generation truncation repeated-measures variance variability distributions random-generation uniform regression r generalized-linear-model goodness-of-fit data-visualization r time-series arima autoregressive confidence-interval r time-series arima autocorrelation seasonality hypothesis-testing bayesian frequentist uninformative-prior correlation matlab cross-correlation

3

Odległość Mahalanobis przez PCA kiedy

Mam macierz , gdzie to liczba genów, a to liczba pacjentów. Każdy, kto pracował z takimi danymi, wie, że jest zawsze większe niż . Korzystając z wyboru funkcji, zredukowałem do bardziej rozsądnej liczby, jednak jest nadal większe niż .n × pn×pn\times ppppnnnpppnnnppppppnnn Chciałbym obliczyć podobieństwo pacjentów na podstawie ich profili …

10 correlation pca genetics covariance distance-functions

2

Jak znaleźć macierz kowariancji wielokąta?

Wyobraź sobie, że masz wielokąt zdefiniowany przez zestaw współrzędnych (x1,y1)...(xn,yn)(x1,y1)...(xn,yn)(x_1,y_1)...(x_n,y_n) a jego środek masy wynosi (0,0)(0,0)(0,0). Można traktować wielokąt jako rozkład równomierny z granicą wielokąta. Poszukuję metody, która znajdzie macierz kowariancji wielokąta . Podejrzewam, że macierz kowariancji wielokąta jest ściśle związana z drugim momentem pola , ale nie jestem pewien, …

9 pca covariance-matrix polygon

1

W jaki sposób dzieci potrafią zbliżyć swoich rodziców do projekcji PCA zestawu danych GWAS?

Weź 20 losowych punktów w przestrzeni 10 000 wymiarów z każdą współrzędną id matematyczną . Podziel je na 10 par („pary”) i dodaj średnią każdej pary („dziecka”) do zestawu danych. Następnie wykonaj PCA na uzyskanych 30 punktach i wykreśl PC1 vs PC2.N(0,1)N(0,1)\mathcal N(0,1) Dzieje się coś niezwykłego: każda „rodzina” tworzy …

9 pca python high-dimensional genetics gwas

3

PCA jest zbyt wolny, gdy oba n, p są duże: alternatywy?

Konfiguracja problemu Mam punkty danych (obrazy) o wysokim wymiarze (4096), które próbuję zwizualizować w 2D. W tym celu używam t-sne w sposób podobny do poniższego przykładowego kodu autorstwa Karpathy . Dokumentacja scikit-learn zaleca użycie PCA, aby najpierw obniżyć wymiar danych: Zdecydowanie zaleca się stosowanie innej metody redukcji wymiarów (np. PCA …

9 pca dimensionality-reduction high-dimensional java tsne

2

Zrozumienie tego wykresu sprzedaży lodów PCA w zależności od temperatury

Przyjmuję dane pozorne temperatury w stosunku do sprzedaży lodów i skategoryzowałem je za pomocą K oznacza (n klastrów = 2), aby rozróżnić 2 kategorie (całkowicie pozorne). Teraz przeprowadzam analizę głównych składników tych danych, a moim celem jest zrozumienie tego, co widzę. Wiem, że celem PCA jest zmniejszenie wymiarów (oczywiście nie …

9 pca interpretation k-means dimensionality-reduction

2

Skalowalna redukcja wymiarów

Biorąc pod uwagę stałą liczbę funkcji, Barnes-Hut t-SNE ma złożoność , losowe projekcje i PCA mają złożoność co czyni je „przystępnymi” dla bardzo dużych zestawów danych.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Z drugiej strony metody oparte na skalowaniu wielowymiarowym mają złożoność .O(n2)O(n2)O(n^2) Czy istnieją inne techniki redukcji wymiarów (poza trywialnymi, jak na przykład spojrzenie …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

Co wskazuje na kształt klina wykresu PCA?

W swojej pracy w autoencoders do klasyfikacji tekst Hinton i Salakhutdinov wykazały wykres wytwarzanego przez 2 wymiarowe LSA (co jest ściśle związane z PCA) . Stosując PCA do absolutnie różnych nieco nieco wymiarowych danych, otrzymałem podobnie wyglądający wykres: (z wyjątkiem tego przypadku naprawdę chciałem wiedzieć, czy jest jakaś struktura wewnętrzna). …

9 data-visualization pca

3

Obracaj komponenty PCA, aby wyrównać wariancję w każdym komponencie

Staram się zmniejszyć wymiarowość i hałas zestawu danych, wykonując PCA na zbiorze danych i wyrzucając kilka ostatnich komputerów. Następnie chcę użyć niektórych algorytmów uczenia maszynowego na pozostałych komputerach, dlatego chcę znormalizować dane, wyrównując wariancję komputerów, aby algorytmy działały lepiej. Jednym prostym sposobem jest po prostu znormalizowanie wariancji wartości jednostkowych. Jednak …

9 variance pca factor-rotation

3

Jak mogę stwierdzić, że w wynikach PCA nie ma wzorca?

Mam ponad 1000 próbek danych z 19 zmiennymi. Moim celem jest przewidzenie zmiennej binarnej na podstawie pozostałych 18 zmiennych (binarnych i ciągłych). Jestem całkiem pewien, że 6 zmiennych predykcyjnych jest powiązanych z odpowiedzią binarną, chciałbym jednak dalej analizować zestaw danych i szukać innych powiązań lub struktur, których mógłbym brakować. Aby …

9 pca

1

Jak zastosować regresję do głównych składników, aby przewidzieć zmienną wyjściową?

Przeczytałem o podstawach analizy głównych składników z tutoriala 1 , link1 i link2 . Mam zestaw danych 100 zmiennych (w tym zmienną wyjściową Y), chcę zredukować zmienne do 40 za pomocą PCA, a następnie przewidzieć zmienną Y za pomocą tych 40 zmiennych. Problem 1: Po uzyskaniu głównych składników i wybraniu …

9 regression pca

2

Wnioski z wyników analizy głównego składnika

Usiłuję zrozumieć wyniki analizy głównych składników wykonanych w następujący sposób: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 3.9 …

9 r pca interpretation

Pytania otagowane jako pca