Statystyki i duże zbiory danych tsne

2

Jak określić parametry dla t-SNE w celu zmniejszenia wymiarów?

Jestem bardzo nowy w osadzaniu słów. Chcę wyobrazić sobie, jak wyglądają dokumenty po nauce. Czytałem, że t-SNE jest podejściem do tego. Mam 100 000 dokumentów o 250 wymiarach jako rozmiarze osadzenia. Dostępnych jest również kilka pakietów. Jednak w przypadku t-SNE nie wiem, ile iteracji, wartość alfa lub wartość zdolności pertraktacyjnych …

11 pca dimensionality-reduction word2vec word-embeddings tsne

1

Co należy rozumieć przez zachowanie przez PCA jedynie dużych par odległości?

Obecnie czytam technikę wizualizacji t-SNE i wspomniano, że jedną z wad stosowania analizy głównych składników (PCA) do wizualizacji danych wielowymiarowych jest to, że zachowuje ona jedynie duże parowe odległości między punktami. Znaczące punkty, które są daleko od siebie w przestrzeni wielowymiarowej, również pojawią się daleko od siebie w niskiej przestrzeni …

10 machine-learning data-visualization pca tsne

1

t-SNE z mieszanymi zmiennymi ciągłymi i binarnymi

Obecnie badam wizualizację danych wielowymiarowych za pomocą t-SNE. Mam pewne dane z mieszanymi zmiennymi binarnymi i ciągłymi, a dane wydają się zbyt łatwo grupować dane binarne. Oczywiście jest to oczekiwane w przypadku danych skalowanych (od 0 do 1): odległość euklidesowa zawsze będzie największa / najmniejsza między zmiennymi binarnymi. Jak należy …

10 python dimensionality-reduction unsupervised-learning tsne mixed-type-data

3

PCA jest zbyt wolny, gdy oba n, p są duże: alternatywy?

Konfiguracja problemu Mam punkty danych (obrazy) o wysokim wymiarze (4096), które próbuję zwizualizować w 2D. W tym celu używam t-sne w sposób podobny do poniższego przykładowego kodu autorstwa Karpathy . Dokumentacja scikit-learn zaleca użycie PCA, aby najpierw obniżyć wymiar danych: Zdecydowanie zaleca się stosowanie innej metody redukcji wymiarów (np. PCA …

9 pca dimensionality-reduction high-dimensional java tsne

2

Skalowalna redukcja wymiarów

Biorąc pod uwagę stałą liczbę funkcji, Barnes-Hut t-SNE ma złożoność , losowe projekcje i PCA mają złożoność co czyni je „przystępnymi” dla bardzo dużych zestawów danych.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Z drugiej strony metody oparte na skalowaniu wielowymiarowym mają złożoność .O(n2)O(n2)O(n^2) Czy istnieją inne techniki redukcji wymiarów (poza trywialnymi, jak na przykład spojrzenie …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

Pytania otagowane jako tsne