Statystyki i duże zbiory danych tsne

6

Mam aplikację, w której przydałoby się skupić hałaśliwy zestaw danych przed wyszukaniem efektów podgrup w klastrach. Najpierw spojrzałem na PCA, ale potrzeba około 30 komponentów, aby uzyskać 90% zmienności, więc grupowanie tylko na kilku komputerach PC wyrzuci wiele informacji. Następnie spróbowałem t-SNE (po raz pierwszy), co daje mi dziwny kształt …

77 clustering interpretation k-means tsne

3

Czy istnieją przypadki, w których PCA jest bardziej odpowiednie niż t-SNE?

Chcę zobaczyć, jak 7 miar zachowania korekty tekstu (czas spędzony na poprawianiu tekstu, liczba naciśnięć klawiszy itp.) Odnoszą się do siebie. Miary są skorelowane. Uruchomiłem PCA, aby zobaczyć, jak miary rzutują się na PC1 i PC2, co pozwoliło uniknąć nakładania się osobnych testów dwukierunkowej korelacji między miarami. Zapytano mnie, dlaczego …

39 pca tsne

1

Dlaczego używamy dywergencji Kullbacka-Leiblera zamiast funkcji entropii krzyżowej w funkcji celu t-SNE?

Moim zdaniem rozbieżność KL od rozkładu próbki do rozkładu rzeczywistego jest po prostu różnicą między entropią krzyżową a entropią. Dlaczego używamy entropii krzyżowej jako funkcji kosztów w wielu modelach uczenia maszynowego, a dywergencji Kullbacka-Leiblera w t-sne? Czy jest jakaś różnica w szybkości uczenia się?

39 kullback-leibler tsne cross-entropy

2

Kiedy t-SNE wprowadza w błąd?

Cytując jednego z autorów: t-Distributed Stochastic Neighbor Embedding (t-SNE) to ( nagradzana ) technika redukcji wymiarowości, która szczególnie dobrze nadaje się do wizualizacji wysokowymiarowych zestawów danych. Brzmi więc całkiem nieźle, ale tak mówi Autor. Kolejny cytat autora (dotyczy: wspomnianego wyżej konkursu): Co zabrałeś z tego konkursu? Zawsze najpierw zwizualizuj swoje …

37 data-visualization dimensionality-reduction tsne

3

Dlaczego t-SNE nie jest stosowany jako technika redukcji wymiarów do grupowania lub klasyfikacji?

W ostatnim zadaniu powiedziano nam, abyśmy używali PCA na cyfrach MNIST, aby zmniejszyć wymiary z 64 (8 x 8 obrazów) do 2. Następnie musieliśmy grupować cyfry za pomocą Gaussian Mixture Model. PCA wykorzystujące tylko 2 główne komponenty nie daje wyraźnych klastrów, w wyniku czego model nie jest w stanie wytworzyć …

34 classification clustering pca dimensionality-reduction tsne

4

Co jest nie tak z T-SNE vs PCA w redukcji wymiarów za pomocą R?

Mam macierz liczb zmiennoprzecinkowych 336 x 256 (336 genomów bakteryjnych (kolumny) x 256 znormalizowanych częstotliwości tetranukleotydowych (wiersze), np. Każda kolumna daje 1). Dobre wyniki uzyskuje się, gdy uruchamiam analizę przy użyciu analizy składników zasadniczych. Najpierw obliczam klastry kmeans na danych, a następnie uruchamiam PCA i koloruję punkty danych na podstawie …

27 r pca tsne

3

Czy redukcję wymiarów podczas wizualizacji należy uznać za „zamknięty” problem rozwiązany przez t-SNE?

Dużo czytałem o algorytmie sne do redukcji wymiarów. Jestem pod wielkim wrażeniem wydajności „klasycznych” zestawów danych, takich jak MNIST, w których osiąga wyraźne rozdzielenie cyfr ( patrz oryginalny artykuł ):ttt Użyłem go również do wizualizacji funkcji poznanych przez sieć neuronową, którą trenuję i byłem bardzo zadowolony z wyników. Tak więc, …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

1

t-SNE kontra MDS

Czytałem ostatnio kilka pytań na temat t-SNE ( t-Distributed Stochastic Neighbor Embedding ), a także odwiedziłem kilka pytań na temat MDS ( skalowanie wielowymiarowe ). Często stosuje się je analogicznie, więc wydaje się, że dobrym pomysłem jest sprawienie, by pytanie zawierało wiele pytań oddzielnie (lub w porównaniu do PCA ). …

21 data-visualization dimensionality-reduction multidimensional-scaling tsne

5

Czy są jakieś wersje T-SNE do przesyłania strumieniowego danych?

Rozumiem t-SNE i aproksymację Barnesa-Huta, że wszystkie punkty danych są wymagane, aby wszystkie oddziaływania sił mogły być obliczone w tym samym czasie, a każdy punkt można dostosować na mapie 2d (lub niższych wymiarach). Czy są jakieś wersje T-sne, które mogą skutecznie radzić sobie z przesyłaniem danych? Więc jeśli moje obserwacje …

19 data-visualization dimensionality-reduction multidimensional-scaling tsne

1

Czy dane powinny być wyśrodkowane i skalowane przed zastosowaniem t-SNE?

Niektóre funkcje moich danych mają duże wartości, podczas gdy inne funkcje mają znacznie mniejsze wartości. Czy konieczne jest wyśrodkowanie + skalowanie danych przed zastosowaniem t-SNE, aby zapobiec odchyleniu w kierunku większych wartości? Korzystam z implementacji sklearn.manifold.TSNE w Pythonie z domyślną miarą odległości euklidesowej.

18 normalization dimensionality-reduction high-dimensional tsne

3

Wybór hiperparametrów za pomocą T-SNE do klasyfikacji

W specyficznym problemie, z którym pracuję (konkurs) mam następujące ustawienie: 21 funkcji (numerycznie na [0,1]) i wyjście binarne. Mam około 100 K. wierszy. Ustawienie wydaje się być bardzo głośne. Ja i inni uczestnicy stosujemy generowanie funkcji przez jakiś czas, a osadzanie t-rozproszonego stochastycznego sąsiada okazało się w tym otoczeniu dość …

13 machine-learning dimensionality-reduction unsupervised-learning tsne

1

Jakie jest znaczenie osi w t-SNE?

Obecnie próbuję owinąć głowę wokół matematyki t-SNE . Niestety, wciąż jest jedno pytanie, na które nie potrafię odpowiedzieć zadowalająco: Jakie jest rzeczywiste znaczenie osi na wykresie t-SNE? Gdybym miał przedstawić prezentację na ten temat lub zamieścić ją w jakiejkolwiek publikacji: Jak odpowiednio oznaczyć osie? PS: Czytam to pytanie Reddita, ale …

12 machine-learning dimensionality-reduction tsne

1

Jakiego algorytmu klasyfikacji należy użyć po zobaczeniu, że t-SNE dobrze oddziela klasy?

Załóżmy, że mamy problem z klasyfikacją i na początku chcemy uzyskać wgląd w dane i wykonujemy t-SNE. Wynik t-SNE bardzo dobrze rozdziela klasy. Oznacza to, że możliwe jest zbudowanie modelu klasyfikacji, który również bardzo dobrze oddzieli klasy (jeśli t-SNE nie rozdzieli się dobrze, to nie będzie to oznaczało wiele). Wiedząc, …

12 classification tsne

1

Jakie jest dobre zastosowanie t-SNE, oprócz wizualizacji danych?

W jakich sytuacjach powinniśmy używać t-SNE (oprócz wizualizacji danych)? T-SNE służy do redukcji wymiarów. Odpowiedź na to pytanie sugeruje, że t-SNE powinien być używany tylko do wizualizacji i że nie powinniśmy go używać do grupowania. Jakie jest zatem dobre zastosowanie t-SNE?

12 data-visualization dimensionality-reduction tsne

4

Jakie są różnice między autoencoderami a t-SNE?

O ile mi wiadomo, zarówno autoencodery, jak i t-SNE są używane do nieliniowej redukcji wymiarowości. Jakie są między nimi różnice i dlaczego powinienem używać jednego kontra drugiego?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

Pytania otagowane jako tsne