Popraw szybkość implementacji t-sne w pythonie dla dużych danych

Chciałbym zmniejszyć wymiarowość na prawie 1 milionach wektorów, każdy o 200 wymiarach ( doc2vec). Używam do tego TSNEimplementacji z sklearn.manifoldmodułu, a głównym problemem jest złożoność czasu. Mimo method = barnes_hutto szybkość obliczeń jest wciąż niska. Czasami nawet kończy się pamięć.

Używam go na 48-rdzeniowym procesorze z 130G RAM. Czy istnieje metoda równoległego uruchomienia lub wykorzystania dużej ilości zasobów w celu przyspieszenia procesu?

Musisz spojrzeć na tę wielordzeniową implementację t-SNE.

Właściwie to wypróbowałem i mogę ręczyć za jego doskonałą wydajność.

Sprawdź akcelerowaną przez FFT interpolację opartą na interpolacji t-SNE ( papier , kod i pakiet Python ).

Z streszczenia:

Prezentujemy t-SNE opartą na szybkiej transformacji Fouriera z interpolacją (FIt-SNE), która znacznie przyspiesza obliczenia t-SNE. Najbardziej czasochłonnym krokiem t-SNE jest splot, który przyspieszamy przez interpolację na równej siatce, a następnie za pomocą szybkiej transformaty Fouriera do wykonania splotu. Optymalizujemy również obliczanie podobieństw wejściowych w wysokich wymiarach, używając wielowątkowych przybliżonych najbliższych sąsiadów.

Artykuł zawiera również przykład zestawu danych z milionem punktów i 100 wymiarami (podobnymi do ustawienia OP) i wydaje się, że zajmuje to około 1 godziny.

Ponieważ w SO nie ma odpowiedzi, zadałem sobie pytanie na stronie github, a problem został zamknięty, podając następującą odpowiedź GaelVaroquaux ..

Jeśli chcesz tylko zrównoleglić operacje wektorowe, powinieneś użyć kompilacji numpy skompilowanej z MKL (nie próbuj robić tego sam, to trudne).

W samym algorytmie mogą istnieć podejścia do równoległości wysokiego poziomu, co prawdopodobnie doprowadziłoby do większych korzyści. Jednak po krótkim spojrzeniu na kod nie znalazłem wyraźnego sposobu na zrobienie tego.

Przejdę do przodu i zamknę ten problem, ponieważ jest to raczej lista życzeń niebieskiego nieba. Całkowicie się zgadzam, chciałbym, aby TSNE jechał szybciej i byłoby świetnie, gdyby równoległość była łatwa. Ale w obecnym stanie rzeczy potrzeba więcej pracy, aby móc sprostać takiej liście życzeń.

Wypróbuj UMAP: https://github.com/lmcinnes/umap

Jest znacznie szybszy niż t-SNE.