t-SNE kontra MDS

Czytałem ostatnio kilka pytań na temat t-SNE ( t-Distributed Stochastic Neighbor Embedding ), a także odwiedziłem kilka pytań na temat MDS ( skalowanie wielowymiarowe ).

Często stosuje się je analogicznie, więc wydaje się, że dobrym pomysłem jest sprawienie, by pytanie zawierało wiele pytań oddzielnie (lub w porównaniu do PCA ).

Krótko mówiąc, co wyróżnia t-SNE i MDS? na przykład. Jakie subtelności hierarchii danych badają, różne założenia itp.

Tempo konwergencji? Co z użyciem jąder, czy oba są zgodne?

PCA wybiera wpływowe wymiary przez analizę własną samych N punktów danych, natomiast MDS wybiera wpływowe wymiary przez analizę własną punktów danych pary macierzy odległości. Efektem jest podkreślenie odchyleń od jednorodności w rozkładzie. Biorąc pod uwagę macierz odległości jako analogiczną do tensora naprężeń, MDS można uznać za algorytm układu „sterowanego siłą”, którego złożoność wykonania jest gdzie . $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

Z drugiej strony, t-SNE wykorzystuje aproksymację pola, aby wykonać nieco inną formę układu ukierunkowanego siłą, zwykle za pomocą Barnes-Hut, który zmniejsza złożoność opartą na gradiencie do , ale właściwości konwergencji są mniej zrozumiałe dla tej iteracyjnej metody aproksymacji stochastycznej (o ile mi wiadomo), a dla typowe obserwowane czasy działania są ogólnie dłużej niż inne metody redukcji wymiarów. Wyniki są często bardziej interpretowalne wizualnie niż naiwna analiza własna, aw zależności od rozkładu, często bardziej intuicyjna niż wyniki MDS, które mają tendencję do zachowania globalnej struktury kosztem lokalnej struktury zachowanej przez t-SNE.$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$

MDS jest już uproszczeniem jądra PCA i powinien być rozszerzalny o alternatywne jądra, podczas gdy jądro t-SNE jest opisane w pracy Gilbrechta, Hammera, Schulza, Mokbela, Lueksa i in. Nie jestem praktycznie z tym zaznajomiony, ale być może może być inny respondent.

Zazwyczaj wybieram między MDS i t-SNE na podstawie celów kontekstowych. W zależności od tego, co wyjaśnia strukturę, którą chcę podkreślić, w zależności od tego, która struktura ma większą moc wyjaśniającą, to jest algorytm, którego używam. Można to uznać za pułapkę, ponieważ jest to forma swobody badacza. Ale wolność mądrze wykorzystywana nie jest taka zła.