Czy wymiary t-sne są znaczące?

Czy są jakieś znaczenia dla wymiarów osadzania t-sne? Podobnie jak w przypadku PCA, mamy poczucie maksymalizacji wariancji transformacji liniowej, ale czy dla t-sne jest intuicja oprócz tylko przestrzeni, którą definiujemy do mapowania i minimalizacji odległości KL?

dimensionality-reduction tsne

— Nitro
źródło

Nie jestem pewien, czy tak naprawdę odpowiada to temu, o co pytasz, ale uważam, że wymiary t-sne naprawdę zależą tylko od rozdzielności danych. Wymiary mogą ulec zmianie, biorąc pod uwagę ten sam zestaw danych, ponieważ jest to transformacja nieliniowa. Tak więc wymiary można naprawdę interpretować tylko w kontekście danej instancji. Daj mi znać, jeśli się mylę, to interesujące pytanie.

— Hobbes,

Może to po prostu nudne stare ?3?

— Nitro,

Wymiary przestrzeni niskiego wymiaru nie mają znaczenia. Należy zauważyć, że funkcja straty t-SNE opiera się wyłącznie na odległościach między punktami ( i ) oraz rozkładach prawdopodobieństwa na tych odległościach ( $y_i$ $y_j$ $p_{ij}$ i ): $q_{ij}$

\frac{δ do}{δ y_{ja}} = 4 \sum_{jot} (p_{ja jot} - q_{ja jot}) (y_{ja} - y_{jot}) (1 + | | y_{ja} - y_{jot} | |^{2)})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Zatem nie ma rzutowania z całej przestrzeni wielowymiarowej na przestrzeń niskowymiarową, t-SNE znajduje jedynie odwzorowanie od określonego zestawu punktów wielowymiarowych do określonego zestawu punktów niskowymiarowych. Ponieważ nie ma żadnej funkcji z jednej przestrzeni do drugiej, nie ma również nieodłącznego znaczenia osi.

Rzeczy, które możesz sobie to zilustrować:

Obracanie lub translacja przestrzeni o wysokich lub niskich wymiarach nie wpływa na odległości między punktami. Dlatego t-SNE nie dba o rotację lub translację w obu przestrzeniach. Zatem nie ma absolutnej interpretacji osi.
Rozkład t-Studentów ma grube ogony. To powoduje, że reprezentacja niskiego wymiaru jest niezmienna dla zmian punktów znajdujących się daleko w przestrzeni wielowymiarowej. Powoduje to również, że punkty, które są daleko w przestrzeni wielowymiarowej, mogą być albo dość daleko, bardzo daleko, albo naprawdę daleko w przestrzeni niskiego wymiaru. W tym sensie rozciąga on niektóre części osi niskiego wymiaru (w dowolnym dowolnym kierunku).

To powiedziawszy, t-SNE jest przede wszystkim techniką wizualizacji, a jego skuteczność zmniejszania wymiarów do innych celów nie jest oczywista (prawdopodobnie nie nadaje się do grupowania, wydobywania cech lub wyboru cech).

Również: papier .

— Pieter
źródło