Jak rozumieć „nieliniowy” jak w „nieliniowej redukcji wymiarowości”?

24

Próbuję zrozumieć różnice między metodami liniowej redukcji wymiarów (np. PCA) a metodami nieliniowymi (np. Izomapa).

Nie do końca rozumiem, co oznacza (nie) liniowość w tym kontekście. Czytałem z Wikipedii, że

Dla porównania, jeżeli PCA (algorytm liniowej redukcji wymiarów) zostanie zastosowany do zredukowania tego samego zestawu danych do dwóch wymiarów, uzyskane wartości nie będą tak dobrze zorganizowane. To pokazuje, że wektory wysokowymiarowe (każdy reprezentujący literę „A”), które próbkują ten rozmaitość, zmieniają się w sposób nieliniowy.

Co robi

wektory wysokowymiarowe (każdy reprezentujący literę „A”), które próbkują ten rozmaitość, zmieniają się w sposób nieliniowy.

oznaczać? Lub szerzej, jak rozumiem (nie) liniowość w tym kontekście?

— Hazard Sibbs
źródło

20

Redukcja wymiarów oznacza, że mapujesz każdy wektor wielowymiarowy na wektor niskowymiarowy. Innymi słowy, reprezentujesz (zastępujesz) każdy wektor wielowymiarowy przez wektor niskowymiarowy.

Liniowa redukcja wymiarów oznacza, że składowe wektora niskiego wymiaru są podawane przez funkcje liniowe składników odpowiedniego wektora wielowymiarowego. Na przykład w przypadku zmniejszenia do dwóch wymiarów mamy:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Jeśli f1i f2są (nie) liniowe funkcje, mamy (nie) liniową redukcję wymiarów.

— rzymski
źródło

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ są odpowiednio składnikami wektorów niskiego i wysokiego (i myślę, że nie o to ci chodzi). Myślałem, że problemem nie było zrozumienie, czym jest funkcja liniowa, ale to, gdzie pojawia się liniowość.

— Rzym.

49

Obraz jest wart tysiąca słów:

PCA vs Isomap

Tutaj szukamy struktury 1-wymiarowej w 2D. Punkty leżą wzdłuż krzywej w kształcie litery S. PCA próbuje opisać dane liniowym 1-wymiarowym kolektorem, który jest po prostu linią; oczywiście linia źle pasuje do tych danych. Isomap szuka nieliniowego (tj. Zakrzywionego!) 1-wymiarowego rozgałęzienia i powinien być w stanie odkryć leżącą pod nim krzywą w kształcie litery S.

— ameba mówi Przywróć Monikę
źródło