Wyjaśnić kroki algorytmu LLE (lokalne osadzanie liniowe)?

Rozumiem, że podstawowa zasada algorytmu dla LLE składa się z trzech kroków.

1. Znajdowanie sąsiedztwa każdego punktu danych za pomocą niektórych miar, takich jak k-nn.
2. Znajdź wagi dla każdego sąsiada, które oznaczają wpływ sąsiada na punkt danych.
3. Skonstruuj osadzanie danych w małych wymiarach na podstawie obliczonych wag.

Ale matematyczne wyjaśnienie kroków 2 i 3 jest mylące we wszystkich podręcznikach i zasobach online, które przeczytałem. Nie jestem w stanie zrozumieć, dlaczego formuły są używane.

Jak te kroki są wykonywane w praktyce? Czy istnieje jakiś intuicyjny sposób objaśnienia zastosowanych wzorów matematycznych?

Referencje: http://www.cs.nyu.edu/~roweis/lle/publications.html

Lokalne osadzanie liniowe (LLE) eliminuje potrzebę szacowania odległości między odległymi obiektami i odzyskuje globalną nieliniową strukturę przez lokalne dopasowania liniowe. LLE jest korzystny, ponieważ nie wymaga żadnych parametrów, takich jak wskaźniki uczenia się lub kryteria konwergencji. LLE skaluje się również dobrze z wewnętrzną wymiarowością . Funkcja celu dla LLE to Macierz wagowa elementów dla obiektów i jest ustawiona na zero, jeśli$\mathbf{Y}$

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ $\mathbf{W}$$w_{ij}$$i$$j$$j$nie jest najbliższym sąsiadem , w przeciwnym razie wagi dla najbliższych K sąsiadów obiektu są określane przez dopasowanie najmniejszych kwadratów z gdzie zmienna zależna jest wektorem z nich, jest macierzą Gram dla wszystkich najbliższych sąsiadów obiektu , a jest wektorem wag, które są zgodne z ograniczeniami sumy do jedności. Niech będzie symetrycznym dodatnim półfinałem$i$$i$ $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ $\mathbf{U}$$K \times 1$$\mathbf{G}$$K \times K$$i$$\boldsymbol{\beta}$$K \times 1$$\mathbf{D}$$K \times K$macierz odległości dla wszystkich par najbliższych sąsiadów K obiektu -wymiarowego . Można wykazać, że jest równa podwójnie wyśrodkowanej macierzy odległości z elementami W współczynniki regresji określono ilościowo stosując $p$$\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ $K$ $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ i są sprawdzane, aby potwierdzić, że sumują się do jedności. Wartości są osadzone w rzędzie z w różnych miejscach słupów odpowiadających K-najbliższych sąsiadów obiektu , jak również elementów transponowanie. Jest to powtarzane dla każdego tego obiektu w zbiorze danych. Warto zauważyć, że jeśli liczba najbliższych sąsiadów jest zbyt niska, może być rzadki, co może utrudniać analizę własną. Zaobserwowano, że najbliższych sąsiadów skutkowało$\boldsymbol{\beta}$$i$$\mathbf{W}$$i$$i$$K$$\mathbf{W}$$K=9$$\mathbf{W}$matryce, które nie zawierały patologii podczas analizy własnej. Funkcja celu jest zminimalizowana przez znalezienie najmniejszych niezerowych wartości własnych Skrócona postać jest reprezentowana przez gdzie ma wymiary oparciu o dwie najniższe wartości własne . $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ $\mathbf{X}$$\mathbf{Y}=\mathbf{E}$$\mathbf{E}$$n \times 2$$\boldsymbol{\Lambda}$