Dlaczego LDA Python scikit-learn LDA nie działa poprawnie i jak oblicza LDA przez SVD?

Użyłem liniowej analizy dyskryminacyjnej (LDA) z scikit-learnbiblioteki uczenia maszynowego (Python) do redukcji wymiarów i byłem trochę ciekawy wyników. Zastanawiam się teraz, czym scikit-learnzajmuje się LDA, aby wyniki wyglądały inaczej niż np. Ręczne podejście lub LDA wykonane w R. Byłoby wspaniale, gdyby ktoś mógł dać mi tutaj jakieś spostrzeżenia.

Zasadniczo najbardziej niepokojące jest to, że scikit-plotpokazuje korelację między dwiema zmiennymi, gdzie powinna istnieć korelacja 0.

Do testu użyłem zestawu danych Iris, a pierwsze 2 liniowe dyskryminatory wyglądały tak:

IMG-1. LDA poprzez scikit-learn

wprowadź opis zdjęcia tutaj

Jest to zasadniczo zgodne z wynikami, które znalazłem w dokumentacji scikit-learn tutaj.

Teraz przeszedłem LDA krok po kroku i otrzymałem inną projekcję. Próbowałem różnych podejść, aby dowiedzieć się, co się dzieje:

IMG-2. LDA na surowych danych (bez centrowania, bez standaryzacji)

wprowadź opis zdjęcia tutaj

I tutaj byłoby podejście krok po kroku, gdybym najpierw ustandaryzował (normalizacja z-score; wariancja jednostkowa) dane. Zrobiłem to samo z samym tylko średnim środkiem, co powinno prowadzić do tego samego względnego obrazu projekcji (i co rzeczywiście zrobiło).

IMG-3. LDA krok po kroku po centralizacji lub standaryzacji

wprowadź opis zdjęcia tutaj

IMG-4. LDA w R (ustawienia domyślne)

LDA w IMG-3, gdzie wyśrodkowałem dane (co byłoby preferowanym podejściem), wygląda również dokładnie tak samo jak ten, który znalazłem w poście przez osobę, która wykonała LDA w R wprowadź opis zdjęcia tutaj

Kod referencyjny

Nie chciałem tutaj wklejać całego kodu, ale przesłałem go tutaj jako notes IPython z podziałem na kilka kroków, których użyłem (patrz poniżej) do projekcji LDA.

Krok 1: Obliczanie wektorów średnich wymiarów d $m_{i} = \frac{1}{n_{i}} \sum_{x \in D_{i}}^{n} x_{k}$ $\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$
Krok 2: Obliczanie macierzy rozproszenia

$S_W$

$S_{W} = \sum_{i = 1}^{c} S_{i} = \sum_{i = 1}^{c} \sum_{x \in D_{i}}^{n} (x - m_{i}) (x - m_{i})^{T}$ $S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$
2.2 Macierz rozproszenia między klasami jest obliczana według następującego równania: gdzie jest ogólną średnią. $S_B$

${S.}_{b} = \sum_{ja = 1}^{do} n_{ja} (m_{ja} - m) (m_{ja} - m)^{T.}$ $S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$ $\mathbf m$
Krok 3. Rozwiązanie ogólnego problemu wartości własnej dla macierzy $S_{W}^{-1}S_B$

3.1 Sortowanie wektorów własnych przez zmniejszenie wartości własnych

3.2 Wybór k wektorów własnych z największych wartości własnych. Łączenie dwóch wektorów własnych z najwyższymi wartościami własnymi w celu skonstruowania naszej macierzy wektorów wymiarowych wymiarowej $d \times k$ $\mathbf W$
Krok 5: Przekształcenie próbek w nową podprzestrzeń
$y = {W.}^{T.} \times x .$ $\mathbf y = \mathbf W^T \times \mathbf x.$

— ameba mówi Przywróć Monikę
źródło

Nie szukałem różnic, ale możesz zobaczyć dokładnie, co robi scikit-learn w źródle .

— Dougal

Wygląda na to, że są one również standaryzowane (centrowanie, a następnie skalowanie poprzez podział przez odchylenie standardowe). Spodziewałbym się wyniku podobnego do tego z mojego trzeciego wykresu (i wykresu R) ... hmm

Dziwne: fabuła uzyskana za pomocą scikit (i ta, którą pokazują w swojej dokumentacji) nie ma sensu. LDA zawsze daje prognozy, które mają zerową korelację, ale oczywiście istnieje bardzo silna korelacja między prognozami Scikita na osiach dyskryminacyjnych 1 i 2. Coś tam jest wyraźnie nie tak.

— ameba mówi Przywróć Monikę

@ameoba Tak, też tak myślę. Dziwne jest również to, że ten sam wykres, który pokazuję dla scikit, znajduje się w przykładowej dokumentacji: scikit-learn.org/stable/auto_examples/decomposition/... To sprawia, że myślę, że moje użycie scikit jest prawidłowe, ale jest w tym coś dziwnego o funkcji LDA

@SebastianRaschka: Tak, zauważyłem. To naprawdę dziwne. Zauważ jednak, że pierwszy z twoich własnych (nie-scikitowych) wykresów LDA pokazuje również niezerową korelację, a zatem coś też musi być z nią nie tak. Czy wyśrodkowałeś dane? Projekcja na drugiej osi nie wydaje się mieć średniej zerowej.

— ameba mówi Przywróć Monikę

Odpowiedzi:

Aktualizacja: Dzięki tej dyskusji scikit-learnzostał zaktualizowany i działa teraz poprawnie. Jego kod źródłowy LDA można znaleźć tutaj . Pierwotny problem był spowodowany drobnym błędem (patrz ta dyskusja na githubie ), a moja odpowiedź właściwie nie wskazywała na to poprawnie (przepraszam za jakiekolwiek zamieszanie). Ponieważ to wszystko nie ma już znaczenia (błąd został naprawiony), zredagowałem moją odpowiedź, aby skupić się na tym, jak LDA można rozwiązać za pomocą SVD, który jest domyślnym algorytmem scikit-learn.

$\boldsymbol \Sigma_W$ $\boldsymbol \Sigma_B$ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

$\boldsymbol \Sigma_W^{-1/2}$

$\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$ $\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$ $\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$
$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$ $\mathbf{A}^*$

$\mathbf{X}_B$ $\boldsymbol \Sigma_W^{-1/2}$
$\mathbf A$ $\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

$\mathbf a^*$
$Σ_{W.}^{- 1 / 2)} Σ_{b} Σ_{W.}^{- 1 / 2)} {za}^{*} = λ {za}^{*},$ $\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$ $\boldsymbol \Sigma_W^{-1/2}$ $\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $Σ_{W.}^{- 1} Σ_{b} za = λ za .$ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$

Podsumowując, LDA jest równoważne wybieleniu macierzy średnich klas w odniesieniu do kowariancji wewnątrz klasy, wykonaniu PCA na średnich klas i ponownym przekształceniu uzyskanych głównych osi w pierwotną (niebieloną) przestrzeń.

Wskazano na to np. W elementach statystycznego uczenia się , sekcja 4.3.3. W scikit-learnten sposób jest domyślnym obliczyć LDA ponieważ SVD macierzy danych jest numerycznie bardziej stabilne niż eigen-rozkładu jego matrycy kowariancji.

$\boldsymbol \Sigma_W^{-1/2}$ scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$ $\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

— ameba mówi Przywróć Monikę
źródło

Dzięki za tę miłą odpowiedź. Doceniam to, że poświęciłeś tyle czasu na napisanie tego tak ładnie. Może mógłbyś wspomnieć o tym w dyskusji na GitHub; Jestem pewien, że to pomogłoby naprawić LDA w następnej wersji sci-kit

@SebastianRaschka: Nie mam konta na GitHub. Ale jeśli chcesz, możesz podać link do tego wątku.

— ameba mówi Przywróć Monikę

Σ_{W}^{- 1} Σ_{B}

$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

Σ_{W}^{- 1}

$\boldsymbol \Sigma_W^{-1}$

Dla odniesienia, oto implementacje, o których mówiłem: sourceforge.net/p/mlpy/code/ci/default/tree/mlpy/da.py#l24 github.com/sccn/BCILAB/blob/master/code/machine_learning / ... mathworks.com/matlabcentral/fileexchange/...

— kazemakase

Σ_{B}

$\boldsymbol \Sigma_B$

Σ_{W}^{- 1} Σ_{B}

$\boldsymbol \Sigma_W^{-1}\boldsymbol \Sigma_B$

Σ_{W}^{- 1} (μ_{1} - μ_{2})

$\boldsymbol \Sigma_W^{-1}(\boldsymbol\mu_1 - \boldsymbol\mu_2)$

μ_{i}

$\boldsymbol\mu_i$

— ameba mówi Przywróć Monikę

Aby zamknąć to pytanie, omawiany problem z LDA został naprawiony w scikit-learn 0.15.2 .