Oblicz i wykreśl granicę decyzyjną LDA

Widziałem wykres LDA (liniowa analiza dyskryminacyjna) z granicami decyzyjnymi z elementów uczenia statystycznego : wprowadź opis zdjęcia tutaj

Rozumiem, że dane są rzutowane na podprzestrzeń o niższych wymiarach. Chciałbym jednak wiedzieć, w jaki sposób uzyskujemy granice decyzji w oryginalnym wymiarze, tak że mogę rzutować granice decyzji na podprzestrzeń o niższych wymiarach (lubi czarne linie na powyższym obrazku).

Czy istnieje wzór, którego można użyć do obliczenia granic decyzji w oryginalnym (wyższym) wymiarze? Jeśli tak, to jakich danych potrzebuje ta formuła?

r references discriminant-analysis

— Nazywam się Jeff
źródło

Zamiast granic decyzyjnych prawdopodobnie znajdziesz większą użyteczność w rozważaniu późniejszych prawdopodobieństw członkostwa w klasie. Można tego dokonać przy mniejszej liczbie założeń, stosując wielomianową (wielomianową) regresję logistyczną, ale można to również zrobić za pomocą LDA (prawdopodobieństwa późniejsze).

— Frank Harrell

W ramach LDA te granice klasyfikacji stanowią tzw . Mapę terytorialną . Pracuję z SPSS i drukuje to , chociaż w formacie tekstowym. Według jednego projektanta SPSS granice można łatwo znaleźć dzięki praktycznemu podejściu:

— ttnphns

(ciąg dalszy) każdy punkt cienkiej siatki jest klasyfikowany przez LDA, a następnie, jeśli punkt został sklasyfikowany tak, jak jego sąsiedzi, punkt ten nie jest pokazany. Zatem na końcu pozostały tylko granice jako „pasma niejednoznaczności”. Cytat:

they (bondaries) are never computed. The plot is drawn by classifying every character cell in it, then blanking out all those surrounded by cells classified into the same category

— ttnphns

Ta konkretna postać w Hastie i in. został stworzony bez obliczania równań granic klas. Zamiast tego zastosowano algorytm opisany przez @ttnphns w komentarzach, patrz przypis 2 w sekcji 4.3, strona 110:

Dla tej liczby i wielu podobnych liczb w książce obliczamy granice decyzji za pomocą wyczerpującej metody konturowania. Obliczamy regułę decyzyjną na drobnej sieci punktów, a następnie używamy algorytmów konturowych do obliczania granic.

Kontynuuję jednak opisywanie sposobu uzyskiwania równań granic klas LDA.

Zacznijmy od prostego przykładu 2D. Oto dane z zestawu danych Iris ; Odrzucam pomiary płatka i biorę pod uwagę tylko długość i szerokość. Trzy klasy są oznaczone kolorami czerwonym, zielonym i niebieskim:

Zestaw danych Iris

$\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$ $\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$

$1$ $2$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$y=ax+b$ $a$ $b$

$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

LDA zestawu danych Iris, granice decyzji

Trzy linie przecinają się w jednym punkcie, jak należało się spodziewać. Granice decyzji są podawane przez promienie rozpoczynające się od punktu przecięcia:

LDA z zestawu danych Iris, granice ostatecznej decyzji

$K\gg 2$ $K(K-1)/2$

$D>2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $D-1$

dodatek

$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$\mathbf{W}^{-1}$ $\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$
$\mathbf x$ $k$ $(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$ $1$ $2$ $\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$
$\mathbf{W}$ $\boldsymbol \mu_1 - \boldsymbol \mu_2$ $\mathbf{W}$ $\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$ $\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$ $\mathbf S$ $\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S^{-1}$ $\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S$

— ameba mówi Przywróć Monikę
źródło

Nie studiowałem twojej odpowiedzi. Wydaje się wyrafinowane i może mieć rację. Co na temat praktycznego i łatwiejszego podejścia „kropić punkty, sklasyfikować, a następnie wydedukować granice”, które nakreśliłem w komentarzu? Czy twoje podejście jest porównywalne z jego wynikami (które są oczywiście poprawne)? Co myślisz?

— ttnphns,

@ttnphns: Jedyną częścią techniczną mojej odpowiedzi (lista z 3 pozycjami) jest kilka dowodów i można ją bezpiecznie pominąć. Reszta, jak sądzę, nie jest szczególnie wyrafinowana! Może powinienem przenieść tę „dodatkową” część w dół, jako dodatek? W odniesieniu do twoich komentarzy: Myślę, że jest to prawidłowe podejście i podoba mi się wygląd ASCII „mapy terytorialnej” SPSS. Być może mógłbyś przenieść swoje komentarze do osobnej odpowiedzi (i podać przykładowy obraz mapy SPSS), myślę, że przydałoby się to w przyszłości. Wyniki powinny oczywiście być równoważne.

— ameba mówi Przywróć Monikę

@ttnphns: Okazuje się, że Hastie i in. użył dokładnie opisanej tutaj metody do wykreślenia ich figur, w tym tej przedstawionej w OP. Znalazłem przypis mówiący dokładnie to (i zaktualizowałem swoją odpowiedź, cytując ją na początku).

— ameba mówi Przywróć Monikę

Waouh! doskonała odpowiedź (3 lata później!) Czy mogę zapytać, jak narysować segmenty w tym konkretnym problemie?

— Xavier Bourret Sicotte