Standaryzacja funkcji podczas korzystania z LDA jako etapu wstępnego przetwarzania

Jeśli do redukcji wymiarowości (lub transformacji po zmniejszeniu wymiarowości za pomocą PCA) stosuje się wieloklasową liniową analizę dyskryminacyjną (lub czasami czytam też analizę wielokrotnej dyskryminacji), rozumiem, że ogólnie „normalizacja Z-score” (lub standaryzacja) funkcje nie będą konieczne, nawet jeśli są mierzone w zupełnie innych skalach, prawda? Skoro LDA zawiera termin podobny do odległości Mahalanobisa, która już implikuje znormalizowane odległości euklidesowe?

Tak więc nie tylko nie byłoby to konieczne, ale wyniki po LDA dotyczące znormalizowanych i niestandardowych funkcji powinny być dokładnie takie same !?

Podziękowania dla tej odpowiedzi należą do @ttnphns, który wyjaśnił wszystko w powyższych komentarzach. Chciałbym jednak udzielić rozszerzonej odpowiedzi.

Na twoje pytanie: czy wyniki LDA dotyczące znormalizowanych i niestandardowych funkcji będą dokładnie takie same? --- odpowiedź brzmi: tak . Najpierw przedstawię nieformalny argument, a następnie przejdę do matematyki.

Wyobraź sobie zestaw danych 2D pokazany jako wykres rozproszenia po jednej stronie balonu (oryginalne zdjęcie z balonu tutaj ):

Tutaj czerwone kropki to jedna klasa, zielone kropki to inna klasa, a czarna linia to granica klasy LDA. Teraz przeskalowanie$x$ lub $y$osie odpowiadają rozciąganiu balonu w poziomie lub w pionie. Intuicyjnie jasne jest, że chociaż nachylenie czarnej linii zmieni się po takim rozciągnięciu, klasy będą dokładnie tak samo rozdzielne jak poprzednio, a względne położenie czarnej linii nie ulegnie zmianie. Każda obserwacja testowa zostanie przypisana do tej samej klasy, co przed rozciąganiem. Można więc powiedzieć, że rozciąganie nie wpływa na wyniki LDA.

---

Teraz, matematycznie, LDA znajduje zestaw osi dyskryminujących, obliczając wektory własne $\mathbf{W}^{-1} \mathbf{B}$, gdzie $\mathbf{W}$ i $\mathbf{B}$są macierzami rozproszenia wewnątrz i między klasami. Równolegle są to uogólnione wektory własne uogólnionego problemu wartości własnych$\mathbf{B}\mathbf{v}=\lambda\mathbf{W}\mathbf{v}$.

Rozważ centralną macierz danych $\mathbf{X}$ ze zmiennymi w kolumnach i punktami danych w wierszach, dzięki czemu całkowita macierz rozproszenia jest podana przez $\mathbf{T}=\mathbf{X}^\top\mathbf{X}$. Standaryzacja danych sprowadza się do skalowania każdej kolumny$\mathbf{X}$ o określoną liczbę, tj. zastępując ją $\mathbf{X}_\mathrm{new}= \mathbf{X}\boldsymbol\Lambda$, gdzie $\boldsymbol\Lambda$jest macierzą diagonalną ze współczynnikami skalowania (odwrotności standardowych odchyleń każdej kolumny) na przekątnej. Po takim przeskalowaniu macierz rozproszenia zmieni się w następujący sposób:$\mathbf{T}_\mathrm{new} = \boldsymbol\Lambda\mathbf{T}\boldsymbol\Lambda$, i ta sama transformacja nastąpi $\mathbf{W}_\mathrm{new}$ i $\mathbf{B}_\mathrm{new}$.

Pozwolić $\mathbf{v}$ być wektorem pierwotnego problemu, tj

$$\mathbf{B}\mathbf{v}=\lambda\mathbf{W}\mathbf{v}.$$ Jeśli pomnożymy to równanie przez $\boldsymbol\Lambda$ po lewej stronie i włóż $\boldsymbol\Lambda\boldsymbol\Lambda^{-1}$ po obu stronach wcześniej $\mathbf{v}$, otrzymujemy $$\boldsymbol\Lambda\mathbf{B}\boldsymbol\Lambda\boldsymbol\Lambda^{-1}\mathbf{v}=\lambda\boldsymbol\Lambda\mathbf{W}\boldsymbol\Lambda\boldsymbol\Lambda^{-1}\mathbf{v},$$ to znaczy $$\mathbf{B}_\mathrm{new}\boldsymbol\Lambda^{-1}\mathbf{v}=\lambda\mathbf{W}_\mathrm{new}\boldsymbol\Lambda^{-1}\mathbf{v},$$ co oznacza że $\boldsymbol\Lambda^{-1}\mathbf{v}$ jest wektorem własnym po przeskalowaniu z dokładnie taką samą wartością własną $\lambda$ jak wcześniej.

Oś dyskryminacyjna (podana przez wektor własny) ulegnie zmianie, ale jej wartość własna, która pokazuje, ile klas są rozdzielone, pozostanie dokładnie taka sama. Co więcej, rzut na tę oś, pierwotnie podany przez$\mathbf{X}\mathbf{v}$, zostanie teraz podany przez $\mathbf{X}\boldsymbol\Lambda (\boldsymbol\Lambda^{-1}\mathbf{v})= \mathbf{X}\mathbf{v}$, tzn. pozostanie dokładnie taki sam (może nawet do współczynnika skalowania).