Jakie są odległości między zmiennymi tworzącymi macierz kowariancji?

Mam macierzy kowariancji i chcę podzielić zmienne na klastrów za pomocą hierarchicznego grupowania (na przykład, aby posortować macierz kowariancji). $n \times n$ $k$

Czy istnieje typowa funkcja odległości między zmiennymi (tj. Między kolumnami / rzędami kwadratowej macierzy kowariancji)?

A jeśli jest ich więcej, czy istnieje dobre odniesienie do tematu?

— Piotr Migdal
źródło

Dlaczego miałbyś chcieć używać hierarchicznego grupowania zmiennych? Ogólnie myślimy o macierzy danych , w / zmiennych w kolumnach i obserwacjach w wierszach. Jeśli chcesz szukać ugrupowań utajonych, można spróbować np hierarchiczne grupowanie na wiersze / obserwacje, lub, na przykład, analizy czynnikowej na kolumnach / zmiennych.

X

$X$

— gung - Przywróć Monikę

@Piotr, Tak, kowariancję (lub korelację lub cosinus) można łatwo i naturalnie przekształcić w odległość euklidesową, ponieważ jest to iloczyn skalarny (= podobieństwo typu kątowego). Znajomość kowariancji między dwiema zmiennymi, a także ich wariancji, automatycznie oznacza znajomość d między zmiennymi: .

d^{2} = σ_{1}^{2} + σ_{2}^{2} - 2 c o v

$d^2= \sigma_1^2+\sigma_2^2-2cov$

— ttnphns

Zauważ, że ta formuła oznacza, że kowariancja ujemna to większa odległość niż kowariancja dodatnia (i rzeczywiście tak jest z geometrycznego punktu widzenia). Jeśli nie chcesz, aby znak kowariancji grał rolę, zlikwiduj znak ujemny.

— ttnphns

@gung Jest to macierz symetryczna, więc wiersze ~ kolumny. Dla mnie bardzo ważne jest podzielenie go na zestawy zmiennych, a nie „obracanie” ich analizą czynnikową (w rzeczywistości nie pracuję ze standardową macierzą kowariancji, ale złożoną (macierz gęstości w mechanice kwantowej)).

— Piotr Migdal

@ttnphns Thanks. Niepokoi mnie to, że chcę oddzielić zmienne nieskorelowane - korelacja ujemna jest dla mnie (prawie) tak dobra jak dodatnia.

— Piotr Migdal

Odpowiedzi:

Kowariancję (lub korelację lub cosinus) można łatwo i naturalnie przekształcić w odległość euklidesową za pomocą prawa cosinusa , ponieważ jest to iloczyn skalarny (= podobieństwo oparte na kątach) w przestrzeni euklidesowej. Znajomość kowariancji między dwiema zmiennymi i i j, a także ich wariancji automatycznie oznacza znajomość d między zmiennymi: . (To jest wprost proporcjonalne do zwykłej kwadratowej odległości euklidesowej $d_{ij}^2 = \sigma_i^2 + \sigma_j^2 −2cov_{ij}$ $d_{ij}^2$ : otrzymujesz to drugie, jeśli zamiast wariancji i kowariancji użyjesz sum kwadratów i sumy krzyżowych produktów. Obie zmienne powinny być oczywiście początkowo wyśrodkowane: mówienie o „kowariancjach” jest aliasem do myślenia o danych z usuniętymi środkami).

Zauważ, że ta formuła oznacza, że kowariancja ujemna jest większa od odległości kowariancji dodatniej (i rzeczywiście tak jest z geometrycznego punktu widzenia, tj. Kiedy zmienne są postrzegane jako wektory w przestrzeni przedmiotowej ). Jeśli nie chcesz, aby znak kowariancji grał rolę, zlikwiduj znak ujemny. Ignorowanie znaku ujemnego nie jest operacją „łatania ręcznie” i jest uzasadnione, gdy jest to potrzebne: jeśli macierz cov jest dodatnia, dodatnia, macierz abs (cov) również będzie dodatnia; a tym samym odległości uzyskane w powyższym wzorze będą prawdziwymi euklidesowa odległości (odległość euklidesowa stanowi szczególny rodzaj metryki odległość).

Odległości euklidesowe są uniwersalne w odniesieniu do hierarchicznego grupowania : każda metoda takiego grupowania jest ważna dla euklidesowego lub kwadratowego euklidesowego d . Ale niektóre metody, np. Średnie połączenie lub całkowite połączenie, mogą być stosowane z dowolną podobieństwem lub podobieństwem (nie tylko odległościami metrycznymi). Możesz więc zastosować takie metody bezpośrednio z macierzą odległości cov lub abs (cov) lub - na przykład - z macierzą odległości max (abs (cov)) - abs (cov) . Oczywiście wyniki grupowania potencjalnie zależą od dokładnej natury zastosowanego (nie) podobieństwa.

— ttnphns
źródło

Jak definiujesz ? Odkryłem, że jest to równe wartości oczekiwanej kwadratowej odległości między dwiema zmiennymi stochastycznymi, jeśli obie zmienne mają tę samą średnią, ale nie, jeśli mają inną średnią (wtedy będzie mniejszy).

d_{i j}^{2}

$d^2_{ij}$

d_{i j}^{2}

$d^2_{ij}$

— HelloGoodbye,

@HelloGoodbye, tak, sugeruję dwie zmienne (wektory) o równych środkach - w rzeczywistości, po usunięciu średnich, w pierwszej kolejności.

— ttnphns

Dlaczego nie wykorzystać macierzy korelacji do tworzenia klastrów? Zakładając, że zmienne losowe są wyśrodkowane, obliczając korelację między zmiennymi, obliczasz odległość podobieństwa cosinus . Ta odległość jest również podana w twoim linku. Tę odległość można wykorzystać do hierarchicznego grupowania. Im mniejsze podobieństwo 1 - | cosinus |, tym bardziej podobne są twoje zmienne.

— Jorge Banuelos
źródło

A ich właściwości? Nie mam problemu z przyjściem z pewnymi odległościami (np. , lub jednym faktycznie takim samym jak cosinus dist., Lub niektóre związane z prognozami dotyczącymi wektorów własnych). Po prostu chcę to zrobić w sposób wykształcony, dostosowany do matrycy kowariancji.

d (i, j) = 1 - A_{i j}^{2} / (A_{i i} A_{j j})

$d(i,j)=1-A_{ij}^2/(A_{ii}A_{jj})$

— Piotr Migdal

Przepraszam za nieporozumienie. Najlepszym źródłem, jakie znam, jest to . Badają jakość kilku metryk (wykorzystujących korelację) z hierarchicznym klastrowaniem. W przypadku hierarchicznego grupowania zwykle próbuję wielu wskaźników i sprawdzam, które z nich najlepiej pasują do mojego konkretnego celu i danych.

— Jorge Banuelos,

link wydaje się już nie działać?

— Matifou