Co mówi odwrotność macierzy kowariancji o danych? (Intuicyjnie)

Jestem ciekawy natury $\Sigma^{-1}$ . Czy ktoś może powiedzieć coś intuicyjnego na temat „Co $\Sigma^{-1}$ mówi o danych?”

Edytować:

Dziękuję za odpowiedzi

Po wzięciu świetnych kursów chciałbym dodać kilka punktów:

Jest to miara informacji, tj. to ilość informacji wzdłuż kierunku . $x^T\Sigma^{-1}x$ $x$
Dwoistość: Od jest dodatnio określona, więc jest , więc one są normy dot-produktów, a dokładniej są podwójne normy siebie, więc możemy czerpać Fenchel Podwójny za uregulowana problemu najmniejszych kwadratów, a nie maksymalizację wrt podwójny problem. Możemy wybrać jeden z nich, w zależności od ich uwarunkowania. $\Sigma$ $\Sigma^{-1}$
Przestrzeń Hilberta: Kolumny (i rzędy) $\Sigma^{-1}$ i $\Sigma$ obejmują to samo miejsce. Zatem nie ma żadnej przewagi (innej niż gdy jedna z tych macierzy jest źle uwarunkowana) między reprezentacją za pomocą $\Sigma^{-1}$ lub $\Sigma$
$\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Statystyki częstokroć: Jest ściśle związane z informacjami Fishera, z wykorzystaniem powiązań Cramér – Rao. W rzeczywistości macierz informacji Fishera (zewnętrzny produkt gradientu prawdopodobieństwa logarytmu z samym sobą) jest związana przez Craméra – Rao, tj. (wrt dodatni półokreślony stożek, stężenie iewrt elipsoidy). Kiedy więc estymator maksymalnego prawdopodobieństwa jest skuteczny, tj. W danych istnieje maksymalna informacja, więc częstość reżimu optymistycznego jest optymalna. Mówiąc prościej, w przypadku niektórych funkcji prawdopodobieństwa (zauważ, że funkcjonalna forma prawdopodobieństwa zależy wyłącznie od modelu probablistycznego, który rzekomo wygenerował dane, czyli model generatywny), maksymalne prawdopodobieństwo jest wydajnym i spójnym estymatorem, rządzącym jak szef. (przepraszam za przekroczenie tego) $\Sigma^{-1}\preceq \mathcal{F}$ $\Sigma^{-1}=\mathcal{F}$

— Arya
źródło

Myślę, że PCA podnosi wektor własny z dużymi wartościami własnymi, a nie z małymi wartościami własnymi.

— wdg

(3) Jest niepoprawny, ponieważ jest równoznaczny z zapewnieniem kolumn to kolumny (do permutacji), co jest prawdą tylko w przypadku matrycy tożsamości.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— whuber

Odpowiedzi:

Jest to miara precyzji, podobnie jak jest miarą dyspersji. $\Sigma$

Mówiąc dokładniej, jest miarą tego, w jaki sposób zmienne są rozproszone wokół średniej (elementy diagonalne) i jak różnią się one z innymi zmiennymi (elementami poza diagonalnymi). Im bardziej dyspersja, tym bardziej oddalają się od średniej i im bardziej różnią się (w wartości bezwzględnej) z innymi zmiennymi, tym silniejsza jest ich tendencja do „wspólnego przemieszczania się” (w tym samym lub przeciwnym kierunku w zależności od znak kowariancji). $\Sigma$

Podobnie, jest miarą tego, jak ciasno skupione są zmienne wokół średniej (elementy diagonalne) i stopień, w jakim nie różnią się one razem z innymi zmiennymi (elementy nie-diagonalne). Zatem im wyższy element przekątny, tym ciaśniej zmienna jest skupiona wokół średniej. Interpretacja elementów nie przekątnych jest bardziej subtelna i odsyłam do innych odpowiedzi dotyczących tej interpretacji. $\Sigma^{-1}$

— rekwizyt
źródło

Silny kontrprzykład na twoje ostatnie stwierdzenie o elementach o przekątnej w jest zapewniony przez najprostszy nietrywialny przykład w dwóch wymiarach, Większe wartości nie przekątne odpowiadają bardziej ekstremalnym wartościom współczynnika korelacji co jest przeciwieństwem tego, co wydajesz się mówić.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— whuber

@whuber Right. Powinienem pozbyć się słowa „absolutnego” w ostatnim zdaniu. Dzięki

— prop

Dzięki, ale to wciąż nie rozwiązuje problemu: związek, który potwierdzasz, między pozagonowymi elementami odwrotności a ko-wariacją, nie istnieje.

— whuber

@ whuber Myślę, że tak. W twoim przykładzie elementy poza przekątną są ujemne. Dlatego też, zwiększa elementów niediagonalnych zmniejszać. Możesz to sprawdzić, zauważając, że: w element nie przekątnej wynosi ; gdy zbliża się do zbliżają się elementy poziagonalne a pochodna elementu poziagonalnego względem jest ujemna.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— prop

Moje elementy poza przekątną są pozytywne, gdy

ρ < 0.

$\rho\lt 0.$

— whuber

Używając indeksów górnych do oznaczenia elementów odwrotnych, jest wariancją składnika zmiennej która jest nieskorelowana z innymi zmiennymi , i jest częściową korelacją zmiennych i , kontrolującą inne zmienne . $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— Ray Koopman
źródło