Jak interpretować odwrotną macierz kowariancji lub precyzji?

Zastanawiałem się, czy ktoś mógłby wskazać mi jakieś odniesienia, które omawiają interpretację elementów odwrotnej macierzy kowariancji, znanej również jako matryca koncentracji lub macierz precyzji.

Mam dostęp do zależności wielowymiarowych Coxa i Wermutha , ale szukam interpretacji każdego elementu w macierzy odwrotnej. Wikipedia stwierdza : „Elementy macierzy dokładności mają interpretację w kategoriach częściowych korelacji i częściowych wariancji”, co prowadzi mnie do tej strony. Czy istnieje interpretacja bez regresji liniowej? IE pod względem kowariancji lub geometrii?

W zasadzie należy powiedzieć dwie rzeczy. Po pierwsze, jeśli spojrzysz na gęstość dla wielowymiarowego rozkładu normalnego (ze średnią tutaj 0), jest on proporcjonalny do gdzie jest odwrotnością macierzy kowariancji, zwanej także precyzją. Matryca ta jest określony dodatni i określa za pomocą jest wewnętrzny produkt o . Powstała geometria, która nadaje określone znaczenie koncepcji ortogonalności i definiuje normę związaną z rozkładem normalnym, jest ważna i aby zrozumieć, na przykład, geometryczną zawartość LDA , należy patrzeć na rzeczy w świetle podanej geometrii przezP=Σ-1(x,y)↦xTPyRp

Inną rzeczą do powiedzenia jest to, że częściowe korelacje można odczytać bezpośrednio z , patrz tutaj . Ta sama strona Wikipedii podaje, że częściowe korelacje, a zatem wpisy , mają interpretację geometryczną w kategoriach cosinus do kąta. Być może ważniejsze w kontekście korelacji cząstkowych jest to, że częściowa korelacja między a wynosi 0, jeśli tylko wtedy, gdy pozycja w wynosi zero. Dla rozkładu normalnego zmienne i są wówczas warunkowo niezależneP X i X j i , j P X i X $P$$P$$X_i$$X_j$$i,j$$P$$X_i$$X_j$biorąc pod uwagę wszystkie inne zmienne. O to właśnie chodzi w książce Steffensa, o której wspomniałem w powyższym komentarzu. Warunkowa niezależność i modele graficzne. Ma dość kompletne podejście do rozkładu normalnego, ale może nie być takie łatwe.

Podoba mi się ten probabilistyczny model graficzny, aby zilustrować punkt NRH, że częściowa korelacja wynosi zero wtedy i tylko wtedy, gdy X jest warunkowo niezależny od Y, biorąc pod uwagę Z, przy założeniu, że wszystkie zaangażowane zmienne są wielowymiarowe Gaussa (właściwość nie zachowuje się w ogólnym przypadku) :

$y_i$

Źródło: przemówienie Davida MacKaya na temat Gaussian Process Basics , 25. minuta.

Interpretacja oparta na korelacjach cząstkowych jest prawdopodobnie najbardziej użyteczna statystycznie, ponieważ dotyczy wszystkich rozkładów wielowymiarowych. W szczególnym przypadku wielowymiarowego rozkładu normalnego zerowa korelacja częściowa odpowiada warunkowej niezależności.

Można wyprowadzić tę interpretację za pomocą dopełniacza Schur, aby uzyskać wzór na wpisy macierzy stężenia w kategoriach wpisów macierzy kowariancji. Zobacz http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

Macierz kowariancji może reprezentować relację między wszystkimi zmiennymi, podczas gdy odwrotna kowariancja, podważa relację elementu z ich sąsiadami (jak wikipedia podała relację częściową / parą).

Pożyczam następujący przykład stąd w 24:10, wyobrażam sobie, że 5 mas jest połączonych ze sobą i samogłoskowych z 6 sprężynami, macierz kowariancji zawiera korelację wszystkich mas, jeśli jedna pójdzie dobrze, inne też mogą pójść dobrze. ale odwrotna macierz kowariancji przedstawia relację tych mas, które są połączone tą samą sprężyną (sąsiedzi) i zawiera wiele zer i nie jest koniecznie dodatnia.

Bar-Shalom i Fortmann (1988) wspominają o odwrotnej kowariancji w kontekście filtrowania Kalmana w następujący sposób:

... [T] tutaj jest rekurencja dla odwrotnej kowariancji (lub matrycy informacyjnej )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

$\mathbf{P}^{-1}\hat{\mathbf{x}}$

Książka jest indeksowana w Google .