Jak zdefiniować macierz jako dodatnią?

Próbuję zaimplementować algorytm EM dla następującego modelu analizy czynnikowej;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

gdzie oznacza p-wymiarowy wektor losowej, jest P-wymiarowy wektor zmiennych utajonych i jest macierzą PxQ parametrów. $W_j$ $a_j$ $B$

W wyniku innych założeń zastosowanych w modelu wiem, że gdzie jest macierzą wariancji kowariancji macierzy składników błędów , = diag ( , , ..., ). $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

Dla algorytmu EM do pracy, robię iteracji kopułkowych obejmujące ocenę i matryc i podczas tych iteracji jestem obliczania odwrotności w każdej iteracji przy użyciu nowych oszacowań i . Niestety w trakcie iteracji traci swoją pozytywną definitywność (ale nie powinno tak być, ponieważ jest to macierz wariancji-kowariancji) i ta sytuacja rujnuje zbieżność algorytmu. Moje pytania to: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

Czy ta sytuacja pokazuje, że coś jest nie tak z moim algorytmem, ponieważ prawdopodobieństwo powinno wzrosnąć na każdym etapie EM?
Jakie są praktyczne sposoby na zdefiniowanie dodatniej macierzy?

Edycja: Obliczam odwrotność za pomocą lematu inwersji macierzy, który stwierdza, że:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

gdzie prawa strona obejmuje tylko odwrotności macierzy . $q\times q$

factor-analysis expectation-maximization

— Andy Amos
źródło

Może to pomóc w lepszym zrozumieniu, w jaki sposób

„traci” swoją pozytywną definitywność. To implikuje, że albo

albo

(albo oba) stają się nie dodatnie. Trudno to zrobić, gdy

jest obliczane bezpośrednio z

a jeszcze trudniejsze, gdy

jest obliczane jako macierz diagonalna z kwadratami na przekątnej!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@ whuber Zazwyczaj w FA

, więc

nigdy nie jest dodatnio określony. Ale (teoretycznie)

powinno być, zakładając, że wszystkie

są większe od zera.

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— JMS

Jest to powiązane z tym pytaniem: stats.stackexchange.com/questions/6364/…

— Gilead

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

$B$ $q$ $q<p$

$A^{-1}b$ $Ax=b$

$D$ $BB'$ $D$ $D$ $BB'+D$ $D$

$\sigma^2_i$ $D$

$BB'+D$

— JMS
źródło

Po drugie, w głównej części algorytmów nigdy nie chcesz faktycznie odwracać macierzy. Może być jednak konieczne na samym końcu, aby uzyskać standardowe szacunki. Zobacz ten post na blogu johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— Samsdram

Wartości macierzy D stają się coraz mniejsze wraz ze wzrostem liczby iteracji. Być może jest to problem, jak wskazałeś.

— Andy Amos,

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$