W praktyce, jak oblicza się macierz kowariancji efektów losowych w modelu efektów mieszanych?

Zasadniczo zastanawiam się, w jaki sposób wymuszane są różne struktury kowariancji i jak obliczane są wartości w tych macierzach. Funkcje takie jak lme () pozwalają nam wybrać, którą strukturę chcielibyśmy, ale chciałbym wiedzieć, jak są szacowane.

Rozważ liniowy model efektów mieszanych .$Y=X\beta+Zu+\epsilon$

Gdzie i . Ponadto:$u \stackrel{d}{\sim} N(0,D)$$\epsilon \stackrel{d}{\sim} N(0,R)$

$Var(Y|X,Z,\beta,u)=R$

$Var(Y|X,\beta)=Z'DZ+R=V$

Dla uproszczenia założymy .$R=\sigma^2I_n$

Zasadniczo moje pytanie brzmi: jak dokładnie szacuje się na podstawie danych dla różnych parametryzacji? Powiedzmy, że jeśli założymy, że jest diagonalny (efekty losowe są niezależne) lub pełni sparametryzowany (w tej chwili bardziej mnie to interesuje) lub dowolne inne parametry? Czy istnieją dla nich proste estymatory / równania? (Bez wątpienia byłoby to iteracyjnie szacowane).$D$$D$$D$

EDYCJA: Z książki Variance Components (Searle, Casella, McCulloch 2006) udało mi się uzyskać następujące informacje:

Jeśli to składniki wariancji są aktualizowane i obliczane w następujący sposób:$D=\sigma^2_uI_q$

$\sigma_u^{2(k+1)} = \frac{\hat{\textbf{u}}^T\hat{\textbf{u}}} {\sigma_u^{2(k)}\text{trace}(\textbf{V}^{-1}\textbf{Z}^T\textbf{Z})}$

$\sigma_e^{2(k+1)} = Y'(Y-X{\hat{\beta}}^{(k)}-{Z}\hat{{u}}^{(k)})/n$

Gdziei U (k)sąth aktualizacjach odpowiednio.$\hat{\beta}^{(k)}$$\hat{{u}}^{(k)}$$k$

Czy istnieją ogólne wzory, gdy jest blokowo ukośne lub w pełni sparametryzowane? Zgaduję, że w przypadku w pełni sparametryzowanym stosuje się rozkład Cholesky'ego, aby zapewnić pozytywną definitywność i symetrię.$D$

Plik Goldstein .pdf @probabilityislogic to świetny dokument. Oto lista niektórych odniesień omawiających Twoje pytanie:

Harville, 1976: Rozszerzenie twierdzenia Gaussa-Markowa o oszacowanie efektów losowych .

Harville, 1977: Podejście maksymalnego prawdopodobieństwa do oszacowania komponentu wariancji i powiązanych problemów .

Laird and Ware, 1982: Modele efektów losowych dla danych podłużnych .

McCulloch, 1997: Algorytmy maksymalnego prawdopodobieństwa dla uogólnionych liniowych modeli mieszanych .

Fragment Podręcznika użytkownika SAS dotyczący procedury MIESZANE zawiera kilka świetnych informacji na temat szacowania kowariancji i wielu innych źródeł (od strony 3968).

Istnieje wiele wysokiej jakości podręczników na temat analizy danych z pomiarów podłużnych / powtarzanych, ale oto jeden, który szczegółowo opisuje implementację w języku R (od autorów lme4i nlme):

Pinheiro i Bates, 2000: Modele z efektami mieszanymi w S i S-PLUS .

EDYCJA : Jeszcze jeden istotny artykuł: Lindstrom i Bates, 1988: Newton-Raphson i EM Algorytmy dla liniowych modeli efektów mieszanych dla danych z powtarzanymi pomiarami .

EDYCJA 2 : I kolejne: Jennrich i Schluchter, 1986: Niezrównoważone modele z powtarzanymi pomiarami ze strukturalnymi macierzami kowariancji .

Harvey Goldstein nie jest złym miejscem do rozpoczęcia.

Podobnie jak w przypadku najbardziej złożonych metod szacowania, różni się w zależności od pakietu oprogramowania. Często jednak wykonuje się następujące czynności:

1. Wybierz wartość początkową dla (powiedz D 0 ) i R (powiedz R 0 ). Ustaw i = $D$$D_0$$R$$R_0$$i=1$
2. $D=D_{i-1}$$R=R_{i-1}$$\beta$$u$$\epsilon$$\beta_i$$u_i$$\epsilon_i$
3. $\beta=\beta_i$$u=u_i$$\epsilon=\epsilon_i$$D$$R$$D_i$$R_i$
4. $i=i+1$

Jedną z prostych i szybkich metod jest IGLS, która polega na iteracji między dwiema procedurami najmniejszych kwadratów i jest szczegółowo opisana w rozdziale drugim. Minusem jest to, że nie działa dobrze dla składników wariancji bliskich zeru.

Poniższy artykuł zawiera zamknięte rozwiązanie dla D:

• J. Shao, Mari Palta i Roger Qu, (1998), „ Estymacja metodą najmniejszych kwadratów parametrów regresji w modelach efektów mieszanych z niezmierzonymi współzmiennymi ”, Communications in Statistics - Theory and Methods , 27: 6, 1487-1501, DOI: 10.1080 / 03610929808832172

jeszcze dwa odniesienia, które mogą być przydatne Składniki wariancji Searle i in. oraz Lynch i Walsh Genetyka i analiza cech ilościowych . Książka Lyncha i Walsha zawiera algorytm krok po kroku, jeśli dobrze pamiętam