Intuicja na temat estymacji parametrów w modelach mieszanych (parametry wariancji vs. tryby warunkowe)

Czytałem wiele razy, że efekty losowe (BLUP / tryby warunkowe dla, powiedzmy, badanych) nie są parametrami liniowego modelu efektów mieszanych, ale zamiast tego można je wyprowadzić z oszacowanych parametrów wariancji / kowariancji. Np. Reinhold Kliegl i in. (2011) stan:

Efekty losowe to odchylenia badanych od średniej średniej RT i odchylenia badanych od parametrów efektu stałego. Zakłada się, że są one niezależnie i normalnie rozmieszczone ze średnią 0. Ważne jest, aby uznać, że te losowe efekty nie są parametrami LMM - są tylko ich wariancje i kowariancje. [...] Parametry LMM w połączeniu z danymi osobników można wykorzystać do wygenerowania „prognoz” (trybów warunkowych) losowych efektów dla każdego osobnika.

Czy ktoś może podać intuicyjne wyjaśnienie, w jaki sposób można oszacować parametry (ko) wariancji efektów losowych bez faktycznego wykorzystania / oszacowania efektów losowych?

mixed-model intuition blup

— statmerkur
źródło

Odpowiedzi:

Rozważ prosty liniowy model mieszany, np. Model losowego przechwytywania, w którym szacujemy zależność od u różnych podmiotów i zakładamy, że każdy podmiot ma swój własny losowy przechwytywania: Tutaj przechwytuje $y$ $x$

y = a + b x + c_{i} + ϵ .

$y = a + bx + c_i + \epsilon.$

c_{i}

$c_i$ są modelowane jako pochodzące z rozkładu Gaussa

a szum losowy jest również gaussowski

c_{i} \sim N (0, τ^{2})

$c_i\sim \mathcal N(0, \tau^2)$

Wskładni ten model zostałby zapisany jako.

ϵ \sim N (0, σ^{2}) .

$\epsilon \sim \mathcal N(0, \sigma^2).$ lme4y ~ x + (1|subject)

Warto przepisać powyższe w następujący sposób:

\begin{matrix} y ∣ c \sim N (a + b x + c, σ^{2}) \\ c \sim N (0, τ^{2}) \end{matrix}

$\begin{gather} y \mid c \sim \mathcal N(a + bx + c, \sigma^2) \\ c \sim \mathcal N(0, \tau^2) \end{gather}$

Jest to bardziej formalny sposób określenia tego samego modelu probabilistycznego. Z tego sformułowania wynika bezpośrednio, że efekty losowe nie są „parametrami”: są to nieobserwowane zmienne losowe. Jak więc oszacować parametry wariancji, nie znając wartości ? $c_i$ $c$

Zauważ, że pierwsze równanie powyżej opisuje warunkowy rozkład $y$ $c$ $c$ $y\mid c$ $y$ $c$

$\mathcal N(a + bx, \sigma^2+\tau^2)$ $n$ $\mathbf y$

y \sim N (a + b x, Σ)

$\mathbf y \sim \mathcal N(a+b\mathbf x, \boldsymbol\Sigma)$

Σ = σ^{2} I_{n} + τ^{2} I_{N} \otimes 1_{M}

$\boldsymbol\Sigma=\sigma^2 \mathbf I_n + \tau^2 \mathbf I_N \otimes \mathbf 1_M$

σ^{2}

$\sigma^2$

τ^{2}

$\tau^2$

c

$c$

c_{i}

$c_i$

$a$ $b$ $\tau^2$ $\sigma^2$ $c_i$ $i$

— ameba mówi Przywróć Monikę
źródło

y \sim N (a + b x, σ^{2} I)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \sigma^2 I)$

y \sim N (a + b x, Σ)

$\mathbf{y} \sim \mathcal{N}(a + b\mathbf{x}, \Sigma)$

— Sextus Empiricus

c

$c$

c

$c$

c

$c$

Myślę, że po prostu nie dostaję kroku integracji. Jak @Martijn Weterings wskazał mały przykład (kod R) lub odniesienie, gdyby można było stwierdzić, że byłoby świetnie!

— statmerkur

Dzięki za zaakceptowanie mojej odpowiedzi i przyznanie mi nagrody za @statmerkur, ale szkoda, że pozostaje niejasna. Spróbuję wymyślić przykład. Będę cię pingować, kiedy zaktualizuję odpowiedź.

— ameba mówi Przywróć Monikę

@statmerkur W odpowiedzi na to pytanie wykazuję ręczne obliczenie modelu efektów mieszanych (ręczny w sensie pisania funkcji prawdopodobieństwa, optymalizacja jest nadal wykonywana przez standardową funkcję optymalizacji w R) stats.stackexchange.com/a/ 337348/164061

— Sextus Empiricus

Możesz łatwo oszacować parametry wariancji i kowariancji bez polegania na efektach losowych za pomocą efektów stałych (zobacz tutaj dyskusję efektów stałych vs. efektów losowych; pamiętaj, że istnieją różne definicje tych terminów).

Naprawione efekty można łatwo uzyskać, dodając (binarną) zmienną wskaźnikową dla każdej grupy (lub każdego okresu lub cokolwiek, co zamierzasz wykorzystać jako efekty losowe; jest to równoważne z transformacją wewnątrz). Pozwala to łatwo oszacować efekty stałe (które można postrzegać jako parametr).

Założenie o ustalonych efektach nie wymaga przyjęcia założenia o rozkładzie ustalonych efektów, możesz łatwo oszacować wariancję efektów stałych (chociaż jest to wyjątkowo hałas, jeśli liczba obserwacji w każdej grupie jest niewielka; minimalizują one uprzedzenie kosztem znacznie większej wariancji w porównaniu do efektów losowych, ponieważ tracisz jeden stopień swobody dla każdej grupy poprzez dodanie tych zmiennych wskaźnikowych). Można także oszacować kowariancje między różnymi zestawami efektów stałych lub między efektami stałymi a innymi zmiennymi towarzyszącymi. Zrobiliśmy to na przykład w artykule zatytułowanym Balance Competitive and Assortative Matching w niemieckiej Bundeslidze, aby oszacować, czy lepsi piłkarze coraz częściej grają dla lepszych drużyn.

Efekty losowe wymagają wcześniejszego założenia o kowariancji. W klasycznych modelach efektów losowych zakłada się, że efekty losowe są jak błąd i są niezależne od innych zmiennych towarzyszących (dzięki czemu można je zignorować i użyć OLS i uzyskać spójne, choć nieefektywne oszacowania dla drugiego parametru, jeśli założenia modelu efektów losowych są prawdziwe).

Więcej informacji technicznych jest dostępnych tutaj . Andrew Gelman ma również dużo bardziej intuicyjną pracę na ten temat w swojej miłej książce Analiza danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych

— Arne Jonas Warnke
źródło

Mam na myśli parametry (ko) wariancji efektów losowych (patrz moja edycja).

— statmerkur

Nie sądzę, że to odpowiada na pytanie.

— ameba mówi Przywróć Monikę