Dlaczego modele efektów mieszanych rozwiązują zależność?

Powiedzmy, że interesuje nas, w jaki sposób na oceny egzaminów studenckich wpływa liczba godzin, które studenci studiują. Aby zbadać tę relację, możemy uruchomić następującą regresję liniową:

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$$

Ale jeśli próbkujemy uczniów z kilku różnych szkół, możemy oczekiwać, że uczniowie w tej samej szkole będą bardziej do siebie podobni niż uczniowie z różnych szkół. Aby poradzić sobie z tym problemem zależności, wskazówką w wielu podręcznikach / w Internecie jest uruchomienie mieszanych efektów i wejście do szkoły jako efekt losowy. Model miałby więc : Ale dlaczego to rozwiązuje problem zależności, który był obecny w regresja liniowa?

$$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$$

Odpowiedz tak, jakbyś rozmawiał z 12-latkiem

Uwzględnienie losowych terminów w modelu jest sposobem na wywołanie pewnej struktury kowariancji między stopniami. Losowy czynnik dla szkoły wywołuje niezerową kowariancję między różnymi uczniami z tej samej szkoły, podczas gdy wynosi gdy szkoła jest inna.$0$

Napiszmy swój model jako gdzie s indeksy szkoły i : i indeksy (uczniowie w każdej szkole). Pojęcia szkoła s są niezależnymi zmiennymi losowymi narysowanymi w N ( 0 , τ ) . Do e e , i są niezależnymi zmiennymi losowymi narysowane N ( 0 ,

$$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$$ $s$$i$$\text{school}_s$$\mathcal N(0, \tau)$$e_{s, i}$ .$\mathcal N(0, \sigma^2)$

Wektor ten oczekiwał wartości która jest określona przez liczbę przepracowanych godzin.

$$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$$

Kowariancja pomiędzy i Y s " , i " jest 0 gdy s ≠ s ' , co oznacza, że odejście z klas od oczekiwanej wartości są niezależne, gdy uczniowie nie są w tej samej szkole.$Y_{s,i}$$Y_{s',i'}$$0$$s \ne s'$

Kowariancja pomiędzy i Y s , ja " jest τ kiedy ja ≠ I ' , a wariancja Y s , i jest τ + σ 2 : klas uczniów z tej samej szkoły będą miały skorelowane odstępstw od ich wartości oczekiwanych .$Y_{s,i}$$Y_{s,i'}$$\tau$$i \ne i'$$Y_{s,i}$$\tau + \sigma^2$

Przykładowe i symulowane dane

Oto krótka symulacja R dla pięćdziesięciu uczniów z pięciu szkół (tutaj biorę ); nazwy zmiennych są samokontrujące: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

Planujemy odstępstwa od oczekiwanej oceny dla każdego ucznia, czyli warunki wraz ze (kropkowaną linią) średni odstęp dla każdej szkoły:$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

$\text{school}_s$$\alpha + \text{hours} \beta$

Macierz wariancji dla tego przykładu

$\text{school}_s$$e_{s,i}$

$$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$$ $10\times 10$$A$ $$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$$