Naprawiono efekt vs efekt losowy, gdy wszystkie możliwości są zawarte w modelu efektów mieszanych

W modelu efektów mieszanych zaleca się stosowanie stałego efektu do oszacowania parametru, jeśli uwzględniono wszystkie możliwe poziomy (np. Zarówno mężczyzn, jak i kobiety). Ponadto zaleca się stosowanie efektu losowego w celu uwzględnienia zmiennej, jeśli uwzględnione poziomy są tylko losową próbką z populacji (pacjenci włączeni z wszechświata możliwych pacjentów), a zamiast średnich chcesz oszacować średnią populacji i wariancję poszczególnych poziomów czynników.

Zastanawiam się, czy jesteś logicznie zobowiązany do tego, aby zawsze używać stałego efektu w ten sposób. Zastanów się nad badaniem zmian rozmiaru stopy / buta w miarę rozwoju i związanych z, powiedzmy, wzrostem, wagą i wiekiem. ${\rm Side}$wyraźnie musi zostać w jakiś sposób uwzględniony w modelu, aby uwzględnić fakt, że pomiary na przestrzeni lat są zagnieżdżone w obrębie danej stopy i nie są niezależne. Co więcej, prawa i lewa to wszystkie możliwości, które mogą istnieć. Ponadto może być prawdą, że dla danego uczestnika jego prawa stopa jest większa (lub mniejsza) niż lewa. Jednak pomimo tego, że rozmiar stopy różni się nieco między stopami u wszystkich ludzi, nie ma powodu, aby sądzić, że prawa stopa będzie średnio większa niż stopa lewa. Jeśli znajdują się w twojej próbce, prawdopodobnie wynika to z genetyki ludzi w próbie, a nie z czegoś właściwego dla prawej stopy. Wreszcie, ${\rm side}$ wydaje się uciążliwości parametru, a nie coś naprawdę zależy.

Pragnę zauważyć, że wymyśliłem ten przykład. To może nie być dobre; chodzi tylko o to, aby ten pomysł został zrealizowany. Z tego, co wiem, posiadanie dużej prawej stopy i małej lewej stopy było konieczne do przetrwania w paleolicie.

Czy w takim przypadku sensowne byłoby (w większym / mniejszym stopniu) włączenie do modelu jako efektu losowego? Jakie byłyby zalety i wady korzystania ze stałego i losowego efektu tutaj? ${\rm side}$

Ogólny problem z efektami „ustalonymi” i „losowymi” polega na tym, że nie są one zdefiniowane w spójny sposób. Andrew Gelman cytuje kilka z nich:

(1) Efekty stałe są stałe u poszczególnych osób, a efekty losowe są różne. Na przykład, w badaniu wzrostu, model z losowych przecięcia I i stałe nachylenie B odpowiada linii równoległych do różnych jednostek I lub wzoru Y i T = a ı + b t . Kreft i De Leeuw (1998) rozróżniają zatem współczynniki stałe i losowe.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Efekty są ustalone, jeśli są interesujące same w sobie lub losowe, jeśli istnieje zainteresowanie populacją podstawową. Searle, Casella i McCulloch (1992, sekcja 1.4) badają to rozróżnienie dogłębnie.

(3) „Gdy próbka wyczerpuje populację, odpowiednia zmienna jest ustalona; gdy próbka stanowi niewielką (tj. nieistotną) część populacji, odpowiednia zmienna jest losowa. ”(Green and Tukey, 1960)

(4) „Jeżeli zakłada się, że efekt jest wartością zrealizowaną zmiennej losowej, nazywa się to efektem losowym.” (LaMotte, 1983)

(5) Ustalone efekty są szacowane przy użyciu najmniejszych kwadratów (lub, bardziej ogólnie, maksymalnego prawdopodobieństwa), a efekty losowe są szacowane z kurczeniem („liniowa bezstronna prognoza” w terminologii Robinsona, 1991). Ta definicja jest standardem w literaturze modelowania wielopoziomowego (patrz na przykład Snijders i Bosker, 1999, sekcja 4.2) oraz w ekonometrii.

i zauważa, że są nie spójne. W swojej książce Analiza danych przy użyciu regresji i modeli wielopoziomowych / hierarchicznych ogólnie unika używania tych terminów, aw swojej pracy skupia się na ustalonych lub zmieniających się przechwytywaniach i nachyleniach między grupami, ponieważ

Naprawione efekty można traktować jako specjalne przypadki efektów losowych, w których wariancja wyższego poziomu (w modelu (1.1), byłoby to ) jest ustawiona na 0 lub ∞ . Stąd w naszych ramach wszystkie parametry regresji są „losowe”, a termin „wielopoziomowy” obejmuje wszystko.$\sigma^2_\alpha$$0$$\infty$

Jest to szczególnie prawdziwe w przypadku szkieletu Bayesa - powszechnie stosowanego w modelach mieszanych - gdzie wszystkie efekty są losowe same w sobie. Jeśli myślisz o Bayesianie, tak naprawdę nie przejmujesz się „ustalonymi” efektami i oszacowaniami punktów i nie masz problemu z traktowaniem wszystkich efektów jako losowych.

Im więcej czytam na ten temat, tym bardziej jestem przekonany, że jest to raczej ideologiczna dyskusja na temat tego, co możemy (lub powinniśmy) oszacować i co możemy tylko przewidzieć (tutaj mogę odnieść się również do twojej własnej odpowiedzi ). Korzystasz z efektów losowych, jeśli masz losową próbkę możliwych wyników, więc nie martwisz się indywidualnymi szacunkami i zależy ci raczej na efektach populacji, a następnie jednostkach. Zatem odpowiedź na twoje pytanie zależy również od tego, co myślisz, jeśli chcesz lub możesz oszacować ustalone efekty na podstawie twoich danych. Jeśli wszystkie możliwe poziomy są zawarte w twoich danych, możeszoszacuj ustalone efekty - również, podobnie jak w twoim przykładzie, liczba poziomów może być niewielka, co ogólnie nie byłoby dobre do oszacowania efektów losowych i istnieją pewne minimalne wymagania w tym zakresie .

Argument najlepszego scenariusza

Powiedz, że masz nieograniczoną ilość danych i nieograniczoną moc obliczeniową. W takim przypadku można sobie wyobrazić oszacowanie każdego efektu jako ustalonego, ponieważ ustalone efekty dają większą elastyczność (pozwalają nam porównać poszczególne efekty). Jednak nawet w tym przypadku większość z nas niechętnie stosuje stałe efekty do wszystkiego.

Na przykład wyobraź sobie, że chcesz modelować wyniki egzaminów ze szkół w danym regionie i masz dane dotyczące wszystkich 100 szkół w regionie. W takim przypadku możesz zagrozić szkołom jako ustalonym - ponieważ masz dane na wszystkich poziomach - ale w praktyce prawdopodobnie wolisz myśleć o nich jako przypadkowych. Dlaczego?

1. Jednym z powodów jest to, że generalnie w tego rodzaju przypadkach nie interesują cię efekty poszczególnych szkół (i trudno jest porównać wszystkie), a raczej ogólna zmienność między szkołami.

2. Kolejnym argumentem tutaj jest modelowe parsimony. Zasadniczo nie jesteś zainteresowany modelem „każdego możliwego wpływu”, więc do swojego modelu dołączasz kilka ustalonych efektów, które chcesz przetestować i kontrolować dla innych możliwych źródeł zmienności. To sprawia, że ​​modele efektów mieszanych pasują do ogólnego sposobu myślenia o modelowaniu statystycznym, w którym szacujesz coś i kontrolujesz inne rzeczy. W przypadku skomplikowanych (wielopoziomowych lub hierarchicznych) danych masz wiele efektów do uwzględnienia, więc grozisz niektórym jako „ustalone”, a niektóre jako „losowe”, aby je kontrolować.

3. W tym scenariuszu nie pomyślałbyś również o szkołach, które mają swój własny, niepowtarzalny wpływ na wyniki, a raczej o szkołach, które mają pewien wpływ w ogóle. Tak więc ten argument byłby taki, że uważamy , że tak naprawdę nie jest możliwe oszacowanie unikalnych efektów poszczególnych szkół, dlatego grożymy im jako losową próbką możliwych efektów szkół.

Modele z efektami mieszanymi znajdują się gdzieś pomiędzy scenariuszami „wszystko naprawione” i „wszystko losowe”. Dane, które napotykamy, pozwalają nam obniżyć nasze oczekiwania co do oszacowania wszystkiego jako efekty ustalone, więc decydujemy, jakie efekty chcemy porównać i jakie efekty chcemy kontrolować, lub ogólnie odczuwamy ich wpływ. Nie chodzi tylko o to, jakie są dane, ale także o to, jak myślimy o danych podczas ich modelowania.

Streszczenie wykonawcze

Rzeczywiście często mówi się, że jeśli wszystkie możliwe poziomy czynników są uwzględnione w modelu mieszanym, to czynnik ten należy traktować jako efekt stały. To niekoniecznie jest DOTYCZĄCE DWÓCH ROZRÓŻNYCH POWODÓW:

(1) Jeśli liczba poziomów jest duża, sensowne może być potraktowanie czynnika [skrzyżowanego] jako losowego.

Zgadzam się z @Tim i @RobertLong tutaj: jeśli czynnik ma dużą liczbę poziomów, które wszystkie są uwzględnione w modelu (np. Wszystkie kraje na świecie; lub wszystkie szkoły w kraju; a może cała populacja badani są badani itp.), wtedy nie ma nic złego w traktowaniu go jako losowego --- może to być bardziej oszczędne, może powodować pewien skurcz itp.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Jeśli czynnik jest zagnieżdżony w innym losowym efekcie, należy go traktować jako losowy, niezależnie od liczby poziomów.

W tym wątku było ogromne zamieszanie (patrz komentarze), ponieważ inne odpowiedzi dotyczą przypadku nr 1 powyżej, ale podany przez ciebie przykład jest przykładem innej sytuacji, mianowicie tego przypadku nr 2. Tutaj są tylko dwa poziomy (tj. Wcale nie „duża liczba”!) I wyczerpują wszystkie możliwości, ale są zagnieżdżone w innym losowym efekcie , dając zagnieżdżony efekt losowy.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Szczegółowa dyskusja twojego przykładu

Strony i przedmioty w twoim wyimaginowanym eksperymencie są powiązane jak klasy i szkoły w standardowym przykładzie modelu hierarchicznego. Być może każda szkoła (# 1, # 2, # 3 itd.) Ma klasę A i klasę B, a te dwie klasy powinny być mniej więcej takie same. Nie będziesz modelować klas A i B jako stałego efektu z dwoma poziomami; to byłby błąd. Nie będziesz jednak modelować klas A i B jako „osobnego” (tj. Skrzyżowanego) efektu losowego z dwoma poziomami; to też byłby błąd. Zamiast tego zamodelujesz klasy jako zagnieżdżony efekt losowy w szkołach.

Zobacz tutaj: Skrzyżowane vs zagnieżdżone efekty losowe: czym się różnią i jak są poprawnie określone w lme4?

$i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Jak sam napisałeś, „nie ma powodu, aby sądzić, że prawa stopa będzie średnio większa niż lewa”. Zatem nie powinno być żadnego „globalnego” efektu (ani stałego, ani losowego skrzyżowania) prawej lub lewej stopy; zamiast tego można pomyśleć o tym, że każdy ma stopę „jedną” i „drugą”, a tę zmienność powinniśmy uwzględnić w modelu. Te „jedna” i „druga” stopa są zagnieżdżone w podmiotach, stąd zagnieżdżone efekty losowe.

Więcej szczegółów w odpowiedzi na komentarze. [26 września]

Mój model powyżej zawiera Side jako zagnieżdżony efekt losowy w Tematach. Oto alternatywny model, sugerowany przez @Robert, w którym Side jest stałym efektem:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$

Nie może

To samo dotyczy hipotetycznego modelu @ gung z Side jako efektem losowym skrzyżowania:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Nie uwzględnia również zależności.

Demonstracja za pomocą symulacji [2 października]

Oto bezpośrednia demonstracja w języku R.

Generuję zestaw danych zabawek z pięcioma badanymi mierzonymi na obu stopach przez pięć kolejnych lat. Wpływ wieku jest liniowy. Każdy obiekt ma losowy punkt przechwytywania. I każdy obiekt ma jedną stopę (lewą lub prawą) większą od drugiej.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Przepraszamy za moje okropne umiejętności R. Oto jak wyglądają dane (każda kolejna pięć kropek to jedna stopa jednej osoby mierzona na przestrzeni lat; każda kolejna dziesięć kropek to dwie stopy tej samej osoby):

Teraz możemy zmieścić kilka modeli:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Wszystkie modele mają ustalony efekt agelosowy i efekt losowy subject, ale traktują sideinaczej.

1. sideage$t=1.8$

2. sideage$t=1.4$

3. sideage$t=37$

To wyraźnie pokazuje, że sidenależy je traktować jako zagnieżdżony efekt losowy.

Wreszcie w komentarzach @Robert zasugerował uwzględnienie globalnego efektu sidejako zmiennej kontrolnej. Możemy to zrobić, zachowując zagnieżdżony efekt losowy:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

Te dwa modele niewiele różnią się od # 3. Model 4 daje niewielki i nieznaczny stały efekt side($t=0.5$side

Aby dodać do innych odpowiedzi:

Nie sądzę, abyś był logicznie zobowiązany do stosowania stałego efektu w sposób opisany w PO. Nawet jeśli nie są spełnione zwykłe definicje / wytyczne, kiedy należy traktować czynnik jako losowy, mogę być skłonny nadal modelować go jako losowy, gdy istnieje duża liczba poziomów, tak więc traktowanie współczynnika jako ustalonego zużyłoby wiele stopni wolność i wynikający z tego uciążliwy i mniej oszczędny model.

Jeśli mówisz o sytuacji, w której znasz wszystkie możliwe poziomy interesującego Cię czynnika, a także posiadasz dane do oszacowania efektów, to zdecydowanie nie musisz przedstawiać poziomów z efektami losowymi.

Powodem, dla którego chcesz ustawić czynnik losowy na czynnik, jest fakt, że chcesz wnioskować na temat efektów wszystkich poziomów tego czynnika, które zwykle są nieznane. Aby dokonać tego rodzaju wnioskowania, zakłada się założenie, że skutki wszystkich poziomów tworzą ogólnie rozkład normalny. Ale biorąc pod uwagę ustawienie problemu, możesz oszacować skutki wszystkich poziomów. Zatem z pewnością nie ma potrzeby ustawiania efektów losowych i narzucania dodatkowych założeń.

To tak, jakbyś był w stanie uzyskać wszystkie wartości populacji (więc znasz prawdziwą średnią), ale próbujesz pobrać dużą próbkę z populacji i użyć centralnego twierdzenia o granicy, aby oszacować rozkład próbkowania, a następnie wnioskować na temat prawdziwego środka.