Jaka jest różnica między modelami z efektem stałym, losowym i mieszanym?


266

Mówiąc prościej, jak wyjaśniłbyś (być może za pomocą prostych przykładów) różnicę między modelami efektu stałego, efektu losowego i efektu mieszanego?


3
Uważam również, że czasami trudno jest ustalić, kiedy efekt należy uznać za stały lub losowy. Chociaż istnieją pewne zalecenia dotyczące tego faktu, nie zawsze łatwo jest podjąć właściwą decyzję.
Manuel Ramón,

3
Myślę, że ten link może być pomocny w wyjaśnieniu podstawowych zasad modeli mieszanych: modeli stałych, losowych i mieszanych (dokumentacja SAS) .
pietrop

6
Niezwykle pomocna odpowiedź można również znaleźć tutaj: Jaka jest różnica między efektami losowymi, mieszanymi i marginalnym?
gung

Odpowiedzi:


144

Statystyk Andrew Gelman mówi, że terminy „efekt stały” i „efekt losowy” mają różne znaczenia w zależności od tego, kto ich używa. Być może możesz wybrać, która z 5 definicji dotyczy twojego przypadku. Zasadniczo lepiej może być poszukiwanie równań opisujących model prawdopodobieństwa, z którego korzystają autorzy (podczas czytania), lub zapisanie pełnego modelu prawdopodobieństwa, którego chcesz użyć (podczas pisania).

Tutaj przedstawiamy pięć definicji, które widzieliśmy:

  1. Stałe efekty są stałe u poszczególnych osób, a efekty losowe są różne. Na przykład w badaniu wzrostu model z losowymi przecięcia i stałym nachyleniem odpowiada równoległym liniom dla różnych osobników lub model . Kreft i De Leeuw (1998) rozróżniają zatem współczynniki stałe i losowe. b i y i t = a i + b tzajabjarjat=zaja+bt

  2. Efekty są ustalane, jeśli są interesujące same w sobie lub losowe, jeśli istnieje zainteresowanie populacją podstawową. Searle, Casella i McCulloch (1992, sekcja 1.4) badają to rozróżnienie dogłębnie.

  3. „Gdy próbka wyczerpuje populację, odpowiednia zmienna zostaje ustalona; gdy próbka stanowi niewielką (tj. nieistotną) część populacji, odpowiednia zmienna jest losowa. ”(Green and Tukey, 1960)

  4. „Jeżeli zakłada się, że efekt jest wartością zrealizowaną zmiennej losowej, nazywa się to efektem losowym.” (LaMotte, 1983)

  5. Efekty stałe są szacowane przy użyciu najmniejszych kwadratów (lub, bardziej ogólnie, maksymalnego prawdopodobieństwa), a efekty losowe są szacowane za pomocą skurczu („liniowa bezstronna prognoza” w terminologii Robinsona, 1991). Ta definicja jest standardem w literaturze modelowania wielopoziomowego (patrz na przykład Snijders i Bosker, 1999, sekcja 4.2) oraz w ekonometrii.

[ Gelman, 2004, Analiza wariancji - dlaczego jest ważniejsza niż kiedykolwiek. The Annals of Statistics. ]


4
+1: bardzo fajny link! Wydaje mi się, że definicja różni się również w zależności od dziedziny (np. # 4 jest bardzo matematyczny / statystyczny, ale # 1 i # 2 są bardziej „zrozumiałe” z punktu widzenia nauk przyrodniczych)
nico

12
Pouczające jest również przeczytanie dyskusji i ponownego dołączenia do tego artykułu. W dyskusji Peter McCullagh napisał, że nie zgadza się ze znaczną częścią tego, co napisał Gelman. Moim celem nie jest faworyzowanie jednego lub drugiego, ale zauważenie, że eksperci nie zgadzają się ze sobą i nie przykładają zbytniej wagi do jednego artykułu.
julieth

6
Cała dyskusja jest w linku
julieth

36
Zabawne, że Andrew Gelman jest opisywany jako „bloger”, a nie jako jeden z czołowych statystyk na świecie. Chociaż jest oczywiście blogerem, prawdopodobnie powinien zostać nazwany „statystykiem Andrew Gelmanem”, jeśli zostanie użyty dowolny kwalifikator.
Brash Equilibrium,

4
Ale jako statystyk, a nie tylko fanatyczny bloger, powinien był podać przynajmniej subiektywne częstotliwości względne pięciu przypadków użycia. Kiedy ludzie mówią o efektach stałych w porównaniu z efektami losowymi, najczęściej mają na myśli:(4) “If an effect is assumed to be a realized value of a random variable, it is called a random effect.” (LaMotte, 1983)
Ufos,

251

Są na to dobre książki, takie jak Gelman i Hill . Poniżej znajduje się podsumowanie ich perspektywy.

Po pierwsze, nie powinieneś zbytnio zajmować się terminologią. W statystykach żargonu nie należy nigdy zastępować matematycznego zrozumienia samych modeli. Dotyczy to szczególnie modeli efektów losowych i mieszanych. „Mieszane” oznacza po prostu, że model ma zarówno stałe, jak i losowe efekty, więc skupmy się na różnicy między stałym i losowym.

Efekty losowe kontra ustalone

Załóżmy, że masz model z predyktorem jakościowym, który dzieli twoje obserwacje na grupy zgodnie z wartościami kategorii. * Współczynniki modelu lub „efekty” związane z tym predyktorem mogą być stałe lub losowe. Najważniejsza praktyczna różnica między nimi jest następująca:

Efekty losowe są szacowane z częściowym łączeniem, podczas gdy efekty stałe nie są.

Częściowe łączenie oznacza, że ​​jeśli masz kilka punktów danych w grupie, oszacowanie efektu grupy będzie częściowo oparte na bardziej obfitych danych z innych grup. Może to być dobry kompromis między oszacowaniem efektu przez całkowite połączenie wszystkich grup, co maskuje zmienność na poziomie grupy, a oszacowaniem efektu dla wszystkich grup całkowicie osobno, co może dać złe oszacowania dla grup o niskiej próbie.

Efekty losowe są po prostu rozszerzeniem techniki częściowej puli jako ogólnego modelu statystycznego. Umożliwia to zasadnicze zastosowanie pomysłu w wielu różnych sytuacjach, w tym w wielu predyktorach, mieszanych zmiennych ciągłych i kategorycznych oraz złożonych strukturach korelacji. (Ale z wielką mocą wiąże się wielka odpowiedzialność: złożoność modelowania i wnioskowania jest znacznie zwiększona i może powodować subtelne uprzedzenia, których należy unikać, aby uniknąć wyrafinowania).

Aby zmotywować model efektów losowych, zadaj sobie pytanie: dlaczego miałbyś częściową pulę? Prawdopodobnie dlatego, że uważasz, że małe podgrupy są częścią większej grupy o wspólnym średnim skutku. Średnie podgrupy mogą nieco różnić się od średniej z dużej grupy, ale nie o dowolną kwotę. Aby sformalizować tę ideę, zakładamy, że odchylenia są zgodne z rozkładem, zazwyczaj Gaussa. Właśnie tutaj pojawia się „losowy” efekt losowy: zakładamy, że odchylenia podgrup od rodzica zależą od rozkładu zmiennej losowej. Gdy przyjrzysz się już temu pomysłowi, równania modelu mieszanych efektów są zgodne z naturą.

Niestety użytkownicy modeli z efektami mieszanymi często mają błędne założenia co do tego, czym są efekty losowe i czym różnią się od efektów stałych. Ludzie słyszą „losowy” i myślą, że oznacza to coś wyjątkowego w modelowanym systemie, jak na przykład stałe efekty muszą być użyte, gdy coś jest „naprawione”, podczas gdy losowe efekty muszą być użyte, gdy coś jest „losowo próbkowane”. Ale nie ma nic szczególnie losowego w założeniu, że współczynniki modelu pochodzą z rozkładu; jest to tylko ograniczenie miękkie, podobne do kary stosowanej do współczynników modelu w regresji grzbietu. Istnieje wiele sytuacji, w których możesz chcieć lub nie używać efektów losowych i niekoniecznie mają one wiele wspólnego z rozróżnieniem między „ustalonymi” a „2)

Niestety zamieszanie pojęciowe spowodowane tymi terminami doprowadziło do mnóstwa sprzecznych definicji . Z pięciu definicji pod tym linkiem tylko nr 4 jest całkowicie poprawna w ogólnym przypadku, ale jest również całkowicie nieinformacyjna. Musisz przeczytać całe artykuły i książki (lub w przeciwnym razie ten post), aby zrozumieć, co ta definicja oznacza w praktyce.

Przykład

Spójrzmy na przypadek, w którym przydatne może być modelowanie efektów losowych. Załóżmy, że chcesz oszacować średni dochód gospodarstwa domowego w USA według kodu pocztowego. Masz duży zestaw danych zawierający obserwacje dochodów gospodarstw domowych i kody pocztowe. Niektóre kody pocztowe są dobrze reprezentowane w zbiorze danych, ale inne mają tylko kilka gospodarstw domowych.

W przypadku pierwszego modelu najprawdopodobniej weźmiesz średni dochód w każdym ZIP. Będzie to działać dobrze, gdy masz dużo danych dla ZIP, ale szacunki dla źle próbkowanych ZIP-ów będą cierpieć z powodu dużej wariancji. Możesz to złagodzić za pomocą estymatora skurczu (zwanego także częściowym łączeniem pul), który popycha skrajne wartości w kierunku średniego dochodu we wszystkich kodach pocztowych.

Ale ile skurczu / łączenia należy zrobić dla konkretnego pliku ZIP? Intuicyjnie powinno to zależeć od:

  1. Ile masz obserwacji w tym pliku ZIP
  2. Ile masz obserwacji ogółem
  3. Indywidualnego poziomu średniej i wariancji dochodów gospodarstw domowych we wszystkich kodów pocztowych
  4. Poziomie grupy wariancji średniego dochodu gospodarstw domowych we wszystkich kodów pocztowych

Jeśli modelujesz kod pocztowy jako efekt losowy, oszacowanie średniego dochodu we wszystkich kodach pocztowych zostanie poddane statystycznie uzasadnionemu skurczowi, biorąc pod uwagę wszystkie powyższe czynniki.

Najlepsze jest to, że modele efektów losowych i mieszanych automatycznie obsługują (4), oszacowanie zmienności, dla wszystkich efektów losowych w modelu. Jest to trudniejsze, niż się wydaje na pierwszy rzut oka: możesz wypróbować wariancję średniej próbki dla każdego ZIP, ale będzie to tendencyjnie wysokie, ponieważ część wariancji między szacunkami dla różnych ZIP jest tylko wariancją próbkowania. W modelu efektów losowych proces wnioskowania uwzględnia próbkowanie wariancji i odpowiednio zmniejsza oszacowanie wariancji.

Uwzględniając (1) - (4), model efektów losowych / mieszanych jest w stanie określić odpowiedni skurcz dla grup o niskiej próbce. Może także obsługiwać znacznie bardziej skomplikowane modele z wieloma różnymi predyktorami.

Związek z hierarchicznym modelowaniem bayesowskim

Jeśli brzmi to dla ciebie jak hierarchiczne modelowanie bayesowskie, masz rację - jest to bliski krewny, ale nie identyczny. Modele efektów mieszanych są hierarchiczne, ponieważ ustalają rozkłady ukrytych, nieobserwowanych parametrów, ale zazwyczaj nie są one w pełni bayesowskie, ponieważ hiperparametry najwyższego poziomu nie będą miały odpowiednich priorytetów. Na przykład w powyższym przykładzie najprawdopodobniej potraktowalibyśmy średni dochód w danym ZIP jako próbkę z rozkładu normalnego, z nieznaną średnią i sigmą do oszacowania w procesie dopasowania efektów mieszanych. Jednak (nie Bayesowski) model efektów mieszanych zwykle nie będzie miał wcześniejszego wyniku na nieznanej średniej i sigmie, więc nie jest w pełni Bayesowski. To powiedziawszy, z przyzwoitym zestawem danych, standardowy model efektów mieszanych i wariant w pełni bayesowski często dają bardzo podobne wyniki.

* Podczas gdy wiele sposobów traktowania tego tematu koncentruje się na wąskiej definicji „grupy”, koncepcja jest w rzeczywistości bardzo elastyczna: jest to tylko zbiór obserwacji, które mają wspólną właściwość. Grupa może składać się z wielu obserwacji jednej osoby lub wielu osób w szkole, lub wielu szkół w okręgu, lub wielu odmian jednego rodzaju owoców lub wielu rodzajów warzyw z tego samego zbioru lub wielu zbiorów tego samego rodzaju warzywa itp. Każda zmienna kategoryczna może być używana jako zmienna grupująca.


19
+6. Myślę, że jest to obecnie najlepsza odpowiedź w tym wątku i mam nadzieję, że z czasem stanie się najbardziej popularna. Jedną z sugestii, które chciałbym zrobić, jest włączenie niektórych formuł: być może w sekcji Przykład możesz podać formuły określające modele efektów stałych i losowych (a być może także model „jednego współczynnika”, tj. Ten z „całkowitą pulą” „). Myślę, że dzięki formułom Twoja odpowiedź będzie zarówno jaśniejsza, jak i bardziej atrakcyjna / atrakcyjna (obecnie wygląda trochę jak ściana tekstu).
ameba

3
@amoeba dzięki! Masz rację, że współczynnik jest niewłaściwym słowem, bardziej przypomina „termin modelowy” niż współczynnik. Formuły pomogłyby wyjaśnić to i inne pytania. Powoli poprawiałem tę odpowiedź w miarę upływu czasu i inspiracji, i będę to robić, dopóki nie dotrze tam, gdzie trzeba! Prawdopodobnie opracuję formuły „regresji względem jednej zmiennej kategorialnej”. Kompletne zestawianie = współczynniki grupowe są identyczne (delta przed, zero sigma), częściowe zestawianie = mogą się nieco różnić (sigma skończona), brak zestawiania = brak ograniczeń (sigma nieskończona).
Paul

Dzięki za świetną odpowiedź! Jednak zgubiłem cię w punkcie „Możesz to złagodzić za pomocą estymatora skurczu (czyli częściowego łączenia), który popycha ekstremalne wartości w kierunku średniego dochodu we wszystkich kodach pocztowych”. Co to jest częściowe łączenie? Czy możesz podać intuicyjny przykład? W jaki sposób strona Wikipedii dotycząca efektów losowych zgadza się z tym, co powiedziałeś? Ich przykład „efektu losowego” nie uwzględnia wielkości próbek.
AlphaOmega

2
Gratulujemy wydania 100 głosów pozytywnych za tę odpowiedź :-)
ameba

1
@Paul Naprawdę mam problemy ze zrozumieniem, jak scalić tę odpowiedź (np. „Ludzie ... myślę, że ustalone efekty muszą być użyte, gdy coś jest„ naprawione ”, podczas gdy efekty losowe muszą być użyte, gdy coś jest„ losowo próbkowane ” „) z tym, co widzę w sposobie, w jaki standardowe błędy okazują się w modelach mieszanych, w których SE z efektami losowymi wydają mi się zgodne tylko z założeniem, że są losowo próbkowane, a SE z efektami stałymi tylko wtedy, gdy są naprawione Zobacz, np . Tutaj . Czego mi brakuje? Wszelkie myśli doceniane poza słowami !!
justme

47

Pisałem o tym w książkowym rozdziale na temat modeli mieszanych (rozdział 13 w Fox, Negrete-Yankelevich i Sosa 2014 ); odpowiednie strony (s. 311–315) są dostępne w Książkach Google . Myślę, że pytanie sprowadza się do „jakie są definicje efektów stałych i losowych?” („model mieszany” to tylko model zawierający oba te elementy). Moja dyskusja mówi nieco mniej o ich formalnej definicji (dla której odłożyłbym się do artykułu Gelmana połączonego powyższą odpowiedzią @ JohnSalvatier), a więcej o ich praktycznych właściwościach i użyteczności. Oto kilka fragmentów:

Tradycyjne spojrzenie na efekty losowe jest sposobem na wykonanie poprawnych testów statystycznych, gdy niektóre obserwacje są skorelowane.

Możemy również myśleć o efektach losowych jako sposobie łączenia informacji z różnych poziomów w obrębie zmiennej grupującej.

Efekty losowe są szczególnie przydatne, gdy mamy (1) wiele poziomów (np. Wiele gatunków lub bloków), (2) stosunkowo mało danych na każdym poziomie (chociaż potrzebujemy wielu próbek z większości poziomów) i (3) nierówne pobieranie próbek między poziomami (pole 13.1).

Częstokroć i bayesianie definiują losowe efekty nieco inaczej, co wpływa na sposób ich użycia. Częstokroć definiują efekty losowe jako zmienne kategorialne, których poziomy są wybierane losowo z większej populacji, np. gatunki wybrane losowo z listy gatunków endemicznych. Bayesianie definiują efekty losowe jako zestawy zmiennych, których parametry są [wszystkie] rysowane z [tego samego] rozkładu. Definicja częstokroć jest spójna filozoficznie i spotkasz badaczy (w tym recenzentów i przełożonych), którzy nalegają na to, ale może to być praktycznie problematyczne. Oznacza to na przykład, że nie można użyć gatunku jako efektu losowego, gdy zaobserwowano wszystkie gatunki na swoim terenie - ponieważ lista gatunków nie jest próbką z większej populacji - lub użyć roku jako efektu losowego, ponieważ naukowcy rzadko przeprowadzają eksperyment w losowo wybranych latach - zwykle wykorzystują albo serię kolejnych lat, albo przypadkowy zestaw lat, kiedy mogli dostać się w teren.

Efekty losowe można również opisać jako zmienne predykcyjne, w których interesuje Cię wnioskowanie na temat rozkładu wartości (tj. Wariancji między wartościami odpowiedzi na różnych poziomach), a nie testowanie różnic wartości między poszczególnymi poziomami.

Ludzie czasem mówią, że efekty losowe są „czynnikami, którymi nie jesteś zainteresowany”. Nie zawsze jest to prawdą. Chociaż często ma to miejsce w eksperymentach ekologicznych (gdzie zmienność między miejscami jest zwykle tylko uciążliwością), czasami jest to bardzo interesujące, na przykład w badaniach ewolucyjnych, w których zmienność między genotypami jest surowcem do doboru naturalnego lub w badaniach demograficznych gdzie zmienność roczna obniża długoterminowe stopy wzrostu. W niektórych przypadkach ustalone efekty są również używane do kontrolowania nieciekawej zmienności, np. Przy użyciu masy jako współzmiennej do kontroli efektów wielkości ciała.

Usłyszysz także, że „nie można nic powiedzieć o (przewidywanej) wartości trybu warunkowego”. To też nie jest prawda - nie można formalnie przetestować hipotezy zerowej, że wartość jest równa zero lub że wartość wartości dwóch różnych poziomów są równe, ale nadal rozsądnie jest spojrzeć na przewidywaną wartość, a nawet obliczyć standardowy błąd przewidywanej wartości (np. zobacz słupki błędów wokół trybów warunkowych na rysunku 13.1).

gatunki_średnieN.(genus_mean,σgatunki2))

Powiedziałem powyżej, że efekty losowe są najbardziej przydatne, gdy zmienna grupująca ma wiele zmierzonych poziomów. I odwrotnie, efekty losowe są na ogół nieskuteczne, gdy zmienna grupująca ma zbyt mało poziomów. Zwykle nie można używać efektów losowych, gdy zmienna grupująca ma mniej niż pięć poziomów, a oszacowania wariancji efektów losowych są niestabilne z mniej niż ośmioma poziomami, ponieważ próbujesz oszacować wariancję z bardzo małej próbki.


podgląd obecnie nie pokazuje żadnych stron po 311 i brakuje p 310, co wydaje się być bardzo przydatne tutaj ...
lata

może to problem regionalny? dzięki za jasną odpowiedź powyżej, w każdym razie!
lata

1
Nie mam również dostępu do wyniku Google Books. Dziękujemy za dołączenie tekstu tutaj.
MichaelChirico

Naprawdę podoba mi się ten fragment. Jest to chyba najostrzejszy i najbardziej użyteczny opis, kiedy i dlaczego należy używać losowych efektów, które widziałem. Szkoda, że ​​go nie miałem, kiedy uczyłem kilka lat temu.
Gregor

39

Naprawiono efekt: Coś, co eksperymentator bezpośrednio manipuluje i jest często powtarzalne, np. Podawanie leku - jedna grupa otrzymuje lek, druga grupa otrzymuje placebo.

Efekt losowy: źródło losowej zmienności / jednostek eksperymentalnych, np. Osobników losowo wybranych z populacji do badania klinicznego. Losowe efekty szacują zmienność

Efekt mieszany: Obejmuje oba, ustalony efekt w tych przypadkach szacuje współczynniki poziomu populacji, podczas gdy efekty losowe mogą uwzględniać indywidualne różnice w reakcji na efekt, np. Każda osoba otrzymuje zarówno lek, jak i placebo przy różnych okazjach, ustalony efekt szacuje działanie leku, warunki losowych efektów pozwolą każdej osobie reagować na lek inaczej.

Ogólne kategorie efektów mieszanych - powtarzane miary, wzdłużne, hierarchiczne, podzielone.


3
Nie pomyliłeś się, ale twoja definicja tego, czym jest ustalony efekt, nie jest tym, o czym pomyślałbym, gdy ktoś powiedziałby, że efekt stały. Oto, co myślę, gdy ktoś mówi, że efekt stały pl.wikipedia.org/wiki/Difference_in_differences lub ten stata.com/support/faqs/stat/xtreg2.html (szczególnie równanie 3 na stronie Stata)
Andy W

@AndyW: Czy dobrze rozumiem, że twoje rozumienie tego, co „stały efekt” odpowiada definicji nr 1 wymienionej przez Gelmana i cytowanej w (zaakceptowanej) odpowiedzi JohnSalvatiera w tym wątku?
ameba

1
The zaja

1
Dziękuję, @Andy. O ile rozumiem, twój opis pasuje dokładnie do żargonu biostatystyka / modele mieszane, więc nie widzę w tym przypadku żadnego konfliktu ekonometrii / biostatystyki. Jazaja terminy w modelu spisał również uznać trwałe zmiany w modelach mieszanych slangu. Nawiasem mówiąc, zanegowałem tę odpowiedź, ponieważ podane tutaj „definicje” w ogóle nie są pomocne (i faktycznie nie są definicjami, ale być może niektóre praktyczne zasady decydujące, kiedy użyć losowego, a kiedy zastosować ustalone efekty w konkretnym polu aplikacji ).
ameba

1
@amoeba Zgadzam się, że ta odpowiedź powinna wynosić -1. Nie zawiera dokładnego ogólnego wyjaśnienia, ani nie określa warunków, w których to konkretne wyjaśnienie byłoby ważne. Kto więc może spotkać się z tą odpowiedzią i zdobyć rzetelną, przydatną wiedzę?
Paweł

23

Doszedłem stąd do tego pytania , możliwego duplikatu.

Istnieje już kilka doskonałych odpowiedzi, ale jak stwierdzono w zaakceptowanej odpowiedzi, istnieje wiele różnych (ale powiązanych) zastosowań tego terminu, więc warto podać perspektywę stosowaną w ekonometrii, która nie wydaje się jeszcze w pełni uwzględniona w tym przypadku .

Rozważ liniowy model danych panelowych: tak zwany model komponentu błędu. Tutaj α i

rjat=Xjatδ+αja+ηjat,
αjaηjat

αja

αjaXjatdoov(αja,Xjat)=0

rXrjatXjat

αjaXjatjaXjat=0Xjat

δtαjaXjat

Ta tendencja jednak zanika jako T.m

wprowadź opis zdjęcia tutaj

Oto kod, który generuje dane i który generuje dodatnią ocenę RE i „poprawną”, negatywną ocenę FE. (To powiedziawszy, szacunki RE będą również często ujemne dla innych nasion, patrz wyżej).

library(Jmisc)
library(plm)
library(RColorBrewer)
# FE illustration
set.seed(324)
m = 8
n = 12

step = 5
alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))
beta = -1
y = X = matrix(NA,nrow=m,ncol=n)
for (i in 1:n) {
  X[,i] = runif(m,i,i+1)
  X[,i] = rnorm(m,i)
  y[,i] = alpha[i] + X[,i]*beta + rnorm(m,sd=.75)  
}
stackX = as.vector(X)
stackY = as.vector(y)

darkcols <- brewer.pal(12, "Paired")
plot(stackX,stackY,col=rep(darkcols,each=m),pch=19)

unit = rep(1:n,each=m)
# first two columns are for plm to understand the panel structure
paneldata = data.frame(unit,rep(1:m,n),stackY,stackX) 
fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Wyjście:

> fe

Model Formula: stackY ~ stackX

Coefficients:
 stackX 
-1.0451 


> re

Model Formula: stackY ~ stackX

Coefficients:
(Intercept)      stackX 
   18.34586     0.77031 

1
δ

1
Okazuje się również, że można poradzić sobie z tym przykładem z mieszanymi efektami. Oto artykuł, który pokazuje, jak: akademickich.columbia.edu/download/fedora_content/download/…
Paul

1
T.N.

7
W powyższej dyskusji bardziej trafne byłoby zastąpienie „efektów losowych” „ograniczoną wersją efektów losowych zaimplementowanych w pakiecie plm R”. Istnieją inne modele efektów losowych, które dobrze poradziłyby sobie ze skorelowanym zagadnieniem predyktor / grupa, jak w artykule cytowanym w moim poprzednim komentarzu. Po prostu nie są jeszcze częścią pakietów / literatury ekonometrycznej. Wydaje się, że definicje ekonometrii efektów stałych i losowych są bardzo specyficzne dla danej dziedziny i nie są tak naprawdę reprezentatywne dla ich bardziej podstawowych ogólnych znaczeń z literatury statystycznej.
Paul

4
W porządku, dokonałem niewielkiej edycji. Ale imo, właśnie to sprawia, że ​​ten wątek jest tak cenny: różne pola oznaczają różne rzeczy mniej więcej taką samą terminologią, a różne posty pomagają wyjaśnić te różnice.
Christoph Hanck

12

Rozróżnienie to ma znaczenie jedynie w kontekście statystyki nie bayesowskiej. W statystyce bayesowskiej wszystkie parametry modelu są „losowe”.


1
Ciekawy. Ale skoro ustaloną lub losową można uznać za warunek danej zmiennej (danej kolumny danych), a nie parametru związanego z tą zmienną, ... czy twoja odpowiedź ma pełne zastosowanie?
rolando2

1
@ rolando2 W każdym razie jest to po prostu fałsz. W szczególności dla Bayesian parametry są czymkolwiek, o czym mówi teoria / prawdopodobieństwo. Tylko niepewność co do tego, jakie wartości przyjmują, jest reprezentowana za pomocą rozkładów prawdopodobieństwa. W związku z tym czasami parametry są modelowane jako stałe i nieznane („ustalone”), a czasem jako pochodzące z rozkładu („losowe”), chociaż to drugie urządzenie jest często motywowane osądem wymienności, a nie przekonaniem o procesie pobierania próbek.
conjugateprior

Jest to sprzeczne z odpowiedzią @ben. Uważam, że odpowiedź jest zła.
SmallChess

9

W ekonometrii terminy są zwykle stosowane w uogólnionych modelach liniowych, w których model ma formę

rjat=sol(xjatβ+αja+ujat).

αjaujat

αja⊥̸ujat

W modelach liniowych obecność efektu losowego nie powoduje niespójności estymatora OLS. Jednak użycie losowego estymatora efektów (np. Wykonalnego uogólnionego najmniejszego kwadratu) da więcej wydajny estymator.

W modelach nieliniowych , takich jak probit, tobit, ... obecność efektu losowego na ogół spowoduje niespójny estymator. Użycie losowego estymatora efektów przywróci spójność.

Zarówno w przypadku modeli liniowych, jak i nieliniowych ustalone efekty powodują błąd. Jednak w modelach liniowych można zastosować transformacje (takie jak pierwsze różnice lub poniżanie), w których OLS na przekształconych danych da spójne oszacowania. W przypadku modeli nieliniowych istnieje kilka wyjątków, w których istnieją transformacje, a logit efektów stałych jest jednym z przykładów.

Przykład: probit efektów losowych. Przypuszczać

rjat=xjatβ+αja+ujat,αjaN.(0,σα2)),ujatN.(0,1).

a zaobserwowany wynik to

rjat=1(rjat>0).

Zbiorcza maksymalny estymator prawdopodobieństwa minimalizuje średnia próbka

β^=argminβN.-1ja=1N.logt=1T.[sol(xjatβ)]rjat[1-sol(xjatβ)]1-rjat.

Oczywiście tutaj log i produkt upraszczają, ale z powodów pedagogicznych sprawia to, że równanie jest bardziej porównywalne z estymatorem efektów losowych, który ma postać

β^=argminβN.-1ja=1N.logt=1T.[sol(xjatβ+σαza)]rjat[1-sol(xjatβ+σαza)]1-rjatϕ(za)reza.

R

β^=argminβN.-1ja=1N.logR-1r=1Rt=1T.[sol(xjatβ+σαzar)]rjat[1-sol(xjatβ+σαza)]1-rjat,zarN.(0,1).

αjajaT.


7

Nie jest to formalna definicja, ale podobają mi się następujące slajdy: Modele mieszane i dlaczego socjolingwiści powinni ich używać ( lustro ), autorstwa Daniela Ezry Johnsona. Krótkie podsumowanie ”znajduje się na slajdzie 4. Chociaż koncentruje się głównie na badaniach psycholingwistycznych, jest bardzo przydatne jako pierwszy krok.


Myślę, że będę musiał zobaczyć tę prezentację osobiście, aby uzyskać pełny efekt.
Andy W

Te slajdy nie są przydatne.
lata

7
Chociaż ten link może odpowiedzieć na pytanie, lepiej jest dołączyć tutaj istotne części odpowiedzi i podać link w celach informacyjnych. Odpowiedzi zawierające tylko łącze mogą stać się nieprawidłowe, jeśli połączona strona ulegnie zmianie.
Ben Bolker,

1
link nie działa
baxx

3

Inna bardzo praktyczna perspektywa modeli efektów losowych i stałych pochodzi z ekonometrii podczas regresji liniowej danych panelu . Jeśli szacujesz związek między zmienną objaśniającą a zmienną wynikową w zbiorze danych z wieloma próbkami na osobę / grupę, jest to struktura, której chcesz użyć.

Dobrym przykładem danych panelowych są roczne pomiary z zestawu osób:

  • solminremirjaja
  • Δwmijasolhtjattja
  • mixmirdojasmijattja

Jeśli próbujemy zrozumieć związek między ćwiczeniami a zmianą masy ciała, skonfigurujemy następującą regresję:

Δwmijasolhtjat=β0mixmirdojasmijat+β1solminremirja+αja+ϵjat

  • β0 jest ilością odsetek
  • β1 nie jest interesujące, po prostu kontrolujemy płeć
  • αja jest przechwytywaniem dla poszczególnych osób
  • ϵjat jest terminem błędu

W takiej konfiguracji istnieje ryzyko endogeniczności. Może się to zdarzyć, gdy niezmierzone zmienne (takie jak stan cywilny) są związane zarówno z ćwiczeniami, jak i zmianą masy ciała. Jak wyjaśniono na str. 16 w tym wykładzie z Princeton , model efektów losowych (efekty mieszane AKA) jest bardziej wydajny niż model efektów stałych. Jednak niepoprawnie przypisze część wpływu niezmierzonej zmiennej na zmianę masy ciała podczas ćwiczeń, powodując niepoprawnośćβ0i potencjalnie wyższe znaczenie statystyczne niż jest ważne. W tym przypadku model efektów losowych nie jest spójnym estymatoremβ0.

Model ze stałymi efektami (w najbardziej podstawowej formie) kontroluje wszelkie nie mierzone zmienne, które są stałe w czasie, ale różnią się między poszczególnymi osobami, wyraźnie włączając osobny termin przechwytywania dla każdej osoby (αja) w równaniu regresji. W naszym przykładzie automatycznie kontroluje zakłócające skutki związane z płcią, a także wszelkie niezmierzone czynniki zakłócające (stan cywilny, status społeczno-ekonomiczny, poziom wykształcenia itp.). W rzeczywistości płeć nie może być uwzględniona w regresji iβ1 ponieważ nie można oszacować za pomocą modelu efektów stałych solminremirja jest współliniowy z αja„s.

Kluczowym pytaniem jest więc określenie, który model jest odpowiedni. Odpowiedzią jest test Hausmana . Aby go użyć, wykonujemy regresję efektów stałych i losowych, a następnie stosujemy test Hausmana, aby sprawdzić, czy szacunki ich współczynników znacznie się różnią. Jeśli się rozchodzą, gra się endogeniczność, a najlepszym wyborem jest model z ustalonymi efektami. W przeciwnym razie pójdziemy z losowymi efektami.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.