Jaka jest różnica między efektami losowymi, stałymi i marginalnymi?

Staram się poszerzyć swoją wiedzę na temat statystyki. Pochodzę z nauk fizycznych z podejściem opartym na „recepturze” do testowania statystycznego, gdzie, jak mówimy, jest ciągły, czy jest normalnie rozproszony - regresja OLS .

W swoim czytaniu natrafiłem na pojęcia: model efektów losowych, model efektów stałych, model marginalny. Moje pytania to:

• Mówiąc bardzo prosto, czym one są?
• Jakie są między nimi różnice?
• Czy któryś z nich jest synonimem?
• Skąd się biorą tradycyjne testy, takie jak regresja OLS, ANOVA i ANCOVA?

Po prostu próbuję zdecydować, gdzie iść dalej dzięki samokształceniu.

To pytanie zostało częściowo omówione na tej stronie, jak poniżej, a opinie wydają się mieszane.

• Jaka jest różnica między modelami z efektem stałym, losowym i mieszanym?
• Jaka jest matematyczna różnica między efektami losowymi i stałymi?
• Koncepcje modeli efektów stałych / losowych

Wszystkie terminy są ogólnie związane z danymi podłużnymi / panelowymi / klastrowanymi / hierarchicznymi i powtarzanymi pomiarami (w formacie regresji zaawansowanej i ANOVA), ale mają wiele znaczeń w innym kontekście. Chciałbym odpowiedzieć na pytanie w formułach opartych na mojej wiedzy.

Model z efektami stałymi

• W biostatystyce efekty stałe, oznaczone jako w równaniu (*) poniżej, zwykle łączą się z efektami losowymi. Ale model efektów stałych został również zdefiniowany, aby założyć, że obserwacje są niezależne, podobnie jak ustawienie przekroju, jak w Longitudinal Data Analysis Hedeker and Gibbons (2006).$\color{red}{\boldsymbol\beta}$
• W ekonometrii model efektów stałych można zapisać jako gdzie jest stałym (nieprzypadkowym) przechwytywania dla każdego obiektu ( ), lub możemy mieć stały efekt jako dla każdego powtarzanego pomiaru ( ); oznacza zmienne towarzyszące. $$y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ $\color{red}{u_i}$$i$$u_j$$j$$\boldsymbol x_{ij}$
• W metaanalizie model z efektem stałym zakłada, że ​​efekt podstawowy jest taki sam we wszystkich badaniach (np. Mantel i Haenszel, 1959).

Model efektów losowych

• W biostatystyce model efektów losowych (Laird i Ware, 1982) można zapisać jako gdzie zakłada dystrybucję. oznacza zmienne towarzyszące dla ustalonych efektów, a oznacza zmienne towarzyszące dla efektów losowych. $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ $\color{blue}{\boldsymbol u_i}$$\boldsymbol x_{ij}$$\boldsymbol z_{ij}$
• W ekonometrii model efektów losowych może odnosić się wyłącznie do modelu losowego przechwytywania, jak w biostatystyce, tj. a jest skalarem.$\boldsymbol z_{ij}^{'}=1$$\boldsymbol u_i$
• W metaanalizie model efektu losowego zakłada niejednorodne efekty we wszystkich badaniach (DerSimonian i Laird, 1986).

Model brzeżny

Model brzeżny jest na ogół porównywany do modelu warunkowego (model efektów losowych), a ten pierwszy koncentruje się na średniej populacji (weźmy model liniowy na przykład) podczas gdy ten drugi dotyczy średniej warunkowejInterpretacja i skala współczynników regresji między modelem krańcowym a modelem efektów losowych byłaby inna dla modeli nieliniowych (np. Regresja logistyczna). Niech , a następnie

$$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ $h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$ $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ chyba że trywialnie funkcja połączenia jest łączem tożsamości (model liniowy ) lub (brak efektów losowych). Dobre przykłady obejmują uogólnione równania szacunkowe (GEE; Zeger, Liang i Albert, 1988) oraz zmarginalizowane modele wielopoziomowe (Heagerty i Zeger, 2000).$h$$u_i=0$

Popraw mnie, jeśli się tu mylę:

Koncepcyjnie istnieją cztery możliwe efekty: Stałe przechwytywanie, stały współczynnik, losowe przechwytywanie, losowy współczynnik. Większość modeli regresji to „efekty losowe”, więc mają losowe przechwyty i losowe współczynniki. Termin „efekt losowy” wszedł w życie w przeciwieństwie do „efektu stałego”.

„Efekt stały” występuje, gdy zmienna wpływa na część próbki, ale nie na wszystkie. Najprostsza wersja modelu z efektem stałym (koncepcyjnie) byłaby zmienną fikcyjną, dla efektu stałego z wartością binarną. Modele te mają pojedynczy losowy punkt przecięcia, stałe współczynniki efektu i współczynniki zmiennej losowej.

Następnym poziomem komplikacji (koncepcyjnie) jest sytuacja, gdy ustalony efekt nie jest binarny, lecz nominalny, z wieloma wartościami. W tym przypadku generowany jest model z wieloma punktami przechwytywania (po jednym dla każdej wartości nominalnej). W tym miejscu uzyskuje się klasyczne „wiele linii” modelu danych panelu , w którym każda z „opcji” zmiennej o stałym efekcie ma swój własny efekt. Zaletą zrzucenia wszystkich różnych serii danych specyficznych dla czynnika w jedną regresję (zamiast wykonywania każdego czynnika stałego efektu jako własnej regresji) jest to, że można zebrać wariancję wszystkich różnych efektów w jednym równaniu, i tak uzyskaj lepsze (bardziej pewne) wartości dla wszystkich swoich współczynników.

„Trzeci poziom” komplikacji miałby miejsce, gdy „ustalony efekt” sam w sobie jest zmienną losową, z tym wyjątkiem, że jego skutki są „ustalone”, aby wpływać tylko na podzbiór próbki. W tym momencie model będzie miał losowy punkt przecięcia, wiele stałych punktów przechwytywania i wiele zmiennych losowych. Myślę, że jest to tak zwany model „efektów mieszanych”?

Modele „efektu mieszanego” są wykorzystywane do modelowania wielopoziomowego (MLM), ponieważ „efekty stałe” można wykorzystać do zagnieżdżania jednego podzbioru danych w innym. To grupowanie może mieć wiele poziomów, z uczniami zagnieżdżonymi w klasach, zagnieżdżonymi w szkołach. Szkoła ma stały wpływ na klasy, a klasy na uczniów. (Szkoła może, ale nie musi, mieć ustalonego wpływu na ucznia, w zależności od projektu eksperymentalnego - nie jestem pewien)

Modele danych panelowych są modelami z efektem mieszanym, ale do grupowania używają dwóch wymiarów, zazwyczaj czasu i jakiejś kategorii.