Jak należy porównywać i walidować modele efektów mieszanych?

Jak zwykle porównywane są (liniowe) modele efektów mieszanych? Wiem, że można zastosować testy współczynnika prawdopodobieństwa, ale to nie działa, jeśli jeden model nie jest „podzbiorem” drugiego, prawda?

Czy oszacowanie modeli df jest zawsze proste? Szacowana liczba stałych efektów + liczba składników wariancji? Czy ignorujemy oszacowania efektów losowych?

Co z walidacją? Moją pierwszą myślą jest walidacja krzyżowa, ale losowe fałdy mogą nie działać, biorąc pod uwagę strukturę danych. Czy odpowiednia jest metodologia „pomijania jednego przedmiotu / klastra”? Co powiesz na pominięcie jednej obserwacji?

Ślaz Cp można interpretować jako oszacowanie błędu prognozowania modeli. Wybór modelu za pomocą AIC próbuje zminimalizować błąd prognozowania (więc Cp i AIC powinny wybrać ten sam model, jeśli uważam, że błędy są gaussowskie). Czy to oznacza, że ​​AIC lub Cp można wykorzystać do wybrania „optymalnego” liniowego modelu efektów mieszanych ze zbioru niektórych modeli nie zagnieżdżonych pod względem błędu prognozowania? (pod warunkiem, że pasują do tych samych danych) Czy BIC nadal chętniej wybiera „prawdziwy” model wśród kandydatów?

Mam również wrażenie, że porównując modele efektów mieszanych za pomocą AIC lub BIC, w obliczeniach uwzględniamy tylko efekty stałe jako „parametry”, a nie rzeczywiste modele df.

Czy jest jakaś dobra literatura na te tematy? Czy warto badać cAIC lub mAIC? Czy mają one określone zastosowanie poza AIC?

Głównym problemem przy wyborze modelu w modelach mieszanych jest prawdziwe określenie stopni swobody (df) modelu. Aby obliczyć df modelu mieszanego, należy zdefiniować liczbę oszacowanych parametrów, w tym efekty stałe i losowe. I to nie jest proste. W takich sytuacjach można zastosować artykuł Jiminga Jianga i innych (2008) zatytułowany „Metody ogrodzenia do wyboru modelu mieszanego”. Nowe prace związane jest to jeden przez Greven, S. Kneib, T. (2010) zatytułowany „O zachowaniu marginalnej i warunkowego AIC w liniowych modelach mieszanych”. Mam nadzieję, że to może być pomocne.

Jednym ze sposobów porównywania modeli (mieszanych lub innych) jest wykreślanie wyników. Załóżmy, że masz model A i model B; wygeneruj dopasowane wartości z każdego z nich i wykreśl je względem siebie na wykresie punktowym. Jeśli wartości są bardzo podobne (na podstawie oceny, czy są), wybierz prostszy model. Innym pomysłem jest znalezienie różnic między dopasowanymi wartościami i wykreślić je względem wartości niezależnych; możesz także utworzyć wykres gęstości różnic. Ogólnie rzecz biorąc jestem zwolennikiem niestosowania testów statystycznych do porównywania modeli (chociaż AIC i jego warianty z pewnością mają zalety), ale raczej oceniania. Oczywiście ma to (nie) zaletę polegającą na tym, że nie udziela dokładnych odpowiedzi.