Czy można (należy?) Zastosować techniki regularyzacji w modelu efektów losowych?

11

Przez techniki regularyzacji mam na myśli lasso, regresję grzbietu, elastyczną siatkę i tym podobne.

Rozważ model prognostyczny dotyczący danych opieki zdrowotnej zawierający dane demograficzne i dane diagnostyczne, w których przewiduje się długość pobytu w przypadku hospitalizacji. Dla niektórych osób istnieje wiele obserwacji LOS (tj. Więcej niż jeden epizod IP) podczas okresu odniesienia, które są skorelowane.

Czy ma sens budowanie, na przykład, elastycznego modelu predykcyjnego sieci, który zawiera termin przechwytywania efektu losowego dla każdej osoby?

multiple-regression random-effects-model regularization

— RobertF
źródło

Podtytuły do pierwszego wiersza: „Przez techniki efektów losowych (tj. Założenia dotyczące losowego rozkładu parametru) Mam na myśli priory Laplace'a i normalne priory dotyczące parametrów regresji ... i tym podobne” :-)

— sprzężonyprior

7

Istnieje kilka artykułów na ten temat. Nie szukałbym żadnej specjalnej kolejności:

Pen.LME: Howard D Bondell, Arun Krishna i Sujit K Ghosh. Wspólny wybór zmiennych dla stałych i losowych efektów w liniowych modelach efektów mieszanych. Biometrics, 66 (4): 1069-1077, 2010.
GLMMLASSO: Jurg Schelldorfer, Peter Buhlmann, Sara van de Geer. Oszacowanie dla wielowymiarowych liniowych modeli z efektami mieszanymi z zastosowaniem penalizacji L1. Scandinavian Journal of Statistics, 38 (2): 197–214, 2011.

które można znaleźć w Internecie.

Właśnie kończę pracę nad nałożeniem kary elastycznej siatki na model mieszany (LMMEN) i planuję wysłać ją do przeglądu czasopisma w nadchodzącym miesiącu.

LMMEN: Sidi, Ritov, Unger. Regularyzacja i klasyfikacja liniowych modeli mieszanych za pomocą kary elastycznej siatki

Ogólnie rzecz biorąc, jeśli modelujesz dane, które albo nie są normalne, albo nie mają linku tożsamości, wybrałbym GLMMLASSO (ale uwaga, że nie jest w stanie poradzić sobie z wieloma RE). W przeciwnym razie Pen.LME jest dobry, biorąc pod uwagę, że nie masz wysoce skorelowanych danych, czy to w ustalonych, czy losowych efektach. W tym drugim przypadku możesz wysłać mi wiadomość, a ja chętnie prześlemy Ci kod / papier (w najbliższej przyszłości umieszczę go na Cran).

Dzisiaj przesłałem do CRAN - lmmen . Rozwiązuje problem liniowego modelu mieszanego z karą typu elastycznej siatki dla efektów stałych i losowych jednocześnie.

W pakiecie znajdują się również funkcje cv dla pakietów lmmlasso i glmmLasso .

— yonicd
źródło

1

Yonicd, zastosowanie elastycznej siatki do liniowych modeli mieszanych jest dokładnie tym, czego szukam. Pracuję z danymi genetycznymi, które są ze sobą skorelowane, więc zgrupowany wybór elastycznej sieci byłby bardzo przydatny. Próbowałem się z tobą skontaktować, ale nie znalazłem innego sposobu niż opublikowanie tej odpowiedzi, ponieważ wydaje się niemożliwe wysłanie wiadomości. W każdym razie nie mogę się doczekać przeczytania twojego artykułu i wypróbuję twój kod, gdy tylko będzie dostępny.

5

Zawsze postrzegałem regresję grzbietu jako tylko empiryczne modele efektów losowych, nieograniczone do pojedynczej zmiennej kategorialnej (i żadnych fantazyjnych macierzy korelacji). Prawie zawsze można uzyskać te same prognozy z krzyżowego sprawdzania kary za grań i dopasowania / oszacowania prostego losowego efektu. W twoim przykładzie możesz mieć ochotę i mieć oddzielną karę grzbietową na funkcje demo / diag i kolejną na wskaźnikach pacjenta (używając czegoś w linii współczynnika skalowania kary glmnet). Alternatywnie, możesz dołączyć fantazyjny efekt losowy, który ma skorelowane w czasie efekty przez osobę. Żadna z tych możliwości nie jest dobra ani zła, są po prostu przydatne.

— Shea Parkes
źródło

2

Obecnie myślę o podobnym pytaniu. Myślę, że w aplikacji możesz to zrobić, jeśli to działa i uważasz, że użycie tego jest uzasadnione. Jeśli jest to zwykłe ustawienie efektów losowych (co oznacza, że powtórzyłeś pomiary dla każdej grupy), to chodzi tylko o technikę szacowania, która jest mniej kontrowersyjna. Jeśli faktycznie nie masz wielu powtarzanych pomiarów dla większości grup, może leżeć na granicy zwykłego modelu efektów losowych i możesz chcieć dokładnie uzasadnić jego ważność (z perspektywy metodologii), jeśli chcesz zaproponować go jako ogólną metoda.

— ltx5151
źródło