Czy AIC może porównywać różne typy modeli?

Używam AIC (Akaike's Information Criterion) do porównywania modeli nieliniowych w R. Czy warto porównywać AIC różnych typów modeli? Konkretnie porównuję model dopasowany przez glm do modelu z terminem efektu losowego dopasowanego przez glmer (lme4).

Jeśli nie, to czy można dokonać takiego porównania? A może pomysł jest całkowicie nieważny?

lme4-nlme model-selection aic

— Thomas K.
źródło

Odpowiedzi:

To zależy. AIC jest funkcją prawdopodobieństwa dziennika. Jeśli oba typy modeli obliczają prawdopodobieństwo dziennika w ten sam sposób (tj. Zawierają tę samą stałą), to tak, jeśli modele są zagnieżdżone .

Jestem tego całkiem pewien glm()i lmer()nie używam porównywalnych prawdopodobieństw dziennika.

Kwestia modeli zagnieżdżonych jest również przedmiotem dyskusji. Niektórzy twierdzą, że AIC jest ważny tylko dla modeli zagnieżdżonych, ponieważ w ten sposób teoria jest prezentowana / przepracowana. Inni używają go do wszelkiego rodzaju porównań.

— Przywróć Monikę - G. Simpson
źródło

Rozumiem, że lme4 domyślnie używa REML, gdzie glm używa ML. Mogą być one porównywalne, jeśli zmuszasz lmer do używania ML poprzez ustawienie REML = FALSE.

— russellpierce

Oprócz komentarza Gavina zależy również od tego, co chcesz zrobić z modelem. Czy model przewidywania czy Thomas szuka oszczędności? (Myślę)

— suncoolsu

@drnexus: Nie sądzę, że to wystarczy; musisz mieć pewność, że ta sama stała normalizująca jest stosowana do obliczania prawdopodobieństwa dziennika.

— Przywróć Monikę - G. Simpson

@ Thomas: w tym celu należy sprawdzić kod lub porozmawiać z osobą, która go napisała, aby się upewnić. Zasadniczo załóżmy, że prawdopodobieństwa nie są porównywalne dla różnych programów / pakietów / funkcji.

— Przywróć Monikę - G. Simpson

@ user3490 Zależy od oprogramowania i algorytmu użytego do uzyskania oszacowań. Ogólnie zakładam, że nie były takie same, chyba że wiedziałem z całą pewnością, że tak.

— Przywróć Monikę - G. Simpson,

To wspaniałe pytanie, które mnie ciekawiło przez pewien czas.

W przypadku modeli z tej samej rodziny (tj. Modeli autoregresyjnych rzędu k lub wielomianów) AIC / BIC ma sens. W innych przypadkach jest to mniej jasne. Dokładne obliczenie prawdopodobieństwa dziennika (przy użyciu stałych stałych) powinno działać, ale prawdopodobnie użycie bardziej skomplikowanego porównania modelu, takiego jak Bayes Factors, jest prawdopodobnie lepsze (http://www.jstor.org/stable/2291091).

Jeśli modele mają tę samą funkcję utraty / błędu, jedną z możliwości jest po prostu porównanie potwierdzonych krzyżowo prawdopodobieństw dziennika. Zazwyczaj staram się to robić, gdy nie jestem pewien, czy AIC / BIC ma sens w określonej sytuacji.

— IanS
źródło

Należy pamiętać, że w niektórych przypadkach AIC nie może nawet porównywać modeli tego samego typu, takich jak modele ARIMA z inną kolejnością różnicowania. Cytując prognozowanie: zasady i praktyka Roba J Hyndmana i George'a Athanasopoulosa:

Należy zauważyć, że te kryteria informacyjne zwykle nie są dobrymi przewodnikami przy wyborze odpowiedniej kolejności różnicowania ( ) modelu, ale jedynie przy wyborze wartości i . Wynika to z faktu, że różnicowanie zmienia dane, na podstawie których obliczane jest prawdopodobieństwo, przez co wartości AIC między modelami o różnych rzędach różnicowania nie są porównywalne. Musimy więc użyć innego podejścia, aby wybrać , a następnie możemy użyć AICc, aby wybrać i . $d$ $p$ $q$ $d$ $p$ $q$

— nalzok
źródło

Rzeczywiście, ale kluczową kwestią jest to, że to nie typ modelu sprawia, że porównanie jest problematyczne, to dane, na których określa się prawdopodobieństwo.

— Richard Hardy