Jak porównać modele na podstawie AIC?

Mamy dwa modele, które używają tej samej metody do obliczania prawdopodobieństwa logarytmicznego, a AIC dla jednego jest niższy niż drugi. Jednak ten z niższym AIC jest znacznie trudniejszy do interpretacji.

Mamy problem z podjęciem decyzji, czy warto wprowadzić trudność, i oceniliśmy to na podstawie różnicy procentowej w AIC. Stwierdziliśmy, że różnica między dwoma AIC wynosiła tylko 0,7%, przy czym bardziej skomplikowany model ma AIC o 0,7% niższy.

Czy niska różnica procentowa między nimi jest dobrym powodem, aby unikać używania modelu z niższym AIC?
Czy procent różnicy wyjaśnia, że w mniej skomplikowanym modelu traci się 0,7% więcej informacji?
Czy oba modele mogą mieć bardzo różne wyniki?

model-selection aic

— Ali Turab Lotia
źródło

Możliwy duplikat Co łamie porównywalność modeli w odniesieniu do AIC?

— Arun Jose

@ArunJose, to nie wydaje się być duplikatem. Pytania tutaj są zupełnie inne.

— Richard Hardy,

Nie. To pytanie nie dotyczy porównywalności modeli. Wiemy już, że modele są porównywalne. To pytanie dotyczy tego, co liczy się jako znacząca różnica w AIC i kompromis między złożonością a dopasowaniem modelu.

— Ali Turab Lotia

Nie ma porównać wartości bezwzględnych dwóch PTK (który może być podobny , ale także ), ale uważa ich różnic : gdzie jest AIC modelu, a jest najniższym AIC, jaki uzyskuje się spośród zestawu badanych modeli (tj. Preferowanego modelu). Zasada praktyczna, przedstawiona np. W $\sim 100$ $\sim 1000000$

Δ_{ja} = ZA ja {do}_{ja} - ZA ja {do}_{m ja n},

$\Delta_i=AIC_i-AIC_{\rm min},$

A I C_{i}

$AIC_i$

i

$i$

A I C_{m i n}

$AIC_{\rm min}$ Burnham i Anderson 2004 to:

jeśli , wówczas istnieje znaczące poparcie dla modelu (lub dowody przeciwko niemu są warte jedynie krótkiej wzmianki), a twierdzenie, że jest to właściwy opis, jest wysoce prawdopodobne; $\Delta_i<2$ $i$
jeśli , wówczas istnieje silne poparcie dla modelu; $2<\Delta_i<4$ $i$
jeśli , wówczas poparcie dla modelu jest znacznie mniejsze ; $4<\Delta_i<7$ $i$
Modele z mają zasadniczo żadnego wsparcia. $\Delta_i>10$

Jeśli chodzi o 0,7% wspomniane w pytaniu, rozważ dwie sytuacje:

$AIC_1=AIC_{\rm min}=100$ $AIC_2$ $AIC_2=100.7$ $\Delta_2=0.7<2$
$AIC_1=AIC_{\rm min}=100000$ $AIC_2$ $AIC_2=100700$ $\Delta_2=700\gg 10$

Dlatego stwierdzenie, że różnica między AIC wynosi 0,7%, nie dostarcza żadnych informacji.

$\mathcal{L}$ $\Delta_i$ $\Delta_i = AIC_i − AIC_{\rm min}$ $AIC_{\rm min} := 0$

Sformułowanie AIC karze stosowanie nadmiernej liczby parametrów, dlatego zniechęca do nadmiernego dopasowania. Preferuje modele o mniejszej liczbie parametrów, o ile inne nie zapewniają znacznie lepszego dopasowania. AIC próbuje wybrać model (spośród badanych), który najlepiej opisuje rzeczywistość (w postaci badanych danych). Oznacza to, że w rzeczywistości model będący prawdziwym opisem danych nigdy nie jest brany pod uwagę. Zauważ, że AIC daje ci informację, który model lepiej opisuje dane, nie daje żadnej interpretacji .

$\Delta_i$ $\Delta_i<2$ $\Delta_i<5$

$i$

p_{ja} = \exp (\frac{- Δ_{ja}}{2)}),

$p_i=\exp\left(\frac{-\Delta_i}{2}\right),$

$AIC_{\rm min}$ $i$ $\Delta_i=1.5$ $p_i=0.47$ $\Delta_i=15$ $p_i=0.0005$ $i$ $AIC_{\rm min}$

Wreszcie w odniesieniu do wzoru na AIC:

ZA ja do = 2) k - 2) L.,

$AIC=2k-2\mathcal{L},$

$\mathcal{L}$ $\Delta_i$ $2k$ $\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

To zły powód; wykorzystać różnicę między wartościami bezwzględnymi AIC.
Procent nic nie mówi.
Nie można odpowiedzieć na to pytanie, ponieważ nie ma informacji o modelach, danych i co oznaczają różne wyniki .

— corey979
źródło

To najjaśniejsze wytłumaczenie, jakie kiedykolwiek widziałem na temat tej tajemniczej sprawy. Przejrzałem artykuł, do którego się odwołujesz (str. 270–272), a twoje wyjaśnienie tutaj jest prostym i jasnym, ale bardzo dokładnym przedstawieniem tego, co artykuł wyjaśnia.

— Tripartio

Czy mógłbyś pomóc w odpowiedzi na to pytanie? stats.stackexchange.com/questions/349883/…

— Tripartio