Interpretacja numerów AIC i BIC

23

Szukam przykładów, jak interpretować szacunki AIC (kryterium informacji Akaike) i BIC (kryterium informacji bayesowskiej).

Czy ujemną różnicę między kodami BIC można interpretować jako późniejsze szanse jednego modelu na drugi? Jak mogę to wyrazić słowami? Na przykład BIC = -2 może sugerować, że szanse lepszego modelu na drugi model wynoszą w przybliżeniu ? $e^2= 7.4$

Neofita docenia wszelkie podstawowe porady.

interpretation aic bic

— Juan
źródło

Spójrz na rozdział 2. Rozdział 2.6 - który jest częściowo dostępny w książkach Google - może w szczególności ci pomóc. books.google.se/… (Patrz: Wybór modelu i wnioskowanie na podstawie wielu modeli autorstwa Kennetha P. Burnhama i Davida R. Andersona. Springer Verlag)

— boscovich

6

dla wzoru oa priorimożna model przedstawiony jest recaled do , gdzie najlepszym modelem zestawu model będzie miał . Możemy użyć wartoścido oszacowania siły dowodów () dla wszystkich modeli w zestawie modeli, gdzie: Jest to często określane jako „ciężar dowodu” dla modelu $AIC$ $i$ $\mathsf{\Delta}_i=AIC_i-minAIC$ $\mathsf{\Delta}=0$ $\mathsf{\Delta}_i$ $w_i$

w_{i} = \frac{e^{(- 0.5 Δ_{i})}}{\sum_{r = 1}^{R} e^{(- 0.5 Δ_{i})}} .

$w_i = \frac{e^{(-0.5\mathsf{\Delta}_i)}}{\sum_{r=1}^Re^{(-0.5\mathsf{\Delta}_i)}}.$

i

$i$ biorąc pod uwagę zestaw modeli a priori . W miarę wzrostu , maleje, co sugeruje, że model jest mniej prawdopodobny. Te wartości można interpretować jako prawdopodobieństwo, że model jest najlepszym modelem, biorąc pod uwagę zestaw modeli a priori . Możemy również obliczyć względne prawdopodobieństwo modelu względem modelu jako . Na przykład, jeśli i , moglibyśmy powiedzieć, że model jest 8 razy bardziej prawdopodobny niż model .

Δ_{i}

$\mathsf{\Delta}_i$

w_{i}

$w_i$

i

$i$

w_{i}

$w_i$

i

$i$

i

$i$

j

$j$

w_{i} / w_{j}

$w_i/w_j$

w_{i} = 0.8

$w_i = 0.8$

w_{j} = 0.1

$w_j = 0.1$

i

$i$

j

$j$

Uwaga: gdy model 1 jest najlepszym modelem (najmniejszy ). Burnham i Anderson (2002) określają to jako współczynnik dowodów. Ta tabela pokazuje, jak zmienia się współczynnik dowodów w odniesieniu do najlepszego modelu. $w_1/w_2 = e^{0.5\Delta_2}$ $AIC$

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

Odniesienie

Burnham, KP i DR Anderson. 2002. Wybór modelu i wnioskowanie wielomodelowe: praktyczne podejście teoretyczno-informacyjne. Druga edycja. Springer, Nowy Jork, USA.

Anderson, DR 2008. Wnioski oparte na modelach w naukach przyrodniczych: elementarz dowodów. Springer, Nowy Jork, USA.

— RioRaider
źródło

czy mogłabyś wyjaśnienia co odnosi się, w szczególności, ponieważ indeks sumy nie pojawia się wewnątrz sumowaniu. Czy obejmuje przestrzeń modelu?

r

$r$

R

$R$

— dopexxx,

W zestawie modeli znajdują się modele R.

— RioRaider

3

Nie sądzę, aby istniała jakakolwiek prosta interpretacja AIC lub BIC. Obie są wielkościami, które przyjmują prawdopodobieństwo dziennika i nakładają na niego karę za liczbę szacowanych parametrów. Konkretne kary dla AIC zostały wyjaśnione przez Akaike w jego artykułach od 1974 roku. BIC został wybrany przez Gideona Schwarz w swoim artykule z 1978 roku i jest motywowany argumentem bayesowskim.

— Michael R. Chernick
źródło

2

Kara może być jednak interpretowana jako uprzednia faworyzowanie modeli określonego rozmiaru. Jeśli zdarzy ci się przyjąć to wcześniej (co ma pewne uzasadnienia teoretyczne), możesz obliczyć iloraz szansy tylnej bezpośrednio z wartości IC. Ponadto @RioRaider wspomina o wagach Akaike, które dają prawdopodobieństwo, że dany model jest najlepszym modelem z zestawu pod względem rozbieżności KL. ( patrz - patrz str. 800).

— David J. Harris,

1

Prawdopodobnie używasz BIC w wyniku przybliżenia do współczynnika Bayesa. Dlatego nie rozważasz (mniej więcej) wcześniejszej dystrybucji. BIC na etapie wyboru modelu jest przydatny podczas porównywania modeli. Aby w pełni zrozumieć BIC, czynnik Bayesa zdecydowanie polecam przeczytanie artykułu (sekcja 4): http://www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf w celu uzupełnienia wiedzy o: http: // www .stat.washington.edu / raftery / Research / PDF / kass1995.pdf

— Robert
źródło