Z tego, co mogę powiedzieć, nie ma dużej różnicy między AIC i BIC. Oba są matematycznie wygodnymi przybliżeniami, które można wykonać w celu skutecznego porównania modeli. Jeśli dają różne „najlepsze” modele, prawdopodobnie oznacza to, że masz dużą niepewność modelu, co jest ważniejsze niż martwienie się o to, czy powinieneś użyć AIC czy BIC. Osobiście bardziej podoba mi się BIC, ponieważ pyta o więcej (mniej) modelu, czy ma więcej (mniej) danych, aby dopasować się do jego parametrów - jak nauczyciel, który prosi o wyższy (niższy) standard wydajności, jeśli jego uczeń ma więcej (mniej) ) czas na poznanie tematu. Dla mnie to wydaje się intuicyjne. Ale jestem pewien, że istnieją również równie intuicyjne i przekonujące argumenty dla AIC, biorąc pod uwagę jego prostą formę.
Teraz za każdym razem, gdy dokonasz przybliżenia, na pewno będą pewne warunki, gdy przybliżenia te będą śmieciami. Można to z pewnością zauważyć w przypadku AIC, gdzie istnieje wiele „korekt” (AICc) w celu uwzględnienia pewnych warunków, które powodują, że pierwotne przybliżenie jest złe. Jest to również obecne w przypadku BIC, ponieważ istnieją różne inne dokładniejsze (ale wciąż wydajne) metody, takie jak aproksymacje w pełni Laplace'a do mieszanin g-priorów Zellnera (BIC jest przybliżeniem metody aproksymacji Laplace'a dla całek).
Jednym z miejsc, w którym oba są badziewne, jest posiadanie znacznych wcześniejszych informacji o parametrach w danym modelu. AIC i BIC niepotrzebnie karają modele, w których parametry są częściowo znane w porównaniu z modelami, które wymagają oszacowania parametrów na podstawie danych.
jedną rzeczą, którą moim zdaniem należy zauważyć, jest to, że BIC nie zakłada, że „prawdziwy” model a) istnieje lub b) jest zawarty w zestawie modeli. BIC jest po prostu przybliżeniem zintegrowanego prawdopodobieństwa (D = Dane, M = model, A = założenia). Tylko mnożąc przez wcześniejsze prawdopodobieństwo, a następnie normalizując, można uzyskać . BIC po prostu reprezentuje prawdopodobieństwo danych, jeśli twierdzenie sugerowane przez symbol jest prawdziwe. Z logicznego punktu widzenia wszystkie propozycje, które doprowadziłyby do BIC jako przybliżenia, są jednakowo obsługiwane przez dane. Więc jeśli podam i jako zdaniaP(D|M,A)P(M|D,A)MMA
Mi:the ith model is the best description of the dataA:out of the set of K models being considered, one of them is the best
A następnie nadal przypisuj te same modele prawdopodobieństwa (te same parametry, te same dane, te same przybliżenia itp.), Otrzymam ten sam zestaw wartości BIC. Dopiero poprzez nadanie jakiegoś unikalnego znaczenia logicznej literze „M” wciągają się nieistotne pytania dotyczące „prawdziwego modelu” (echa „prawdziwej religii”). Jedyną rzeczą, która „definiuje” M, są równania matematyczne, które wykorzystują go w swoich obliczeniach - i to rzadko kiedy wyodrębnia jedną i tylko jedną definicję. Mógłbym równie dobrze przedstawić propozycję przewidywania dotyczącą M („i-ty model da najlepsze prognozy”). Osobiście nie widzę, jak to zmieni jakiekolwiek prawdopodobieństwo, a zatem, jak dobry lub zły będzie BIC (AIC również w tym przypadku - chociaż AIC opiera się na innej pochodnej)
A poza tym, co jest nie tak ze stwierdzeniem Jeśli prawda model jest w zestawie Zastanawiam, to istnieje prawdopodobieństwo 57%, że jest modelem B . Wydaje mi się to wystarczająco rozsądne, lub możesz wybrać bardziej „miękką” wersję, istnieje 57% prawdopodobieństwo, że model B jest najlepszy z rozważanego zestawu
Ostatni komentarz: Myślę, że znajdziesz tyle opinii na temat AIC / BIC, jak wielu ludzi o nich wie.