Na str. 34 ze swojego PRNN Brian Ripley komentuje, że „AIC został nazwany przez Akaike (1974) jako„ Kryterium informacyjne ”, chociaż wydaje się, że powszechnie uważa się, że A oznacza Akaike”. Rzeczywiście, wprowadzając statystyki AIC, Akaike (1974, s. 719) wyjaśnia to
"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".
Biorąc pod uwagę ten cytat jako prognozę sporządzoną w 1974 roku, warto zauważyć, że w ciągu zaledwie czterech lat Akaike (1977, 1978) i Schwarz (1978) zaproponowali dwa typy statystyki BIC (Bayesian IC). Zajęło to Spiegelhalter i in. (2002) znacznie dłużej, aby wymyślić DIC (Deviance IC). Chociaż pojawienie się kryterium CIC nie było przewidywane przez Akaike (1974), naiwnością byłoby sądzić, że nigdy nie było rozważane. Został zaproponowany przez Carlosa C. Rodrigueza w 2005 roku (zauważ, że R. Tibshirani i K. Knight's CIC (Covariance Inflation Criterion) to inna sprawa.)
Wiedziałem, że EIC (Empirical IC) zostało zaproponowane przez ludzi z Monash University około 2003 roku. Właśnie odkryłem Focused Information Criterion (FIC). Niektóre książki odnoszą się do Hannan i Quinn IC jako HIC, patrz np. Ten ). Wiem, że powinien istnieć GIC (Generalized IC) i właśnie odkryłem Kryterium Inwestowania w Informacje (IIC). Jest NIC, TIC i więcej.
Myślę, że mógłbym pokryć resztę alfabetu, więc nie pytam, gdzie sekwencja AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC, ... zatrzymuje się lub jakie litery alfabetu mają nie był używany lub był używany co najmniej dwa razy (np. E w EIC może oznaczać Extended lub Empirical). Moje pytanie jest prostsze i mam nadzieję, że bardziej praktyczne. Czy mogę korzystać z tych statystyk zamiennie, ignorując konkretne założenia, na podstawie których zostały wyprowadzone, konkretne sytuacje, w których miały one być stosowane, i tak dalej?
To pytanie jest częściowo uzasadnione przez Burnham i Anderson (2001), pisząc, że:
...the comparison of AIC and BIC model selection ought to be based on their performance
properties such as mean square error for parameter estimation (includes prediction) and
confidence interval coverage: tapering effects or not, goodness-of-fit issues,
derivation of theory is irrelevant as it can be frequentist or Bayes.
Wydaje się, że rozdział 7 monografii Hyndmana i in. Na temat wygładzania wykładniczego podąża za radą BA, patrząc na to, jak dobrze pięć alternatywnych układów scalonych (AIC, BIC, AICc, HQIC, LEIC) radzi sobie w wyborze modelu, który najlepiej prognozuje (mierzony przez nowo zaproponowany środek błędu zwany MASE), aby stwierdzić, że AIC częściej była lepszą alternatywą. (HQIC zgłoszono jako najlepszy wybór modelu tylko raz.)
Nie jestem pewien, jaki jest użyteczny cel ćwiczeń badawczych, które domyślnie traktują wszystkie ICc tak, jakby zostały uzyskane w celu odpowiedzi na jedno i to samo pytanie przy równoważnych zestawach założeń. W szczególności nie jestem pewien, w jaki sposób przydatne jest zbadanie predykcyjnej wydajności spójnego kryterium ustalania kolejności autoregresji (którą Hannan i Quinn wyprowadzili dla ergodycznych sekwencji stacjonarnych) poprzez użycie jej w kontekście niestacjonarnej wykładniczej modele wygładzania opisane i przeanalizowane w monografii Hyndmana i in. Czy coś mi umyka?
Bibliografia:
Akaike, H. (1974), Nowe spojrzenie na identyfikację modelu statystycznego, Transakcje IEEE na automatycznej kontroli 19 (6), 716-723.
Akaike, H. (1977), O zasadzie maksymalizacji entropii, w PR Krishnaiah, red., Zastosowania statystyki , t. 27, Amsterdam: Holandia Północna, ss. 27–41.
Akaike, H. (1978), Bayesowska analiza minimalnej procedury AIC, Annals of Institute of Statistics Mathematics 30 (1), 9-14.
Burnham, KP i Anderson, DR (2001) Informacje Kullback – Leibler jako podstawa silnego wnioskowania w badaniach ekologicznych, Wildlife Research 28, 111-119
Hyndman, RJ, Koehler, AB, Ord, JK & Snyder, RD Prognozowanie z wygładzaniem wykładniczym: podejście do przestrzeni stanów. New York: Springer, 2008
Ripley, rozpoznawanie wzorców BD i sieci neuronowe . Cambridge: Cambridge University Press, 1996
Schwarz, G. (1978), Szacowanie wymiaru modelu, Annals of Statistics 6 (2), 461-464.
Spiegelhalter, DJ, Best, NG, Carlin, BP i van der Linde, A. (2002), Bayesowskie miary złożoności modelu it (z dyskusją), Journal of the Royal Statistics Society. Seria B (metodologia statystyczna) 64 (4), 583–639.