AIC a walidacja krzyżowa w szeregach czasowych: przypadek małej próbki

Interesuje mnie wybór modelu w ustawieniach szeregów czasowych. Dla konkretności załóżmy, że chcę wybrać model ARMA z puli modeli ARMA o różnych rzędach opóźnień. Ostatecznym celem jest prognozowanie .

Wyboru modelu można dokonać za pomocą

1. krzyżowa walidacja,
2. stosowanie kryteriów informacyjnych (AIC, BIC),

wśród innych metod.

Rob J. Hyndman zapewnia sposób krzyżowej weryfikacji szeregów czasowych . W przypadku stosunkowo małych próbek wielkość próbki zastosowana w walidacji krzyżowej może być jakościowo różna od pierwotnej wielkości próbki. Na przykład, jeśli pierwotna wielkość próby wynosi 200 obserwacji, wówczas można pomyśleć o rozpoczęciu walidacji krzyżowej, biorąc pierwsze 101 obserwacji i rozszerzając okno do 102, 103, ..., 200 obserwacji, aby uzyskać 100 wyników walidacji krzyżowej. Oczywiście model, który jest dość oszczędny dla 200 obserwacji, może być zbyt duży dla 100 obserwacji, a zatem jego błąd walidacji będzie duży. W ten sposób krzyżowa walidacja prawdopodobnie będzie systematycznie faworyzować zbyt oszczędne modele. Jest to niepożądany efekt ze względu na niedopasowanie wielkości próbek .

Alternatywą dla krzyżowej weryfikacji jest zastosowanie kryteriów informacyjnych do wyboru modelu. Ponieważ zależy mi na prognozowaniu, użyłbym AIC. Mimo że AIC jest asymptotycznie równoważne z minimalizacją jednostopniowego prognozowania MSE poza próbą dla modeli szeregów czasowych (zgodnie z tym postem Roba J. Hyndmana), wątpię, aby miało to znaczenie od czasu próby Rozmiary, na których mi zależy, nie są aż tak duże ...

Pytanie: czy powinienem wybrać AIC zamiast krzyżowej weryfikacji szeregów czasowych dla małych / średnich próbek?

Kilka powiązanych pytań można znaleźć tutaj , tutaj i tutaj .

Pomijając rozważania teoretyczne, Kryterium Informacyjne Akaike jest po prostu prawdopodobieństwem karane stopniami swobody. Następnie AIC uwzględnia niepewność danych ( -2LL ) i przyjmuje założenie, że więcej parametrów prowadzi do wyższego ryzyka nadmiernego dopasowania ( 2k ). Weryfikacja krzyżowa sprawdza tylko wydajność zestawu testowego modelu, bez dalszych założeń.

Jeśli zależy ci przede wszystkim na prognozowaniu i możesz założyć, że zestawy testowe byłyby dość podobne do danych w świecie rzeczywistym, powinieneś przejść na walidację krzyżową. Możliwym problemem jest to, że gdy twoje dane są małe, a następnie dzieląc je, kończysz się niewielkimi zestawami szkoleniowymi i testowymi. Mniej danych do treningu jest złych, a mniej danych do zestawu testów sprawia, że ​​wyniki weryfikacji krzyżowej są bardziej niepewne (patrz Varoquaux, 2018 ). Jeśli twoja próbka testowa jest niewystarczająca, możesz zostać zmuszony do użycia AIC, ale pamiętaj o tym, co mierzy i jakie mogą być założenia.

Z drugiej strony, jak już wspomniano w komentarzach, AIC daje bezobjawowe gwarancje i nie jest tak w przypadku małych próbek. Małe próbki mogą również wprowadzać w błąd co do niepewności danych.

Hm - jeśli twoim ostatecznym celem jest przewidzieć, dlaczego w ogóle zamierzasz dokonać wyboru modelu? O ile mi wiadomo, zarówno w „tradycyjnej” literaturze statystycznej, jak i literaturze dotyczącej uczenia maszynowego, że uśrednianie modelu jest lepsze, jeśli chodzi o przewidywanie. Mówiąc prościej, uśrednianie modelu oznacza, że ​​szacujesz wszystkie wiarygodne modele, pozwalasz wszystkim przewidzieć i uśrednić ich przewidywania ważone ich względnymi dowodami modelowymi.

Przydatnym odniesieniem na początek jest https://journals.sagepub.com/doi/10.1177/0049124104268644

Wyjaśniają to po prostu i odnoszą się do odpowiedniej literatury.

Mam nadzieję że to pomoże.

Moim pomysłem jest zrobienie obu i zobaczenie. Można użyć AIC bezpośrednio. Im mniejszy AIC, tym lepszy model. Ale nie można polegać na AIC i powiedzieć, że taki model jest najlepszy. Tak więc, jeśli masz pulę modeli ARIMA, weź każdy z nich i sprawdź prognozowanie dla istniejących wartości i zobacz, który model przewiduje najbliższe istniejące dane szeregów czasowych. Po drugie, sprawdź również AIC i biorąc pod uwagę oba, wybierz dobry wybór. Nie ma twardych i szybkich zasad. Po prostu wybierz model, który przewiduje najlepsze.