Interpretacja modelu ARIMA

Mam pytanie dotyczące modeli ARIMA. Powiedzmy, że mam szereg czasowy , który chciałbym przewidzieć, a model wydaje się dobrym sposobem na przeprowadzenie prognozy. Teraz opóźnione oznacza, że ​​na moją serię mają wpływ wcześniejsze wydarzenia. To ma sens. Ale jaka jest interpretacja błędów? Moja wcześniejsza pozostała część (jak się nie liczyłem) ma dziś wpływ na wartość mojej serii? Jak obliczane są opóźnione reszty w tej regresji, ponieważ jest to iloczyn / reszta regresji? ARIMA ( 2 , 2 ) Δ Y t = α 1 Δ Y t - 1 + α 2 Δ Y t - 2 + ν t + θ 1 ν t - 1 + θ 2 ν t - 2$Y_t$$\text{ARIMA}(2,2)$

$$\Delta Y_t = \alpha_1 \Delta Y_{t-1} + \alpha_2 \Delta Y_{t-2} + \nu_{t} + \theta_1 \nu_{t-1} + \theta_2 \nu_{t-2}$$ $Y$

Myślę, że trzeba pamiętać, że modele ARIMA są modelami ateoretycznymi , więc zwykłe podejście do interpretacji szacowanych współczynników regresji tak naprawdę nie przenosi się na modelowanie ARIMA.

Aby zinterpretować (lub zrozumieć) oszacowane modele ARIMA, dobrze byłoby być świadomym różnych cech wyświetlanych przez wiele popularnych modeli ARIMA.

Możemy zbadać niektóre z tych funkcji, badając rodzaje prognoz generowanych przez różne modele ARIMA. Jest to główne podejście, które podjąłem poniżej, ale dobrą alternatywą byłoby przyjrzenie się funkcjom odpowiedzi impulsowej lub dynamicznym ścieżkom czasowym związanym z różnymi modelami ARIMA (lub równaniami różnic stochastycznych). Porozmawiam o tym na końcu.

Modele AR (1)

Rozważmy przez chwilę model AR (1). W tym modelu możemy powiedzieć, że im niższa wartość tym szybsze jest tempo konwergencji (do średniej). Możemy spróbować zrozumieć ten aspekt modeli AR (1), badając naturę prognoz dla małego zestawu symulowanych modeli AR (1) o różnych wartościach dla . α $\alpha_{1}$$\alpha_{1}$

Zestaw czterech modeli AR (1), które omówimy, można zapisać w notacji algebraicznej jako: gdzie jest stałą, a reszta notacji wynika z OP. Jak widać, każdy model różni się tylko wartością .C α

$$\begin{equation} Y_{t} = C + 0.95 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (1)\\ Y_{t} = C + 0.8 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (2)\\ Y_{t} = C + 0.5 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (3)\\ Y_{t} = C + 0.4 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (4) \end{equation}$$ $C$$\alpha_{1}$

Na poniższym wykresie przedstawiłem prognozy poza próbą dla tych czterech modeli AR (1). Można zauważyć, że prognozy dla modelu AR (1) z zbiegają się wolniej w porównaniu z innymi modelami. Prognozy dla modelu AR (1) z zbiegają się szybciej niż inne.α 1 = $\alpha_{1} = 0.95$$\alpha_{1} = 0.4$

Uwaga: gdy czerwona linia jest pozioma, osiągnęła średnią z symulowanej serii.

Modele MA (1)

Rozważmy teraz cztery modele MA (1) o różnych wartościach dla . Cztery omówione modele można zapisać jako: Y t = C + 0,95 ν t - 1 + ν t ( 5 $\theta_{1}$

$$\begin{equation} Y_{t} = C + 0.95 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (5)\\ Y_{t} = C + 0.8 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (6)\\ Y_{t} = C + 0.5 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (7)\\ Y_{t} = C + 0.4 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (8) \end{equation}$$

Na poniższym wykresie nakreśliłem prognozy poza próbą dla tych czterech różnych modeli MA (1). Jak pokazuje wykres, zachowanie prognoz we wszystkich czterech przypadkach jest wyraźnie podobne; szybka (liniowa) konwergencja do średniej. Zauważ, że dynamika tych prognoz jest mniejsza w porównaniu z modelami AR (1).

Uwaga: gdy czerwona linia jest pozioma, osiągnęła średnią z symulowanej serii.

Modele AR (2)

Sprawy stają się o wiele bardziej interesujące, gdy zaczynamy rozważać bardziej złożone modele ARIMA. Weźmy na przykład modele AR (2). To tylko mały krok w górę od modelu AR (1), prawda? Cóż, można by tak myśleć, ale dynamika modeli AR (2) jest dość bogata, jak zobaczymy za chwilę.

Przeanalizujmy cztery różne modele AR (2):

$$\begin{equation} Y_{t} = C + 1.7 Y_{t-1} -0.8 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (9)\\ Y_{t} = C + 0.9 Y_{t-1} -0.2 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (10)\\ Y_{t} = C + 0.5 Y_{t-1} -0.2 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (11)\\ Y_{t} = C + 0.1 Y_{t-1} -0.7 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (12) \end{equation}$$

Prognozy poza próbą związane z każdym z tych modeli pokazano na poniższym wykresie. Oczywiste jest, że każdy z nich znacznie się różni i są one również dość zróżnicowane w porównaniu z prognozami, które widzieliśmy powyżej - z wyjątkiem prognoz modelu 2 (wykres w prawym górnym rogu), które zachowują się podobnie do prognoz dla AR (1) Model.

Uwaga: gdy czerwona linia jest pozioma, osiągnęła średnią z symulowanej serii.

Kluczową kwestią jest to, że nie wszystkie modele AR (2) mają tę samą dynamikę! Na przykład, jeśli warunek, jest spełniony, wówczas model AR (2) wyświetla zachowanie pseudo okresowe oraz w rezultacie jego prognozy pojawią się jako cykle stochastyczne. Z drugiej strony, jeśli warunek ten nie zostanie spełniony, cykle stochastyczne nie będą obecne w prognozach; zamiast tego prognozy będą bardziej podobne do prognoz dla modelu AR (1).

$$\begin{equation} \alpha_{1}^{2}+4\alpha_{2} < 0, \end{equation}$$

Warto zauważyć, że powyższy warunek wynika z ogólnego rozwiązania jednorodnej postaci liniowego, autonomicznego równania różniczkowego drugiego rzędu (ze złożonymi pierwiastkami). Jeśli jest to obce, polecam zarówno rozdział 1 Hamiltona (1994), jak i rozdział 20 Hoy i in. (2001).

Testowanie powyższego warunku dla czterech modeli AR (2) daje następujące wyniki:

$$\begin{equation} (1.7)^{2} + 4 (-0.8) = -0.31 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (13)\\ (0.9)^{2} + 4 (-0.2) = 0.01 > 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (14)\\ (0.5)^{2} + 4 (-0.2) = -0.55 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (15)\\ (0.1)^{2} + 4 (-0.7) = -2.54 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (16) \end{equation}$$

Jak można się spodziewać po pojawieniu się wykreślonych prognoz, warunek jest spełniony dla każdego z czterech modeli oprócz modelu 2. Przypomnijmy z wykresu, że prognozy modelu 2 zachowują się („normalnie”) podobnie jak prognozy modelu AR (1). Prognozy powiązane z innymi modelami zawierają cykle.

Aplikacja - modelowanie inflacji

Teraz, gdy mamy już pewne podstawy, spróbujmy zinterpretować model AR (2) w aplikacji. Rozważ następujący model stopy inflacji ( ): Naturalnym wyrażeniem skojarzenia z takim modelem byłoby coś w stylu: „inflacja dzisiaj zależy od poziomu inflacji wczoraj i od poziomu inflacji dzień wcześniej”$\pi_{t}$

$$\begin{equation} \pi_{t} = C + \alpha_{1} \pi_{t-1} + \alpha_{2} \pi_{t-2} + \nu_{t}. \end{equation}$$ . Nie sprzeciwiłbym się takiej interpretacji, ale sugerowałbym, aby zachować ostrożność i abyśmy pogłębili się, aby opracować właściwą interpretację. W takim przypadku możemy zapytać, w jaki sposób inflacja jest powiązana z poprzednimi poziomami inflacji? Czy są cykle? Jeśli tak, ile jest cykli? Czy możemy powiedzieć coś o szczycie i dołku? Jak szybko prognozy zbiegają się ze średnią? I tak dalej.

To są pytania, które możemy zadać, próbując zinterpretować model AR (2) i jak widać, nie jest to tak proste, jak przyjęcie oszacowanego współczynnika i powiedzenie: „wzrost o 1 jednostkę w tej zmiennej jest związany z tak- wzrost o wiele jednostek zmiennej zależnej ” - oczywiście dołączając warunek ceteris paribus do tego stwierdzenia.

Pamiętaj, że w dotychczasowej dyskusji badaliśmy tylko wybrane modele AR (1), MA (1) i AR (2). Nawet nie przyjrzeliśmy się dynamice mieszanych modeli ARMA i modeli ARIMA obejmujących większe opóźnienia.

Aby pokazać, jak trudno byłoby interpretować modele należące do tej kategorii, wyobraź sobie inny model inflacji - ARMA (3,1) z ograniczonym do zera: $\alpha_{2}$

$$\begin{equation} \pi_{t} = C + \alpha_{1} \pi_{t-1} + \alpha_{3} \pi_{t-3} + \theta_{1}\nu_{t-1} + \nu_{t}. \end{equation}$$

Powiedz, co chcesz, ale tutaj lepiej spróbować zrozumieć dynamikę samego systemu. Tak jak poprzednio, możemy spojrzeć i zobaczyć, jakie prognozy wytwarza model, ale alternatywnym podejściem, o którym wspomniałem na początku tej odpowiedzi, było przyjrzenie się funkcji odpowiedzi impulsowej lub ścieżce czasowej związanej z systemem.

To prowadzi mnie do następnej części mojej odpowiedzi, gdzie omówimy funkcje odpowiedzi impulsowej.

Funkcje odpowiedzi impulsowej

Ci, którzy są zaznajomieni z automatycznymi regresjami wektorowymi (VAR), będą świadomi, że zwykle próbuje się zrozumieć oszacowany model VAR, interpretując funkcje odpowiedzi impulsowej; zamiast próbować interpretować oszacowane współczynniki, które i tak często są zbyt trudne do interpretacji.

To samo podejście można zastosować, próbując zrozumieć modele ARIMA. To znaczy, zamiast próbować zrozumieć (skomplikowane) stwierdzenia, takie jak: „dzisiejsza inflacja zależy od inflacji z wczoraj i od inflacji sprzed dwóch miesięcy, ale nie od inflacji z zeszłego tygodnia!” zamiast tego wykreślamy funkcję odpowiedzi impulsowej i staramy się to zrozumieć.

Zastosowanie - cztery zmienne makro

W tym przykładzie (na podstawie Leamera (2010)) rozważmy cztery modele ARIMA oparte na czterech zmiennych makroekonomicznych; Wzrost PKB, inflacja, stopa bezrobocia i krótkoterminowa stopa procentowa. Cztery modele zostały oszacowane i można je zapisać jako: gdzie oznacza wzrost PKB w czasie , oznacza inflację, oznacza stopę bezrobocia, i

$$\begin{eqnarray} Y_{t} &=& 3.20 + 0.22 Y_{t-1} + 0.15 Y_{t-2} + \nu_{t}\\ \pi_{t} &=& 4.10 + 0.46 \pi_{t-1} + 0.31\pi_{t-2} + 0.16\pi_{t-3} + 0.01\pi_{t-4} + \nu_{t}\\ u_{t} &=& 6.2+ 1.58 u_{t-1} - 0.64 u_{t-2} + \nu_{t}\\ r_{t} &=& 6.0 + 1.18 r_{t-1} - 0.23 r_{t-2} + \nu_{t} \end{eqnarray}$$ $Y_{t}$$t$$\pi$$u$$r$ oznacza krótkoterminową stopę procentową (3-miesięczny skarbiec).

Równania pokazują, że wzrost PKB, stopa bezrobocia i krótkoterminowa stopa procentowa są modelowane jako procesy AR (2), podczas gdy inflacja jest modelowana jako proces AR (4).

Zamiast próbować interpretować współczynniki w każdym równaniu, wykreślmy funkcje odpowiedzi impulsowej (IRF) i je zinterpretujmy. Poniższy wykres pokazuje funkcje odpowiedzi impulsowej związane z każdym z tych modeli.

Nie traktuj tego jako klasy mistrzowskiej w interpretacji IRF - myśl o tym bardziej jak o podstawowym wprowadzeniu - ale tak czy inaczej, aby pomóc nam interpretować IRF, musimy przyzwyczaić się do dwóch pojęć; pęd i wytrwałość .

Te dwie koncepcje zostały zdefiniowane w Leamer (2010) w następujący sposób:

Momentum : Momentum to tendencja do kontynuowania ruchu w tym samym kierunku. Efekt pędu może zrównoważyć siłę regresji (zbieżności) w kierunku średniej i może pozwolić zmiennej na odejście od średniej historycznej na pewien czas, ale nie na czas nieokreślony.

Trwałość : Zmienna trwałości będzie się zawieszać w miejscu, w którym się znajduje, i będzie powoli zbliżać się do średniej historycznej.

Wyposażeni w tę wiedzę, zadajemy teraz pytanie: załóżmy, że zmienna osiąga wartość historyczną i otrzymuje tymczasowy szok jednostkowy w jednym okresie, jak zmienna zareaguje w przyszłych okresach? Jest to podobne do zadawania pytań, które zadaliśmy wcześniej, takich jak: czy prognozy zawierają cykle? , jak szybko prognozy zbliżają się do średniej? itd.

W końcu możemy teraz spróbować zinterpretować IRF.

Po szoku jednostkowym stopa bezrobocia i krótkoterminowe oprocentowanie (3-miesięczny skarbiec) są odejmowane od średniej historycznej. To jest efekt rozpędu. IRF pokazują również, że stopa bezrobocia jest wyższa niż krótkoterminowa stopa procentowa.

Widzimy również, że wszystkie zmienne wracają do swoich historycznych środków (żadna z nich nie „wysadza” w powietrze), chociaż każda z nich robi to w różnym tempie. Na przykład wzrost PKB wraca do historycznej średniej po około 6 okresach po szoku, stopa bezrobocia wraca do swojej historycznej średniej po około 18 okresach, ale inflacja i krótkoterminowe odsetki powracają do swoich historycznych średnich. W tym sensie wzrost PKB jest najmniej trwałym z czterech zmiennych, podczas gdy można powiedzieć, że inflacja jest bardzo trwała.

Myślę, że słusznym wnioskiem jest stwierdzenie, że (przynajmniej częściowo) udało nam się zrozumieć, co cztery modele ARIMA mówią nam o każdej z czterech makrozmiennych.

Wniosek

Zamiast interpretować oszacowane współczynniki w modelach ARIMA (trudne dla wielu modeli), spróbuj zamiast tego zrozumieć dynamikę systemu. Możemy tego spróbować, badając prognozy tworzone przez nasz model i wykreślając funkcję odpowiedzi impulsowej.

[Jestem szczęśliwy, że mogę udostępnić mój kod R, jeśli ktoś tego chce.]

Bibliografia

• Hamilton, JD (1994). Analiza szeregów czasowych (Vol. 2). Princeton: prasa uniwersytecka Princeton.
• Leamer, E. (2010). Wzorce i historie makroekonomiczne - Przewodnik dla MBA, Springer.
• Stengos, T., M. Hoy, J. Livernois, C. McKenna i R. Rees (2001). Mathematics for Economics, 2. wydanie, MIT Press: Cambridge, MA.

Zauważ, że ze względu na twierdzenie Wolda o dekompozycji możesz przepisać dowolny stacjonarny model ARMA jako model , tj .:$MA(\infty)$

$$\Delta Y_t=\sum_{j=0}^{\infty} \psi_j\nu_{t-j}$$

W tej formie nie ma zmiennych opóźnionych, więc każda interpretacja obejmująca pojęcie zmiennej opóźnionej nie jest zbyt przekonująca. Patrząc jednak oddzielnie na modele i :$MA(1)$$AR(1)$

$$Y_t=\nu_t+\theta_{1}\nu_{t-1}$$

$$Y_t=\rho Y_{t-1}+\nu_{t}=\nu_t+\rho \nu_{t-1}+ \rho^2 \nu_{t-1}+...$$

można powiedzieć, że terminy błędów w modelach ARMA wyjaśniają wpływ „krótkoterminowy” przeszłości, a terminy opóźnione wyjaśniają wpływ „długoterminowy”. Powiedziawszy, że nie sądzę, że to bardzo pomaga i zwykle nikt nie zawraca sobie głowy precyzyjną interpretacją współczynników ARMA. Zazwyczaj celem jest uzyskanie odpowiedniego modelu i wykorzystanie go do prognozowania.

Całkowicie zgadzam się z sentymentem poprzednich komentatorów. Chciałbym dodać, że cały model ARIMA może być również reprezentowany jako czysty model AR. Wagi te są nazywane wagami Pi w porównaniu z czystą formą MA (wagi Psi). W ten sposób można wyświetlić (zinterpretować) model ARIMA jako zoptymalizowaną średnią ważoną poprzednich wartości. Innymi słowy, zamiast zakładać z góry określoną długość i wartości średniej ważonej, model ARIMA podaje zarówno długość ( ) wag, jak i rzeczywiste wagi ( ).$n$$c_1,c_2,...,c_n$

$$Y(t) =c_1 Y(t−1) + c_2 Y(t-2) + c_3 Y(t-3)+ ... + c_n Y(t-n) + a(t)$$

W ten sposób model ARIMA można wyjaśnić jako odpowiedź na pytanie

1. Ile wartości historycznych powinienem zastosować, aby obliczyć ważoną sumę przeszłości?
2. Jakie dokładnie są te wartości?