Jakie są wady średniego bezwzględnego błędu procentowego (MAPE)?

Mean Absolute Procent Błąd ( mape ) jest powszechną miarą dokładności lub błąd w przypadku szeregów czasowych lub innych przewidywań,

gdzie to wartości rzeczywiste, a odpowiednie prognozy lub prognozy.F $A_t$$F_t$

MAPE to wartość procentowa, dzięki czemu możemy łatwo porównać ją między seriami, a ludzie mogą łatwo zrozumieć i zinterpretować procenty.

Jednak słyszę, że MAPE ma wady. Chciałbym lepiej zrozumieć te wady, aby móc podjąć świadomą decyzję, czy użyć MAPE, czy innej alternatywy, takiej jak MSE ( mse ), MAE ( mae ) lub MASE ( mase ).

Wady MAPE

• MAPE, jako wartość procentowa, ma sens tylko dla wartości, w których podziały i stosunki mają sens. Na przykład nie ma sensu obliczanie procentu temperatur, więc nie należy używać MAPE do obliczania dokładności prognozy temperatury.

• Jeśli tylko jeden rzeczywisty jest równy zero, , to dzieląc przez zero, obliczasz MAPE, który jest niezdefiniowany.$A_t=0$

  Okazuje się, że niektóre programy prognozujące zgłaszają MAPE dla takich serii, po prostu usuwając okresy z zerowymi wartościami rzeczywistymi ( Hoover, 2006 ). Nie trzeba dodawać, że nie jest to dobry pomysł, ponieważ sugeruje, że w ogóle nie dbamy o to, co prognozowaliśmy, jeśli faktyczna wartość wynosi zero - ale prognoza i jedna z może mieć bardzo różne konsekwencje . Sprawdź więc, co robi twoje oprogramowanie.$F_t=100$$F_t=1000$

  Jeśli wystąpi tylko kilka zer, możesz użyć ważonego MAPE ( Kolassa i Schütz, 2007 ), który jednak ma swoje własne problemy. Dotyczy to również symetrycznego MAPE ( Goodwin i Lawton, 1999 ).

• Mogą wystąpić MAPE większe niż 100%. Jeśli wolisz pracować z dokładnością, którą niektórzy określają jako 100% -MAPE, może to prowadzić do negatywnej dokładności, którą ludzie mogą mieć trudności ze zrozumieniem. ( Nie, obcinanie dokładności na zero nie jest dobrym pomysłem. )

• Jeśli mamy ściśle pozytywne dane, które chcielibyśmy przewidzieć (i powyżej, MAPE nie ma sensu inaczej), to nigdy nie prognozujemy poniżej zera. MAPE niestety traktuje prognozy pogody inaczej niż prognozy pogody: prognozy nigdy nie przyczynią się do więcej niż 100% (np. Jeśli i ), ale wkład prognozy jest nieograniczony (np. Jeśli i ). Oznacza to, że MAPE może być niższy w przypadku stronniczych prognoz niż w przypadku obiektywnych prognoz. Zminimalizowanie go może prowadzić do nisko tendencyjnych prognoz.$F_t=0$$A_t=1$$F_t=5$$A_t=1$

Zwłaszcza ostatni punkt kuli zasługuje na nieco więcej przemyślenia. W tym celu musimy cofnąć się o krok.

Na początek zauważmy, że nie znamy doskonale przyszłego wyniku, ani nigdy. Zatem przyszły wynik zależy od rozkładu prawdopodobieństwa. Nasza tak zwana prognoza punktowa jest próbą podsumowania tego, co wiemy o przyszłym rozkładzie (tj. Rozkład predykcyjny ) w czasie przy użyciu pojedynczej liczby. MAPE jest zatem miarą jakości całej sekwencji takich pojedynczych podsumowań przyszłych rozkładów w czasach .$F_t$ t t = 1 , … , n$t$$t=1, \dots, n$

Problem polega na tym, że ludzie rzadko mówią wprost, co to jest dobre podsumowanie składające się z jednej dystrybucji w przyszłości.

Gdy rozmawiasz z prognozowanymi konsumentami, zwykle będą chcieli, aby było poprawne „średnio”. Oznacza to, że chcą, aby było oczekiwaniem lub środkiem przyszłego rozkładu, a nie, powiedzmy, jego medianą.$F_t$$F_t$

Oto problem: minimalizacja MAPE zazwyczaj nie zachęca nas do przedstawienia tego oczekiwania, ale całkiem inne podsumowanie składające się z jednej liczby ( McKenzie, 2011 , Kolassa, 2020 ). Dzieje się tak z dwóch różnych powodów.

• Asymetryczne przyszłe rozkłady. Załóżmy, że nasza prawdziwa przyszła dystrybucja przebiega stacjonarnie lognormalna dystrybucja. Poniższy obrazek pokazuje symulowany szereg czasowy, a także odpowiednią gęstość.$(\mu=1,\sigma^2=1)$

  

  Linie poziome przedstawiają optymalne prognozy punktowe, w których „optymalność” jest definiowana jako minimalizowanie oczekiwanego błędu dla różnych miar błędów.

  • Linia przerywana w minimalizuje oczekiwany MSE. Jest to oczekiwanie na szeregi czasowe.$F_t=\exp(\mu+\frac{\sigma^2}{2})\approx 4.5$
  • Linia kropkowana przy minimalizuje oczekiwany MAE. Jest to mediana szeregów czasowych.$F_t=\exp\mu\approx 2.7$
  • Linia przerywana w minimalizuje oczekiwane MAPE. Jest to mediana (-1) szeregu czasowego ( Gneiting, 2011 , s. 752 z ), która w szczególnym przypadku rozkładu logarytmicznego zbiega się z trybem rozkładu .$F_t=\exp(\mu-\sigma^2)=1.0$β = - 1$\beta=-1$

  Widzimy, że asymetria przyszłego rozkładu, wraz z faktem, że MAPE w różny sposób penalizuje niedopowiedzenia i niedoszacowanie, implikuje, że minimalizacja MAPE doprowadzi do mocno tendencyjnych prognoz. ( Oto obliczenie optymalnych prognoz punktowych w przypadku gamma. )

• Rozkład symetryczny o wysokim współczynniku zmienności. Załóżmy, że pochodzi z standardową sześciościenną kostką w każdym punkcie czasu . Poniższy obrazek ponownie pokazuje symulowaną ścieżkę próbki:$A_t$$t$

  

  W tym przypadku:

  • Linia przerywana przy minimalizuje oczekiwany MSE. Jest to oczekiwanie na szeregi czasowe.$F_t=3.5$

  • Każda prognoza (nie pokazana na wykresie) zminimalizuje oczekiwany MAE. Wszystkie wartości w tym przedziale są medianami szeregów czasowych.$3\leq F_t\leq 4$

  • Linia przerywana przy minimalizuje oczekiwane MAPE.$F_t=2$

  Ponownie widzimy, jak minimalizacja MAPE może prowadzić do stronniczej prognozy, z powodu różnicy kar, którą stosuje się do przeszacowania i niedomówień. W tym przypadku problem nie wynika z asymetrycznego rozkładu, ale z wysokiego współczynnika zmienności naszego procesu generowania danych.

  Jest to właściwie prosta ilustracja, której możesz nauczyć ludzi o niedociągnięciach MAPE - po prostu podaj uczestnikom kilka kości i każ im rzucić. Aby uzyskać więcej informacji, zobacz Kolassa i Martin (2011) .

Powiązane pytania krzyżowe

• Różnica między MSE a MAPE
• Najlepszy sposób na optymalizację MAPE
• Minimalizowanie symetrycznego średniego bezwzględnego błędu procentowego (SMAPE)
• MAPE vs R-kwadrat w modelach regresji
• Po co stosować określoną miarę błędu prognozy (np. MAD), a nie inną (np. MSE)?

Kod R.

Lognormal example:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Przykład rzutu kostką:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Referencje

Gneiting, T. Tworzenie i ocena prognoz punktowych . Journal of the American Statistics Association , 2011, 106, 746-762

Goodwin, P. i Lawton, R. O asymetrii symetrycznego MAPE . International Journal of Forecasting , 1999, 15, 405–408

Hoover, J. Pomiar dokładności prognoz: pominięcia w dzisiejszych silnikach do prognozowania i oprogramowaniu do planowania popytu . Foresight: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Dlaczego „najlepsza” prognoza punktowa zależy od błędu lub miary dokładności (zaproszony komentarz na temat konkurencji w prognozowaniu M4). International Journal of Forecasting , 2020, 36 (1), 208-211

Kolassa, S. i Martin, R. Błędy procentowe mogą zrujnować Twój dzień (a Rolling the Dice pokazuje jak) . Foresight: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Zalety stosunku MAD / średnia w stosunku do MAPE . Foresight: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Średni bezwzględny błąd procentowy i błąd w prognozach ekonomicznych . Economics Letters , 2011, 113, 259-262