Wyjaśnienie, co Nate Silver powiedział o lessu

W pytaniu, które zadałem niedawno , powiedziano mi, że ekstrapolacja za pomocą lessa była dużym „nie-nie”. Ale w najnowszym artykule Nate'a Silvera na FiveThirtyEight.com omówił wykorzystanie lessu do prognozowania wyborów.

Z lesssem omawiał specyfikę agresywnych i konserwatywnych prognoz z lesssem, ale jestem ciekawy, czy trafne jest przewidywanie przyszłych prognoz z lesssem?

Interesuje mnie również ta dyskusja i jakie są inne alternatywy, które mogą przynieść podobne korzyści.

— a.powell
źródło

Jeśli twoja zmienna x to czas, niebezpiecznie byłoby użyć less do przewidywania przyszłości (która byłaby poza zakresem danych). Ale to nie znaczy, że nie możesz używać lessa do generowania prognoz bardziej ogólnie.

— Glen_b

@Glen_b z ciekawości, co mógłbym przewidzieć „bardziej ogólnie”?

— a.powell

Wyobraź sobie nieliniową zależność między odsetkiem osób skłonnych do głosowania na partię A a stopą bezrobocia (wraz z innymi predyktorami - na przykład dla poszczególnych stanów). Wyobraź sobie, że właśnie pojawiły się nowe dane dotyczące bezrobocia; mieści się w przedziale wartości doświadczanych w zestawie treningowym, ale niekoniecznie jest to wartość reprezentowana w tym zestawie (np. wcześniejsze bezrobocie wynosi od 5 do 12%, a teraz mamy 8,3%, które według prognoz powinno być stałe). Następnie moglibyśmy użyć lessa, aby przewidzieć proporcję głosów A, nie przekraczając 5-12% bezrobocia.

— Glen_b

@Glen_b Dziękujemy. To wspaniała ilustracja tego, jak można go wykorzystać do prognoz.

— a.powell

Problem z lowess lub loess polega na tym, że wykorzystuje on interpolację wielomianową. W prognozowaniu dobrze wiadomo, że wielomiany mają zmienne zachowanie w ogonach. Podczas interpolacji fragmentaryczne wielomiany trzeciego stopnia zapewniają doskonałe i elastyczne modelowanie trendów, a ekstrapolując poza zakres obserwowanych danych, wybuchają. Gdybyś zaobserwował późniejsze dane w szeregach czasowych, na pewno musiałbyś uwzględnić kolejny punkt przerwania w splajnach, aby uzyskać dobre dopasowanie.

Modele prognostyczne są jednak dobrze zbadane w innych miejscach literatury. Proces filtrowania, taki jak filtr Kalmana i filtr cząstek stałych, zapewnia doskonałe prognozy. Zasadniczo dobrym modelem prognostycznym będzie cokolwiek opartego na łańcuchach Markowa, w których czas nie jest traktowany jako parametr w modelu, ale poprzednie stany modelu służą do informowania prognoz.

— AdamO
źródło