Czy mój meteorolog jest dokładny?

Pytanie, które martwiło mnie przez jakiś czas, na które nie wiem jak odpowiedzieć:

Każdego dnia mój meteorolog daje procentową szansę na deszcz (załóżmy, że obliczono go na 9000 cyfr i nigdy nie powtórzył żadnej liczby). Każdego dnia pada albo nie pada.

Mam lata danych - procent szans względem deszczu czy nie. Biorąc pod uwagę historię tego meteorologa , jeśli powie dzisiejszej nocy, że jutrzejszą szansą na deszcz jest X, to jak najlepiej zgadnąć, jaka jest naprawdę szansa na deszcz?

W efekcie myślisz o modelu, w którym prawdziwa szansa na deszcz, p , jest funkcją przewidywanej szansy q : p = p (q ). Za każdym razem, gdy dokonywana jest prognoza, obserwujemy jedną realizację wariantu Bernoulliego mającego prawdopodobieństwo p (q) sukcesu. Jest to klasyczny układ regresji logistycznej, jeśli chcesz modelować prawdziwą szansę jako liniową kombinację funkcji podstawowych f1 , f2 , ..., fk ; to znaczy, mówi model

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

z błędami iid e . Jeśli nie masz pewności co do formy relacji (chociaż jeśli meteorolog ma jakieś dobre p (q) - q powinno być dość małe), rozważ użycie zestawu splajnów jako podstawy. Wynik jak zwykle składa się z oszacowań współczynników i oszacowania wariancji e . Biorąc pod uwagę każdą przyszłą prognozę q , po prostu podłącz wartość do modelu z oszacowanymi współczynnikami, aby uzyskać odpowiedź na swoje pytanie (i użyj wariancji e, aby skonstruować przedział predykcji wokół tej odpowiedzi, jeśli chcesz).

Ramy te są wystarczająco elastyczne, aby uwzględnić inne czynniki, takie jak możliwość zmian jakości prognoz w czasie. Pozwala także przetestować hipotezy, takie jak czy p = q (co domniemanie twierdzi meteorolog).

Porównanie prognozy prawdopodobieństwa dla zdarzenia binarnego (lub dyskretnej zmiennej losowej) można wykonać na podstawie wyniku Briera

$\tau$$\tau$

Powinieneś spojrzeć na to, w jaki sposób Europejskie Centrum Prognozy Średniego Zasięgu ( robi to ECMWF ).

Kiedy prognoza mówi „X procent szans na deszcz w (obszarze)”, oznacza to, że numeryczny model pogody wskazał deszcz na X procentach powierzchni dla danego przedziału czasowego. Na przykład normalnie byłoby dokładne przewidzieć „100-procentową szansę na deszcz w Ameryce Północnej”. Należy pamiętać, że modele są dobre w przewidywaniu dynamiki i słabe w przewidywaniu termodynamiki.

Podejście Brier Score jest bardzo proste i najbardziej bezpośrednio stosowany sposób zweryfikowania dokładności przewidywanego wyniku w stosunku do zdarzenia binarnego.

Nie polegaj tylko na formułach ... wykreśl wyniki dla różnych okresów, danych, błędów, [ważonej] średniej kroczącej danych, błędów ... trudno powiedzieć, co może pokazać analiza wizualna ... po tym, jak pomyślisz jeśli coś zobaczysz, będziesz lepiej wiedzieć, jaki test hipotezy wykonać, dopóki nie spojrzysz na dane.

Wynik Briera z natury zakłada stabilność zmienności / leżących u podstaw rozkładów pogodowych i technologicznych napędzających modele prognostyczne, brak liniowości, brak odchylenia, brak zmiany odchylenia ... zakłada, że ​​ten sam ogólny poziom dokładności / niedokładności jest spójny. W miarę zmian klimatu w sposób, który nie jest jeszcze zrozumiany, dokładność prognoz pogody zmniejszyłaby się; i odwrotnie, naukowcy przekazujący informacje meteorologowi mają więcej zasobów, pełniejsze modele, więcej mocy obliczeniowej, więc być może dokładność prognoz wzrośnie. Patrzenie na błędy powiedziałoby coś o stabilności, liniowości i nastawieniu prognoz ... możesz nie mieć wystarczającej ilości danych, aby zobaczyć trendy; możesz się dowiedzieć, że stabilność, liniowość i stronniczość nie stanowią problemu. Możesz dowiedzieć się, że prognozy pogody stają się dokładniejsze ... czy nie.

A co powiesz na binowanie podanych prognoz i przyjmowanie zaobserwowanych frakcji jako wartości szacunkowej dla każdego bin?

Możesz uogólnić to na model ciągły, ważąc wszystkie obserwacje wokół twojej wartości zainteresowania (powiedz prognozy do jutra) przez Gaussa i sprawdzając, jaka jest średnia ważona.

Możesz odgadnąć szerokość, aby uzyskać określony ułamek swoich danych (lub, powiedzmy, nigdy nie mniej niż 100 punktów dla dobrego oszacowania). Alternatywnie użyj metody, takiej jak krzyżowa walidacja maksymalnego prawdopodobieństwa, aby uzyskać szerokość Gaussa.

Czy chcesz wiedzieć, czy jego prognoza jest dokładniejsza niż inna prognoza? Jeśli tak, możesz spojrzeć na podstawowe miary dokładności dla klasyfikacji probabilistycznej, takie jak entropia krzyżowa, precyzja / przywołanie, krzywe ROC i wynik f1.

Sprawdzenie, czy prognoza jest obiektywnie dobra, to inna sprawa. Jedną z opcji jest sprawdzenie kalibracji. Ze wszystkich dni, w których powiedział, że będzie 90% szans na deszcz, czy około 90% z tych dni miało deszcz? Weź wszystkie dni, w których ma prognozę, a następnie połącz je według jego oszacowania prawdopodobieństwa deszczu. Dla każdego wiadra oblicz procent dni, w których faktycznie wystąpił deszcz. Następnie dla każdego wiadra wykreśl rzeczywiste prawdopodobieństwo deszczu w stosunku do jego szacunków dotyczących prawdopodobieństwa deszczu. Wykres będzie wyglądał jak linia prosta, jeśli prognoza jest dobrze skalibrowana.