Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład
- Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność .
- Wykresy kalibracyjne i regresja izotoniczna .
Metody te często wymagają zastosowania metody binowania na przewidywanych prawdopodobieństwach, dzięki czemu zachowanie wyniku (0, 1) jest wygładzane nad bin przez przyjęcie średniego wyniku.
Problem: Nie mogę jednak znaleźć niczego, co instruuje mnie, jak wybrać szerokość pojemnika.
Pytanie: Jak wybrać optymalną szerokość pojemnika?
Próba: Wydaje się, że dwie popularne szerokości pojemników to:
- Podział na grupy o równej szerokości, np. 10 przedziałów, z których każdy obejmuje 10% przedziału [0, 1].
- Omówiona tutaj metoda binningu Tukeya .
Ale czy te wybory pojemników są najbardziej optymalne, jeśli ktoś chciałby znaleźć przedziały w przewidywanych prawdopodobieństwach, które są najbardziej źle skalibrowane?