Statystyki i duże zbiory danych calibration

3

Wizualizacja kalibracji przewidywanego prawdopodobieństwa modelu

Załóżmy, że mam model predykcyjny, który generuje dla każdej instancji prawdopodobieństwo dla każdej klasy. Teraz zdaję sobie sprawę, że istnieje wiele sposobów oceny takiego modelu, jeśli chcę wykorzystać te prawdopodobieństwa do klasyfikacji (precyzja, przywołanie itp.). Rozumiem również, że krzywa ROC i obszar pod nią mogą być użyte do określenia, jak …

23 data-visualization classification predictive-models binary-data calibration

2

Dlaczego warto korzystać z skalowanie Platta?

Aby skalibrować poziom ufności do prawdopodobieństwa w nadzorowanym uczeniu się (powiedzmy, aby odwzorować pewność z SVM lub drzewa decyzyjnego przy użyciu danych z nadpróbkowanych danych) jedną z metod jest zastosowanie skalowania Platta (np. Uzyskiwanie skalibrowanych prawdopodobieństw z wzmocnienia ). Zasadniczo używa się regresji logistycznej do mapowania na . Zmienna zależna …

17 logistic cross-validation calibration

2

Scikit poprawny sposób kalibracji klasyfikatorów za pomocą CalibratedClassifierCV

Scikit ma CalibratedClassifierCV , co pozwala nam skalibrować nasze modele na konkretnej parze X, y. Stwierdza to również jasnodata for fitting the classifier and for calibrating it must be disjoint. Jeśli muszą być rozłączne, czy uzasadnione jest przeszkolenie klasyfikatora w następujących kwestiach? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Obawiam się, że …

16 cross-validation scikit-learn validation train calibration

1

Łączenie wykresów kalibracyjnych po wielokrotnej imputacji

Chciałbym uzyskać porady dotyczące łączenia wykresów kalibracyjnych / statystyk po wielokrotnym imputacji. W kontekście opracowywania modeli statystycznych w celu przewidywania przyszłego zdarzenia (np. Wykorzystanie danych z rejestrów szpitalnych do przewidywania przeżycia lub zdarzeń po wypisie ze szpitala), można sobie wyobrazić, że brakuje wielu informacji. Wielokrotna imputacja jest sposobem na poradzenie …

15 data-visualization data-imputation multiple-imputation pooling calibration

2

Jak wybrać optymalną szerokość pojemnika podczas kalibracji modeli prawdopodobieństwa?

Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność . Wykresy kalibracyjne i regresja izotoniczna . Metody te często wymagają zastosowania metody binowania na przewidywanych prawdopodobieństwach, dzięki czemu zachowanie wyniku (0, …

12 probability predictive-models binary-data calibration scoring-rules

3

Jak wybrać najlepszą metrykę do pomiaru mojej kalibracji?

Programuję i wykonuję programowanie testowe. Po wprowadzeniu zmian w kodzie uruchamiam testy. Czasem im się udaje, a czasem im się nie udaje. Przed uruchomieniem testu zapisuję liczbę od 0,01 do 0,99 dla mojej wiarygodności, że test się powiedzie. Chcę wiedzieć, czy poprawiam przewidywanie, czy mój test się powiedzie, czy nie. …

10 forecasting decision-theory calibration scoring-rules

2

Dlaczego regresja logistyczna jest dobrze skalibrowana i jak zepsuć jej kalibrację?

W scikit dowiedz się, jakie dokumenty dotyczą kalibracji prawdopodobieństwa, porównują regresję logistyczną z innymi metodami i zauważają, że losowy las jest gorzej skalibrowany niż regresja logistyczna. Dlaczego regresja logistyczna jest dobrze skalibrowana? Jak można zepsuć kalibrację regresji logistycznej (nie żeby nigdy tego nie chciał - tylko jako ćwiczenie)?

9 regression logistic calibration

Pytania otagowane jako calibration