Statystyki i duże zbiory danych scoring-rules

7

Dlaczego dokładność nie jest najlepszym miernikiem do oceny modeli klasyfikacji?

To jest ogólne pytanie, które zostało tutaj zadane pośrednio wiele razy, ale nie ma jednej wiarygodnej odpowiedzi. Byłoby wspaniale mieć szczegółową odpowiedź na to pytanie. Dokładność , odsetek poprawnych klasyfikacji wśród wszystkich klasyfikacji, jest bardzo prostą i bardzo „intuicyjną” miarą, ale może być słabą miarą w przypadku niezrównoważonych danych . …

107 machine-learning classification accuracy model-evaluation scoring-rules

3

Jaka jest podstawowa przyczyna problemu braku równowagi klas?

Ostatnio dużo myślałem o „problemie nierównowagi klas” w uczeniu maszynowym / statystycznym i coraz głębiej odczuwam, że po prostu nie rozumiem, co się dzieje. Najpierw pozwól mi zdefiniować (lub spróbować) zdefiniować moje warunki: Problemem klasa nierównowaga w maszyny / uczenia statystycznego jest obserwacja, że niektóre klasyfikacji binarnej (*) algorytmy nie …

30 classification predictive-models unbalanced-classes scoring-rules

1

Metryki błędów dla krzyżowej weryfikacji modeli Poissona

Sprawdzam krzyżowo model, który próbuje przewidzieć liczbę. Gdyby to był problem z klasyfikacją binarną, obliczyłbym nieoczekiwane AUC, a jeśli byłby to problem regresji, obliczyłbym nieoczekiwanie RMSE lub MAE. W przypadku modelu Poissona, jakich mierników błędów mogę użyć do oceny „dokładności” prognoz poza próbą? Czy istnieje rozszerzenie AUC Poissona, które sprawdza, …

29 cross-validation poisson-distribution count-data deviance scoring-rules

2

Kiedy właściwe jest stosowanie niewłaściwej reguły punktacji?

Merkle i Steyvers (2013) piszą: Aby formalnie zdefiniować prawidłową regułę punktacji, niech będzie prognozą probabilistyczną próby Bernoulliego z prawdziwym prawdopodobieństwem powodzenia . Prawidłowe reguły punktacji to miary, których oczekiwane wartości są zminimalizowane, jeśli .faffreddpppfa= pf=pf = p Rozumiem, że jest to dobre, ponieważ chcemy zachęcić prognostów do generowania prognoz, które …

27 classification forecasting scoring-rules

6

Jak wybrać pomiędzy ROC AUC a wynikiem F1?

Niedawno ukończyłem zawody Kaggle, w których stosowano wynik roc auc zgodnie z wymogami zawodów. Przed tym projektem zwykle stosowałem wynik F1 jako miarę do pomiaru wydajności modelu. Idąc dalej, zastanawiam się, jak powinienem wybrać pomiędzy tymi dwoma danymi? Kiedy stosować i jakie są ich zalety i wady? Przy okazji, przeczytałem …

26 machine-learning modeling roc scoring-rules

1

Wybór spośród właściwych zasad punktacji

Większość zasobów na temat prawidłowych reguł punktowania wymienia szereg różnych zasad punktacji, takich jak utrata logów, wynik Briera lub punktacja sferyczna. Często jednak nie udzielają zbyt wielu wskazówek na temat różnic między nimi. (Dowód A: Wikipedia .) Wybór modelu, który maksymalizuje wynik logarytmiczny, odpowiada wybraniu modelu największej wiarygodności, co wydaje …

22 machine-learning classification model-selection theory scoring-rules

3

Jak możemy ocenić dokładność prognoz Nate Silver?

Po pierwsze, podaje prawdopodobieństwo wyników. Na przykład jego prognozy dotyczące wyborów w USA wynoszą obecnie 82% Clintona vs. 18% Trumpa. Teraz, nawet jeśli Trump wygra, to skąd mam wiedzieć, że nie tylko 18% czasu powinien wygrać? Innym problemem jest to, że jego prawdopodobieństwo zmienia się w czasie. Tak więc 31 …

19 forecasting prediction validation accuracy scoring-rules

1

Co to znaczy, że AUC jest częściowo poprawną zasadą punktacji?

Właściwa reguła punktacji jest regułą, która jest maksymalizowana przez „prawdziwy” model i nie pozwala na „zabezpieczanie” lub granie w system (celowe zgłaszanie różnych wyników, jak to jest prawdziwe przekonanie modelu o poprawie wyniku). Wynik Briera jest prawidłowy, dokładność (proporcja sklasyfikowana poprawnie) jest niewłaściwa i często zniechęcana. Czasami widzę, że AUC …

16 classification references roc measurement-error scoring-rules

1

Czy dokładność jest niewłaściwą zasadą punktacji w ustawieniach klasyfikacji binarnej?

Ostatnio uczyłem się o prawidłowych regułach punktacji dla klasyfikatorów probabilistycznych. Kilka wątków na tej stronie internetowej podkreślało, że dokładność jest niewłaściwą zasadą punktacji i nie należy jej wykorzystywać do oceny jakości prognoz generowanych przez model probabilistyczny, taki jak regresja logistyczna. Jednak wiele artykułów akademickich, które przeczytałem, podało utratę błędnej klasyfikacji …

13 probability accuracy scoring-rules

2

Jak wybrać optymalną szerokość pojemnika podczas kalibracji modeli prawdopodobieństwa?

Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność . Wykresy kalibracyjne i regresja izotoniczna . Metody te często wymagają zastosowania metody binowania na przewidywanych prawdopodobieństwach, dzięki czemu zachowanie wyniku (0, …

12 probability predictive-models binary-data calibration scoring-rules

1

Nazwa średniego błędu bezwzględnego analogicznego do wyniku Briera?

Wczorajsze pytanie Określ dokładność modelu, który szacuje prawdopodobieństwo zdarzenia, zainteresowało mnie do oceny prawdopodobieństwa. Wynik Briera jest średnią kwadratową miarą błędu. Czy analogiczna średnia miara błędu bezwzględnego masz też imię?1N.∑i = 1N.( p r e di c t i O Nja- r e fe r e n c eja)2)1N.∑ja=1N.(prmirejadotjaonja-rmifamirmindomija)2)\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i …

12 classification error validation scoring-rules brier-score

1

Określ dokładność modelu, który szacuje prawdopodobieństwo zdarzenia

Modeluję wydarzenie z dwoma wynikami, a i b. Stworzyłem model, który ocenia prawdopodobieństwo wystąpienia albo a lub b (tj. Model obliczy, że a nastąpi z 40% szansą, a b z 60% szansą). Mam duży zapis wyników prób z oszacowaniami z modelu. Chciałbym określić ilościowo, jak dokładny model wykorzystuje te dane …

12 predictive-models scoring-rules

3

Jak wybrać najlepszą metrykę do pomiaru mojej kalibracji?

Programuję i wykonuję programowanie testowe. Po wprowadzeniu zmian w kodzie uruchamiam testy. Czasem im się udaje, a czasem im się nie udaje. Przed uruchomieniem testu zapisuję liczbę od 0,01 do 0,99 dla mojej wiarygodności, że test się powiedzie. Chcę wiedzieć, czy poprawiam przewidywanie, czy mój test się powiedzie, czy nie. …

10 forecasting decision-theory calibration scoring-rules

1

Który model głębokiego uczenia może klasyfikować kategorie, które nie wykluczają się wzajemnie

Przykłady: w opisie stanowiska mam zdanie: „Starszy inżynier Java w Wielkiej Brytanii”. Chcę użyć modelu głębokiego uczenia się, aby przewidzieć go jako 2 kategorie: English i IT jobs. Jeśli użyję tradycyjnego modelu klasyfikacji, może on przewidzieć tylko 1 etykietę z softmaxfunkcją na ostatniej warstwie. Dlatego mogę użyć 2 modelowych sieci …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

1

Kiedy odpowiednia reguła punktacji jest lepszym oszacowaniem uogólnienia w warunkach klasyfikacji?

Typowym podejściem do rozwiązania problemu z klasyfikacją jest identyfikacja klasy modeli kandydujących, a następnie dokonanie wyboru modelu za pomocą procedury takiej jak walidacja krzyżowa. Zazwyczaj wybiera się model z najwyższą dokładnością lub jakąś powiązaną funkcję, która koduje informacje specyficzne dla problemu, takie jakfaβFβ\text{F}_\beta. Zakładając, że celem końcowym jest stworzenie dokładnego …

9 machine-learning model-selection error scoring-rules

Pytania otagowane jako scoring-rules