Statystyki i duże zbiory danych auc

3

Jakie są różnice między AUC a wynikiem F1?

Wynik F1 jest harmoniczną średnią precyzji i przywołania. Oś y przywołania to prawdziwie dodatni wskaźnik (który jest również przywołaniem). Więc czasami klasyfikatory mogą mieć niski przywołanie, ale bardzo wysoką AUC, co to znaczy? Jakie są różnice między AUC a wynikiem F1?

14 machine-learning precision-recall auc accuracy

1

Dlaczego warto używać znormalizowanego wyniku Gini zamiast AUC jako oceny?

Konkurs Kaggle'a W prognozie bezpiecznego kierowcy Porto Seguro wykorzystano znormalizowany wynik Gini jako miernik oceny, co zainteresowało mnie przyczynami tego wyboru. Jakie są zalety używania znormalizowanego wyniku Gini zamiast najbardziej typowych wskaźników, takich jak AUC, do oceny?

14 classification auc model-evaluation gini

3

Istotność statystyczna (wartość p) dla porównania dwóch klasyfikatorów w odniesieniu do (średniej) AUC ROC, czułości i swoistości

Mam zestaw testowy 100 przypadków i dwa klasyfikatory. Wygenerowałem prognozy i obliczyłem AUC ROC, czułość i swoistość dla obu klasyfikatorów. Pytanie 1: Jak obliczyć wartość p, aby sprawdzić, czy jedna jest znacznie lepsza od drugiej pod względem wszystkich wyników (AOC ROC, czułość, swoistość)? Teraz, dla tego samego zestawu testowego 100 …

14 machine-learning statistical-significance roc auc sensitivity-specificity

3

Jak uzyskać probabilistyczną interpretację AUC?

Dlaczego obszar pod krzywą ROC to prawdopodobieństwo, że klasyfikator uszereguje losowo wybraną „pozytywną” instancję (na podstawie uzyskanych prognoz) wyższą niż przypadkowo wybrana „pozytywna” instancja (z oryginalnej pozytywnej klasy)? W jaki sposób można udowodnić matematycznie to stwierdzenie za pomocą całki, podając CDF i PDF prawdziwie dodatnie i ujemne rozkłady klas?

14 probability roc auc

1

Czy regresja logistyczna maksymalizująca prawdopodobieństwo niekoniecznie maksymalizuje AUC w porównaniu z modelami liniowymi?

Biorąc pod uwagę zestaw danych z wynikami binarnymi i pewną macierzą predykcyjną , standardowy model regresji logistycznej szacuje współczynniki które maksymalizują prawdopodobieństwo dwumianowe. Gdy ma pełną pozycję, jest unikalny; gdy nie ma doskonałej separacji, jest skończona.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Czy ten model maksymalnego prawdopodobieństwa maksymalizuje AUC ROC (aka statystyka), czy też istnieje …

13 logistic maximum-likelihood auc

1

Porównanie dwóch modeli, gdy krzywe ROC krzyżują się

Jednym z powszechnych mierników używanych do porównywania dwóch lub więcej modeli klasyfikacji jest wykorzystanie obszaru pod krzywą ROC (AUC) jako sposób na pośrednią ocenę ich wydajności. W takim przypadku model z większym AUC jest zwykle interpretowany jako działający lepiej niż model z mniejszym AUC. Ale według Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ …

13 machine-learning classification roc auc model-evaluation

1

Oceń Random Forest: OOB vs CV

Kiedy oceniamy jakość Losowego Lasu, na przykład za pomocą AUC, czy bardziej odpowiednie jest obliczenie tych ilości na podstawie próbek po wyjęciu z torby lub na podstawie zestawu krzyżowego sprawdzania poprawności? Słyszałem, że obliczenie go na próbkach OOB daje bardziej pesymistyczną ocenę, ale nie rozumiem dlaczego.

13 cross-validation random-forest auc

1

Połączenia między

W uczeniu maszynowym możemy wykorzystać obszar pod krzywą ROC (często skracany AUC lub AUROC), aby podsumować, jak dobrze system może rozróżniać dwie kategorie. W teorii wykrywania sygnału często stosuje się (wskaźnik czułości) do podobnego celu. Oba są ściśle ze sobą powiązane i uważam, że są sobie równe, jeśli pewne założenia …

13 machine-learning roc auc signal-detection d-prime

2

Czy współczynnik kości jest taki sam jak dokładność?

Natrafiam na współczynnik kości dla podobieństwa objętości ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) i dokładności ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Wydaje mi się, że te dwa środki są takie same. jakieś pomysły?

13 descriptive-statistics roc accuracy precision-recall auc

3

Czy mój model jest dobry na podstawie wartości metryki diagnostycznej ( / AUC / dokładność / RMSE itp.)?

Dopasowałem swój model i staram się zrozumieć, czy jest on dobry. Obliczyłem zalecane miary, aby je ocenić ( / AUC / dokładność / błąd prognozowania itp.), Ale nie wiem, jak je interpretować. Krótko mówiąc, jak stwierdzić, czy mój model jest dobry na podstawie danych? Czy 0,6 (na przykład) wystarcza, abym …

12 goodness-of-fit r-squared accuracy auc diagnostic

2

optymalizacja auc vs logloss w problemach z klasyfikacją binarną

Wykonuję binarne zadanie klasyfikacyjne, w którym prawdopodobieństwo wyniku jest dość niskie (około 3%). Próbuję zdecydować, czy przeprowadzić optymalizację na podstawie AUC, czy utraty logów. O ile rozumiem, AUC maksymalizuje zdolność modelu do rozróżnienia między klasami, podczas gdy utrata logiczna karze rozbieżność między rzeczywistymi a szacowanymi prawdopodobieństwami. W moim zadaniu niezwykle …

12 classification binary-data auc log-loss

2

Porównać klasyfikatory oparte na AUROC lub dokładności?

Mam problem z klasyfikacją binarną i eksperymentuję z różnymi klasyfikatorami: chcę porównać klasyfikatory. który jest lepszym miernikiem AUC lub dokładnością? I dlaczego? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning classification auc

1

R / mgcv: Dlaczego produkty tensorowe te () i ti () wytwarzają różne powierzchnie?

mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

Co jest dobrym AUC dla krzywej przywołania dokładności?

Ponieważ mam bardzo niezrównoważony zestaw danych (9% pozytywnych wyników), zdecydowałem, że krzywa przywołania dokładności jest bardziej odpowiednia niż krzywa ROC. Otrzymałem analogiczną miarę sumaryczną pola powierzchni pod krzywą PR (0,49, jeśli jesteś zainteresowany), ale nie jestem pewien, jak ją interpretować. Słyszałem, że 0,8 lub więcej to dobry AUC dla ROC, …

11 classification precision-recall auc

4

Czy AUC prawdopodobieństwo prawidłowej klasyfikacji losowo wybranej instancji z każdej klasy?

Przeczytałem ten podpis w gazecie i nigdy nie widziałem AUC opisanego w ten sposób nigdzie indziej. Czy to prawda? Czy istnieje dowód lub prosty sposób, aby to zobaczyć? Ryc. 2 pokazuje dokładność predykcji zmiennych dychotomicznych wyrażonych jako obszar pod krzywą charakterystyczną dla działania odbiornika (AUC), co jest równoważne prawdopodobieństwu prawidłowej …

11 classification roc auc

Pytania otagowane jako auc