Statystyki i duże zbiory danych roc

3

Jak uzyskać probabilistyczną interpretację AUC?

Dlaczego obszar pod krzywą ROC to prawdopodobieństwo, że klasyfikator uszereguje losowo wybraną „pozytywną” instancję (na podstawie uzyskanych prognoz) wyższą niż przypadkowo wybrana „pozytywna” instancja (z oryginalnej pozytywnej klasy)? W jaki sposób można udowodnić matematycznie to stwierdzenie za pomocą całki, podając CDF i PDF prawdziwie dodatnie i ujemne rozkłady klas?

14 probability roc auc

5

Filozoficzne pytanie dotyczące regresji logistycznej: dlaczego nie trenuje się optymalnej wartości progowej?

Zwykle w regresji logistycznej dopasowujemy model i uzyskujemy prognozy dotyczące zestawu treningowego. Następnie weryfikujemy krzyżowo te prognozy treningowe (coś takiego jak tutaj ) i decydujemy o optymalnej wartości progowej na podstawie czegoś takiego jak krzywa ROC. Dlaczego nie uwzględnimy weryfikacji krzyżowej progu w rzeczywistym modelu i nie przeszkolimy tego od …

13 logistic cross-validation optimization roc threshold

1

Porównanie dwóch modeli, gdy krzywe ROC krzyżują się

Jednym z powszechnych mierników używanych do porównywania dwóch lub więcej modeli klasyfikacji jest wykorzystanie obszaru pod krzywą ROC (AUC) jako sposób na pośrednią ocenę ich wydajności. W takim przypadku model z większym AUC jest zwykle interpretowany jako działający lepiej niż model z mniejszym AUC. Ale według Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ …

13 machine-learning classification roc auc model-evaluation

2

Czy za pomocą pakietu Caret można uzyskać macierze pomyłek dla określonych wartości progowych?

Otrzymałem model regresji logistycznej (via train) dla odpowiedzi binarnej i uzyskałem macierz dezorientacji logistycznej przez confusionMatrixin caret. Daje mi to macierz dezorientacji modelu logistycznego, choć nie jestem pewien, jakiego progu używa się do jej uzyskania. Jak uzyskać macierz nieporozumień dla określonych wartości progowych za pomocą confusionMatrixin caret?

13 r classification roc caret confusion-matrix

1

Ocena modelu regresji logistycznej

Pracowałem nad modelem logistycznym i mam trudności z oceną wyników. Mój model to dwumianowy logit. Moje zmienne objaśniające to: zmienna kategorialna z 15 poziomami, zmienna dychotomiczna i 2 zmienne ciągłe. Mój N jest duży> 8000. Staram się modelować decyzję firm o inwestowaniu. Zmienna zależna to inwestycja (tak / nie), 15 …

13 r logistic goodness-of-fit roc

1

Jaka jest różnica między interpretacją krzywej GINI i AUC?

kiedyś tworzyliśmy krzywą GINI za pomocą wzrostu utworzonego za pomocą procentu dobrego i złego do modelowania karty wyników. Ale to, co badałem, to, że krzywa ROC jest tworzona przy użyciu macierzy konfuzji z Specyficznością (1- True Negative) jako osią x i czułością (true Positive) jako osią Y. Tak więc wynik …

13 roc gini

2

Jak narysować krzywą ROC dla drzew decyzyjnych?

Zwykle nie możemy narysować krzywej ROC dla dyskretnych klasyfikatorów, takich jak drzewa decyzyjne. Czy mam rację? Czy jest jakiś sposób na narysowanie krzywej ROC dla Dtrees?

13 roc cart

4

W R, jak obliczyć wartość p dla obszaru pod ROC

Trudno mi znaleźć sposób na obliczenie wartości p dla obszaru pod charakterystyką operatora odbiornika (ROC). Mam zmienną ciągłą i wynik testu diagnostycznego. Chcę sprawdzić, czy AUROC jest statystycznie istotny. Znalazłem wiele pakietów zajmujących się krzywymi ROC: pROC, ROCR, caTools, weryfikacja, Epi. Ale nawet po wielu godzinach spędzonych na czytaniu dokumentacji …

13 r p-value roc

1

Połączenia między

W uczeniu maszynowym możemy wykorzystać obszar pod krzywą ROC (często skracany AUC lub AUROC), aby podsumować, jak dobrze system może rozróżniać dwie kategorie. W teorii wykrywania sygnału często stosuje się (wskaźnik czułości) do podobnego celu. Oba są ściśle ze sobą powiązane i uważam, że są sobie równe, jeśli pewne założenia …

13 machine-learning roc auc signal-detection d-prime

2

Czy współczynnik kości jest taki sam jak dokładność?

Natrafiam na współczynnik kości dla podobieństwa objętości ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) i dokładności ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Wydaje mi się, że te dwa środki są takie same. jakieś pomysły?

13 descriptive-statistics roc accuracy precision-recall auc

3

Krzywa ROC przekraczająca przekątną

W tej chwili prowadzę klasyfikator binarny. Kiedy wykreślam krzywą ROC, na początku uzyskuję dobry skok, a następnie zmienia ona kierunek i przecina przekątną, a następnie oczywiście z powrotem w górę, tworząc krzywą w kształcie litery S. Jaka może być interpretacja / wyjaśnienie tego efektu? Dzięki

12 roc

5

Co krzywe ROC mówią ci, że tradycyjne wnioskowanie nie byłoby?

Kiedy miałbyś tendencję do używania krzywych ROC w niektórych innych testach w celu określenia zdolności prognostycznej niektórych pomiarów wyniku? Kiedy mamy do czynienia z dyskretnymi wynikami (żywy / martwy, obecny / nieobecny), co sprawia, że krzywe ROC są mniej lub bardziej potężne niż coś w rodzaju chi-kwadrat?

12 regression roc

1

Jak wybrać prawdopodobieństwo odcięcia dla rzadkiego zdarzenia Regresja logistyczna

Mam 100 000 obserwacji (9 zmiennych fikcyjnych) z 1000 pozytywów. Regresja logistyczna powinna w tym przypadku działać dobrze, ale prawdopodobieństwo odcięcia mnie zastanawia. W powszechnej literaturze wybieramy 50% wartości odcięcia, aby przewidzieć 1 i 0. Nie mogę tego zrobić, ponieważ mój model daje maksymalną wartość ~ 1%. Więc próg może …

11 regression logistic classification generalized-linear-model roc

1

Ocena klasyfikatorów: krzywe uczenia się vs krzywe ROC

Chciałbym porównać 2 różne klasyfikatory dla problemu klasyfikacji tekstów wieloklasowych, które wykorzystują duże zestawy danych szkoleniowych. Wątpię, czy powinienem użyć krzywych ROC, czy krzywych uczenia się, aby porównać 2 klasyfikatory. Z jednej strony krzywe uczenia się są przydatne do decydowania o wielkości zbioru danych szkoleniowych, ponieważ można znaleźć rozmiar zbioru …

11 machine-learning classification roc accuracy

4

Czy AUC prawdopodobieństwo prawidłowej klasyfikacji losowo wybranej instancji z każdej klasy?

Przeczytałem ten podpis w gazecie i nigdy nie widziałem AUC opisanego w ten sposób nigdzie indziej. Czy to prawda? Czy istnieje dowód lub prosty sposób, aby to zobaczyć? Ryc. 2 pokazuje dokładność predykcji zmiennych dychotomicznych wyrażonych jako obszar pod krzywą charakterystyczną dla działania odbiornika (AUC), co jest równoważne prawdopodobieństwu prawidłowej …

11 classification roc auc

Pytania otagowane jako roc