Statystyki i duże zbiory danych roc

2

Dostosowanie do zmiennych towarzyszących w analizie krzywej ROC

To pytanie dotyczy oceny wyników granicznych w wielowymiarowym kwestionariuszu przesiewowym w celu przewidzenia binarnego punktu końcowego w obecności skorelowanych skal. Zapytano mnie o zainteresowanie kontrolowaniem powiązanych wyników przy opracowywaniu punktów odcięcia dla każdego wymiaru skali pomiarowej (cechy osobowości), które mogłyby być wykorzystane do badań alkoholizmu. Oznacza to, że w tym …

20 epidemiology roc

3

ROC vs Krzywe precyzji przywoływania w niezrównoważonym zbiorze danych

Właśnie skończyłem czytać tę dyskusję. Twierdzą, że PR AUC jest lepszy niż ROC AUC w niezrównoważonym zbiorze danych. Na przykład mamy 10 próbek w zestawie danych testowych. 9 próbek jest pozytywnych, a 1 ujemna. Mamy okropny model, który przewiduje wszystko pozytywnie. Będziemy zatem mieć miarę, że TP = 9, FP …

18 machine-learning model-selection roc unbalanced-classes precision-recall

2

Różnica między analizą regresji a dopasowaniem krzywej

Czy ktoś może mi wyjaśnić prawdziwą różnicę między analizą regresji a dopasowaniem krzywej (liniową i nieliniową), podając przykład, jeśli to możliwe? Wydaje się, że obie próbują znaleźć związek między dwiema zmiennymi (zależne vs niezależne), a następnie określić parametr (lub współczynnik) związany z proponowanymi modelami. Na przykład, jeśli mam zestaw danych, …

17 regression multiple-regression fitting roc curve-fitting

1

Co to znaczy, że AUC jest częściowo poprawną zasadą punktacji?

Właściwa reguła punktacji jest regułą, która jest maksymalizowana przez „prawdziwy” model i nie pozwala na „zabezpieczanie” lub granie w system (celowe zgłaszanie różnych wyników, jak to jest prawdziwe przekonanie modelu o poprawie wyniku). Wynik Briera jest prawidłowy, dokładność (proporcja sklasyfikowana poprawnie) jest niewłaściwa i często zniechęcana. Czasami widzę, że AUC …

16 classification references roc measurement-error scoring-rules

3

Obszar pod krzywą ROC lub obszar pod krzywą PR dla niezrównoważonych danych?

Mam wątpliwości co do tego, który miernik wydajności zastosować, obszar pod krzywą ROC (TPR jako funkcja FPR) lub obszar pod krzywą precyzja-przywołanie (precyzja jako funkcja przywołania). Moje dane są niezrównoważone, tzn. Liczba negatywnych wystąpień jest znacznie większa niż pozytywnych. Korzystam z prognozy wyjściowej weka, próbka to: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 …

16 r machine-learning roc precision-recall auc

2

Dokładność vs. pole pod krzywą ROC

Skonstruowałem krzywą ROC dla systemu diagnostycznego. Pole pod krzywą zostało następnie oszacowane nieparametrycznie na AUC = 0,89. Kiedy próbowałem obliczyć dokładność przy optymalnym ustawieniu progu (punkt najbliższy punktowi (0, 1)), dostałem dokładność układu diagnostycznego na 0,8, czyli mniej niż AUC! Kiedy sprawdziłem dokładność przy innym ustawieniu progu, który jest daleki …

16 roc reliability accuracy auc

3

Czy AUC-ROC może wynosić od 0 do 0,5?

Czy wartości AUC-ROC mogą zawierać się w przedziale 0–0,5? Czy model generuje kiedykolwiek wartości od 0 do 0,5?

16 roc model-evaluation auc

4

Dokładność maszyny zwiększającej gradient zmniejsza się wraz ze wzrostem liczby iteracji

Eksperymentuję z algorytmem maszyny do zwiększania gradientu za pośrednictwem caretpakietu w R. Korzystając z małego zestawu danych o przyjęciach na studia, uruchomiłem następujący kod: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

2

Łączenie klasyfikatorów poprzez rzut monetą

Studiuję kurs uczenia maszynowego, a slajdy z wykładami zawierają informacje, które uważam za sprzeczne z zalecaną książką. Problem jest następujący: istnieją trzy klasyfikatory: klasyfikator A zapewniający lepszą wydajność w dolnym zakresie progów, klasyfikator B zapewniający lepszą wydajność w wyższym zakresie progów, klasyfikator C to, co otrzymujemy, przerzucając monetę p i …

15 machine-learning probability data-visualization classification roc

2

Jak przeprowadzić walidację krzyżową za pomocą proporcjonalnego modelu zagrożeń Coxa?

Załóżmy, że zbudowałem model predykcyjny dla wystąpienia określonej choroby w jednym zestawie danych (zestaw danych budowania modelu) i teraz chcę sprawdzić, jak dobrze model działa w nowym zestawie danych (zestaw danych sprawdzania poprawności). Dla modelu zbudowanego z regresją logistyczną obliczałbym przewidywane prawdopodobieństwo dla każdej osoby w zbiorze danych sprawdzania poprawności …

15 predictive-models cross-validation survival roc

4

Zalety krzywych ROC

Jakie są zalety krzywych ROC? Na przykład klasyfikuję niektóre obrazy, co jest problemem klasyfikacji binarnej. Wyodrębniłem około 500 obiektów i zastosowałem algorytm wyboru cech, aby wybrać zestaw cech, a następnie zastosowałem SVM do klasyfikacji. W takim przypadku jak mogę uzyskać krzywą ROC? Czy powinienem zmienić wartości progowe mojego algorytmu wyboru …

15 machine-learning roc

2

Średni ROC dla powtarzanej 10-krotnej walidacji krzyżowej z oszacowaniami prawdopodobieństwa

Planuję użyć powtarzanej (10 razy) stratyfikacji 10-krotnej krzyżowej walidacji na około 10 000 przypadków przy użyciu algorytmu uczenia maszynowego. Za każdym razem powtórzenie zostanie wykonane z innym losowym ziarnem. W tym procesie tworzę 10 przypadków oszacowań prawdopodobieństwa dla każdego przypadku. 1 przypadek oszacowania prawdopodobieństwa dla każdego z 10 powtórzeń 10-krotnej …

15 roc

3

Istotność statystyczna (wartość p) dla porównania dwóch klasyfikatorów w odniesieniu do (średniej) AUC ROC, czułości i swoistości

Mam zestaw testowy 100 przypadków i dwa klasyfikatory. Wygenerowałem prognozy i obliczyłem AUC ROC, czułość i swoistość dla obu klasyfikatorów. Pytanie 1: Jak obliczyć wartość p, aby sprawdzić, czy jedna jest znacznie lepsza od drugiej pod względem wszystkich wyników (AOC ROC, czułość, swoistość)? Teraz, dla tego samego zestawu testowego 100 …

14 machine-learning statistical-significance roc auc sensitivity-specificity

4

Jak interpretować krzywą ROC?

Zastosowałem regresję logistyczną do moich danych na SAS i oto krzywa ROC i tabela klasyfikacji. Czuję się dobrze z liczbami w tabeli klasyfikacji, ale nie jestem pewien, co pokazuje krzywa ROC i obszar pod nią. Wszelkie wyjaśnienia byłyby bardzo mile widziane.

14 regression logistic classification roc

4

Analiza ROC i multiROC: jak obliczyć optymalny punkt odcięcia?

Próbuję zrozumieć, jak obliczyć optymalny punkt odcięcia dla krzywej ROC (wartość, przy której czułość i swoistość są zmaksymalizowane). Korzystam z zestawu danych aSAHz pakietu pROC. outcomeZmienna może być wyjaśnione przez dwóch niezależnych zmiennych: s100ba ndka. Korzystając ze składni Epipakietu, stworzyłem dwa modele: library(pROC) library(Epi) ROC(form=outcome~s100b, data=aSAH) ROC(form=outcome~ndka, data=aSAH) Dane wyjściowe …

14 r roc sensitivity-analysis sensitivity-specificity

Pytania otagowane jako roc