Oblicz krzywą ROC dla danych

Mam więc 16 prób, w których próbuję uwierzytelnić osobę z cechy biometrycznej za pomocą Hamminga. Mój próg jest ustawiony na 3,5. Moje dane są poniżej i tylko próba 1 jest prawdziwie pozytywna:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Moje zamieszanie polega na tym, że naprawdę nie jestem pewien, jak zrobić krzywą ROC (FPR vs. TPR LUB FAR vs. FRR) na podstawie tych danych. Tak naprawdę nie ma znaczenia, który z nich, ale jestem naprawdę zdezorientowany, jak zacząć go obliczać. Każda pomoc będzie mile widziana.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

— rohanbk
źródło

Tutaj stats.stackexchange.com/a/105577/49130 można znaleźć dodatkowe informacje na temat rysowania krzywej ROC

— Alexey Grigorev

Odpowiedzi:

Proponuję wykresy ROC: uwagi i praktyczne uwagi dla badaczy autorstwa Toma Fawcetta, naprawdę świetna lektura. O ile rozumiem twoje pytanie, w tym artykule znajdziesz wszystko, czego potrzebujesz.

Edycja: Zainspirowany przez Adama Chcę również polecić mój ulubiony pakiet R do tego zadania: ROCR .

— steffen
źródło

Czy znasz jakieś dobre pakiety Matlab, które mogą wykonać zadanie?

— rohanbk

@rohanbk Przepraszamy, nie. Dawno nie korzystałem z Matlaba.

— steffen,

@steffen link jest uszkodzony.

— Alleo,

@Alleo dziękuję za powiadomienie, link wskazuje teraz na cytat (gdzie pdf jest dostępny) ... powinno to trwać dłużej.

— steffen,

Dlaczego chcesz zrobić krzywą ROC? Czy chcesz wykreślić krzywą dla zmiennych zależnych, czy też chcesz użyć jej jako statystyki testowej w celu zmierzenia dokładności prognoz prawdopodobieństwa (w takim przypadku szukasz AUC [obszar pod krzywą] ).

Jeśli znasz R, pakiet weryfikacyjny w R ma dwie przydatne funkcje: roc.plot (), która pozwoli Ci wykreślić krzywą ROC oraz roc.area (), która pozwoli ci obliczyć AUC.

— Adam
źródło

Czy znasz jakieś dobre pakiety Matlab, które mogą wykonać zadanie?

— rohanbk