Klasyfikator z regulowaną precyzją vs przywołanie

Pracuję nad problemem klasyfikacji binarnej, w której znacznie ważniejsze jest, aby nie mieć fałszywych trafień; całkiem sporo fałszywych negatywów jest w porządku. Użyłem na przykład wielu klasyfikatorów w sklearn, ale myślę, że żaden z nich nie ma możliwości wyraźnego dostosowania kompromisu przywoływania precyzji (dają całkiem dobre wyniki, ale nie można ich regulować).

Jakie klasyfikatory mają regulowaną dokładność / przywołanie? Czy jest jakiś sposób, aby wpłynąć na kompromis precyzji / wycofania w przypadku standardowych klasyfikatorów, np. Random Forest lub AdaBoost?

Prawie wszystkie klasyfikatory scikit-learn mogą podawać wartości decyzyjne (przez decision_functionlub predict_proba).

Na podstawie wartości decyzji łatwo jest obliczyć krzywe przywołania dokładności i / lub ROC. scikit-learn udostępnia te funkcje w podmodule metryk .

Minimalny przykład, zakładając, że masz datai labelsz odpowiednią zawartością:

import sklearn.svm
import sklearn.metrics
from matplotlib import pyplot as plt

clf = sklearn.svm.LinearSVC().fit(data, labels)
decision_values = clf.decision_function(data)

precision, recall, thresholds = sklearn.metrics.precision_recall_curve(labels, decision_values)

plt.plot(recall, precision)
plt.show()

Właśnie rozwiązałem ten problem, zanim wpadłem na to pytanie, więc postanowiłem podzielić się moim rozwiązaniem.

Wykorzystuje to samo podejście, które zaproponował Marc Claesen, ale odpowiada na aktualne pytanie, w jaki sposób dostosować klasyfikator, aby przejść wyżej na osi precyzyjnej, wycofując się z wycofania.

X_test to dane, a y_test to prawdziwe etykiety. Klasyfikator powinien być już zamontowany.

y_score = clf.decision_function(X_test)

prcsn,rcl,thrshld=precision_recall_curve(y_test,y_score)

min_prcsn=0.25 # here is your precision lower bound e.g. 25%
min_thrshld=min([thrshld[i] for i in range(len(thrshld)) if prcsn[i]>min_prcsn])

I w ten sposób użyjesz nowo nauczonego minimalnego progu, aby skorygować swoje przewidywania (w przeciwnym razie dostaniesz wywołanie przewidywania (X_test))

y_pred_adjusted=[1 if y_s>min_thrshld else 0 for y_s in y_score]

Byłoby miło usłyszeć Twoją opinię na temat tego przepisu na dostosowanie.

Oto funkcja

http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html#sklearn.ensemble.RandomForestClassifier.predict_proba

co daje prawdopodobieństwa klasowe. Następnie użyj różnych wskaźników, aby dostosować próg, P, którego używasz przy podejmowaniu decyzji, postępując zgodnie z pseudo-kodem

jeśli p (y)> P, to y = 1, inaczej y = 0 endif