Czy istnieje jakaś standardowa metoda określania „optymalnego” punktu pracy na krzywej dokładnego przywołania ? (tj. określenie punktu na krzywej, który zapewnia dobry kompromis między precyzją a przywołaniem)
Dzięki
Czy istnieje jakaś standardowa metoda określania „optymalnego” punktu pracy na krzywej dokładnego przywołania ? (tj. określenie punktu na krzywej, który zapewnia dobry kompromis między precyzją a przywołaniem)
Dzięki
Odpowiedzi:
Definicja „optymalnej” będzie oczywiście zależeć od konkretnych celów, ale oto kilka stosunkowo „standardowych” metod:
Punkt równego poziomu błędu (EER): punkt, w którym precyzja jest równa przywołaniu. Dla niektórych jest to „naturalny” punkt operacyjny.
Udoskonalona i bardziej oparta na zasadach wersja powyższego ma na celu określenie kosztu różnego rodzaju błędów i optymalizację tego kosztu. Powiedz, że błędna klasyfikacja przedmiotu (błąd w precyzji) jest dwa razy droższa niż całkowite pominięcie przedmiotu (błąd przy odwołaniu). Zatem najlepszym punktem operacyjnym jest to, gdzie (1 - przywołanie) = 2 * (1 - precyzja).
W niektórych problemach ludzie mają naturalną minimalną akceptowalną szybkość albo precyzji, albo wycofania. Powiedz, że wiesz, że jeśli ponad 20% pobranych danych jest niepoprawnych, użytkownicy przestaną korzystać z Twojej aplikacji. Następnie naturalne jest ustawienie precyzji na 80% (lub nieco niżej) i zaakceptowanie wycofania, jakie masz w tym momencie.
Kontynuacja drugiego i trzeciego punktu SheldonCooper: Idealnym wyborem jest, aby ktoś inny dokonał wyboru, albo w formie progu (punkt 3), albo kompromisu kosztów i korzyści (punkt 2). Być może najlepszym sposobem na zaoferowanie im wyboru jest krzywa ROC .
Nie jestem pewien, jak to jest „standardowe”, ale jednym ze sposobów byłoby wybranie punktu najbliższego (1, 1) - tj. 100% przywołania i 100% precyzji. To byłaby optymalna równowaga między tymi dwoma środkami. Zakłada się, że nie cenisz precyzji w stosunku do wycofania lub odwrotnie.