Statystyki i duże zbiory danych precision-recall

3

Sugestie dotyczące uczenia się z uwzględnieniem kosztów w warunkach wysoce niezrównoważonych

Mam zestaw danych z kilkoma milionami wierszy i ~ 100 kolumnami. Chciałbym wykryć około 1% przykładów w zestawie danych, które należą do wspólnej klasy. Mam ograniczenie minimalnej precyzji, ale z powodu bardzo asymetrycznego kosztu nie jestem zbytnio zainteresowany żadnym konkretnym wycofaniem (o ile nie mam 10 pozytywnych wyników!) Jakie są …

15 machine-learning classification unbalanced-classes precision-recall

2

Rosnąca liczba funkcji powoduje spadek dokładności, ale wzrost wstępnego / wycofania

Jestem nowy w uczeniu maszynowym. W tej chwili używam klasyfikatora Naive Bayes (NB) do klasyfikowania małych tekstów w 3 klasach jako pozytywne, negatywne lub neutralne, używając NLTK i python. Po przeprowadzeniu niektórych testów z zestawem danych złożonym z 300 000 instancji (16 924 pozytywów 7 477 negatywów i 275 599 …

15 machine-learning classification naive-bayes precision-recall

2

Co to jest „linia bazowa” w precyzyjnej krzywej przywołania

Próbuję zrozumieć krzywą przywołania precyzji, rozumiem, na czym polega precyzja i przywołanie, ale nie rozumiem wartości „podstawowej”. Czytałem ten link https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ i nie rozumiem części podstawowej, jak pokazano w „Krzywej precyzji-przywołania doskonałego klasyfikatora”, co to robi? i jak to obliczyć? Czy to tylko losowa linia bazowa, którą wybraliśmy? Na przykład …

15 r machine-learning classification precision-recall

3

Jakie są różnice między AUC a wynikiem F1?

Wynik F1 jest harmoniczną średnią precyzji i przywołania. Oś y przywołania to prawdziwie dodatni wskaźnik (który jest również przywołaniem). Więc czasami klasyfikatory mogą mieć niski przywołanie, ale bardzo wysoką AUC, co to znaczy? Jakie są różnice między AUC a wynikiem F1?

14 machine-learning precision-recall auc accuracy

4

Obliczanie AUPR w R [zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 8 miesięcy temu . Łatwo jest znaleźć obszar obliczania pakietu pod ROC, ale czy istnieje pakiet, który oblicza obszar pod krzywą dokładnego przywołania?

14 r precision-recall

2

Czy współczynnik kości jest taki sam jak dokładność?

Natrafiam na współczynnik kości dla podobieństwa objętości ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) i dokładności ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Wydaje mi się, że te dwa środki są takie same. jakieś pomysły?

13 descriptive-statistics roc accuracy precision-recall auc

5

Dlaczego suma Precyzji i Odwołania nie jest godnym środkiem?

Jaki jest najlepszy sposób, aby wyjaśnić, dlaczego jest nie dobry środek, powiedzmy, w porównaniu do F1?Precision+RecallPrecision+Recall\text{Precision} + \text{Recall}

12 precision-recall

1

Jak zmniejszyć liczbę fałszywych trafień?

Próbuję rozwiązać zadanie zwane wykrywaniem pieszych i trenuję binarny clasifer na dwóch kategoriach pozytywnych - ludzie, negatywne - tło. Mam zestaw danych: liczba wyników dodatnich = 3752 liczba ujemna = 3800 Używam train \ test split 80 \ 20% i RandomForestClassifier z scikit-learn z parametrami: RandomForestClassifier(n_estimators=100, max_depth=50, n_jobs= -1) Otrzymuję …

12 classification random-forest unbalanced-classes precision-recall computer-vision

2

Jak porównać dwa algorytmy rankingu?

Chcę porównać dwa algorytmy rankingu. W tych algorytmach klient określa pewne warunki w swoim wyszukiwaniu. Zgodnie z wymaganiami klienta, algorytm ten powinien przypisać ocenę każdemu elementowi w bazie danych i pobrać elementy o najwyższym wyniku. Na tej stronie przeczytałem różne tematy związane z moim pytaniem i przeszukałem sieć. Według moich …

12 machine-learning precision-recall average-precision

1

Jak utworzyć krzywą Precision-Recall, gdy mam tylko jedną wartość PR?

Mam zadanie eksploracji danych, w którym tworzę system wyszukiwania obrazów oparty na treści. Mam 20 zdjęć 5 zwierząt. Łącznie więc 100 zdjęć. Mój system zwraca 10 najbardziej odpowiednich obrazów do obrazu wejściowego. Teraz muszę ocenić wydajność mojego systemu za pomocą krzywej Precision-Recall. Nie rozumiem jednak koncepcji krzywej Precyzja-Przywołanie. Powiedzmy, że …

12 data-mining matlab precision-recall curves computer-vision

2

Dlaczego nie używamy ważonej średniej arytmetycznej zamiast średniej harmonicznej?

Zastanawiam się, jaka jest wewnętrzna wartość stosowania średniej harmonicznej (na przykład do obliczania miar F), a nie ważonej średniej arytmetycznej w łączeniu precyzji i przypominania? Myślę, że ważona średnia arytmetyczna może odgrywać rolę średniej harmonicznej, czy coś mi brakuje?

12 machine-learning monte-carlo precision-recall harmonic-mean

1

Test istotności oparty na precyzji / wycofaniu / F1

Czy możliwe jest wykonanie testu istotności opartego wyłącznie na wynikach precyzji / odwołania / F1? Na przykład, jeśli natrafisz na 2 systemy w dokumencie, dla którego zgłaszane są tylko P / R / F1 (w tym samym zbiorze danych itp.), Czy możesz następnie przeprowadzić test istotności statystycznej? Jeśli tak, jak …

12 statistical-significance precision-recall

5

Jak obliczyć precyzję i przywołać w macierzy pomieszania 3 x 3

Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 Jak obliczyć precyzję i przywołać, aby łatwo było obliczyć wynik F1. Normalna macierz pomieszania ma wymiar 2 x 2. Kiedy jednak staje się 3 x 3, nie wiem, jak obliczyć precyzję …

12 machine-learning precision-recall

1

Uśrednianie precyzji i przywoływanie podczas korzystania z weryfikacji krzyżowej

Przeprowadziłem klasyfikację przy użyciu wielu klasyfikatorów dla danych oznaczonych 2 klasami i użyłem 5-krotnej walidacji krzyżowej. Dla każdej zakładki obliczyłem tp, tn, fp i fn. Następnie obliczyłem dokładność, precyzję, wycofanie i wynik F dla każdego testu. Moje pytanie brzmi: kiedy chcę uśrednić wyniki, wziąłem średnią dokładności, ale czy mogę również …

11 classification cross-validation precision-recall

3

Jak wybrać dobry punkt pracy z dokładnych krzywych przywołania?

Czy istnieje jakaś standardowa metoda określania „optymalnego” punktu pracy na krzywej dokładnego przywołania ? (tj. określenie punktu na krzywej, który zapewnia dobry kompromis między precyzją a przywołaniem) Dzięki

11 machine-learning precision-recall

Pytania otagowane jako precision-recall