Statystyki i duże zbiory danych accuracy

7

Dlaczego dokładność nie jest najlepszym miernikiem do oceny modeli klasyfikacji?

To jest ogólne pytanie, które zostało tutaj zadane pośrednio wiele razy, ale nie ma jednej wiarygodnej odpowiedzi. Byłoby wspaniale mieć szczegółową odpowiedź na to pytanie. Dokładność , odsetek poprawnych klasyfikacji wśród wszystkich klasyfikacji, jest bardzo prostą i bardzo „intuicyjną” miarą, ale może być słabą miarą w przypadku niezrównoważonych danych . …

107 machine-learning classification accuracy model-evaluation scoring-rules

6

Jaki jest najlepszy sposób na zapamiętanie różnicy między czułością, specyficznością, precyzją, dokładnością i pamięcią?

Pomimo tego, że widziałem te terminy 502847894789 razy, nie mogę przez całe życie zapamiętać różnicy między czułością, swoistością, precyzją, dokładnością i pamięcią. Są to dość proste pojęcia, ale nazwy są dla mnie bardzo nieintuicyjne, więc ciągle się mylę. Jaki jest dobry sposób myślenia o tych pojęciach, aby nazwy zaczęły mieć …

49 terminology accuracy sensitivity-specificity

4

Szkolenie drzewa decyzyjnego względem niezrównoważonych danych

Jestem nowy w eksploracji danych i staram się trenować drzewo decyzyjne względem zestawu danych, który jest wysoce niezrównoważony. Mam jednak problemy ze słabą dokładnością predykcyjną. Dane obejmują studentów studiujących kursy, a zmienną klasową jest status kursu, który ma dwie wartości - Wycofany lub Bieżący. Wiek Pochodzenie etniczne Płeć Oczywiście ... …

43 classification cart unbalanced-classes accuracy

6

Dlaczego otrzymuję drzewo decyzyjne 100% dokładności?

Otrzymuję 100% dokładność dla mojego drzewa decyzyjnego. Co ja robię źle? To jest mój kod: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train = x[0:2635] x_test = …

38 machine-learning python cart accuracy

1

Jakie są wady średniego bezwzględnego błędu procentowego (MAPE)?

Mean Absolute Procent Błąd ( mape ) jest powszechną miarą dokładności lub błąd w przypadku szeregów czasowych lub innych przewidywań, MAPE=100n∑t=1n|At−Ft|At%,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, gdzie to wartości rzeczywiste, a odpowiednie prognozy lub prognozy.F tAtAtA_tFtFtF_t MAPE to wartość procentowa, dzięki czemu możemy łatwo porównać ją między seriami, a ludzie mogą łatwo …

29 accuracy mape

5

Czy przerobiony model niekoniecznie jest bezużyteczny?

Załóżmy, że model ma 100% dokładności danych treningowych, ale 70% dokładności danych testowych. Czy następujący argument dotyczy tego modelu? Oczywiste jest, że jest to model przebudowany. Dokładność testu można zwiększyć, zmniejszając nadmierne dopasowanie. Ale ten model może nadal być użytecznym modelem, ponieważ ma akceptowalną dokładność dla danych testowych.

25 model accuracy overfitting

1

F1 / Dice-Score vs IoU

Byłem zdezorientowany różnicami między wynikiem F1, wynikiem Dice i IoU (przecięcie przez związek). Do tej pory dowiedziałem się, że F1 i Dice oznaczają to samo (prawda?), A IoU ma bardzo podobną formułę do pozostałych dwóch. F1 / Dice:2 tP.2 tP.+ F.P.+ F.N.2)T.P.2)T.P.+faP.+faN.\frac{2TP}{2TP+FP+FN} IoU / Jaccard:T.P.T.P.+ F.P.+ F.N.T.P.T.P.+faP.+faN.\frac{TP}{TP+FP+FN} Czy są jakieś …

24 terminology accuracy precision-recall

2

Interpretacja średniego bezwzględnego błędu skalowanego (MASE)

Średni bezwzględny błąd skali (MASE) to miara dokładności prognozy zaproponowana przez Koehlera i Hyndmana (2006) . MASE=MAEMAEin−sample,naiveMASE=MAEMAEin−sample,naiveMASE=\frac{MAE}{MAE_{in-sample, \, naive}} gdzie jest średnim błędem bezwzględnym spowodowanym faktyczną prognozą; podczas gdy jest średnim błędem bezwzględnym generowanym przez naiwną prognozę (np. prognoza braku zmian dla zintegrowanego szeregu czasowego ), obliczoną na podstawie danych …

22 time-series forecasting accuracy mase

3

Jak możemy ocenić dokładność prognoz Nate Silver?

Po pierwsze, podaje prawdopodobieństwo wyników. Na przykład jego prognozy dotyczące wyborów w USA wynoszą obecnie 82% Clintona vs. 18% Trumpa. Teraz, nawet jeśli Trump wygra, to skąd mam wiedzieć, że nie tylko 18% czasu powinien wygrać? Innym problemem jest to, że jego prawdopodobieństwo zmienia się w czasie. Tak więc 31 …

19 forecasting prediction validation accuracy scoring-rules

1

W jaki sposób zgłaszana jest macierz nieporozumień z K-krotnej walidacji krzyżowej?

Załóżmy, że wykonuję walidację krzyżową K-fold z K = 10 fałd. Dla każdej zakładki będzie jedna matryca pomieszania. Czy zgłaszając wyniki, powinienem obliczyć średnią macierz zamieszania, czy po prostu zsumować macierze zamieszania?

18 machine-learning cross-validation accuracy

2

Dokładność vs. pole pod krzywą ROC

Skonstruowałem krzywą ROC dla systemu diagnostycznego. Pole pod krzywą zostało następnie oszacowane nieparametrycznie na AUC = 0,89. Kiedy próbowałem obliczyć dokładność przy optymalnym ustawieniu progu (punkt najbliższy punktowi (0, 1)), dostałem dokładność układu diagnostycznego na 0,8, czyli mniej niż AUC! Kiedy sprawdziłem dokładność przy innym ustawieniu progu, który jest daleki …

16 roc reliability accuracy auc

3

Dobra dokładność pomimo wysokiej wartości strat

Podczas szkolenia prostego klasyfikatora binarnego sieci neuronowej uzyskuję wysoką wartość stratności, używając entropii krzyżowej. Mimo to wartość dokładności zestawu sprawdzania poprawności jest całkiem dobra. Czy to ma jakieś znaczenie? Nie ma ścisłej korelacji między stratą a dokładnością? Mam na szkoleniu i walidacji następujące wartości: 0,4011 - acc: 0,8224 - val_loss: …

15 neural-networks accuracy

2

Jeśli „Błąd standardowy” i „Przedziały ufności” mierzą precyzję pomiaru, to jakie są pomiary dokładności?

W książce „Biostatystyka manekinów” na stronie 40 czytam: Błąd standardowy (w skrócie SE) jest jednym ze sposobów wskazania, jak dokładna jest twoja ocena lub pomiar czegoś. i Przedziały ufności stanowią kolejny sposób na wskazanie dokładności oszacowania lub pomiaru czegoś. Ale nie ma nic, co wskazywałoby na dokładność pomiaru. Pytanie: Jak …

15 confidence-interval standard-error measurement-error accuracy

3

Jakie są różnice między AUC a wynikiem F1?

Wynik F1 jest harmoniczną średnią precyzji i przywołania. Oś y przywołania to prawdziwie dodatni wskaźnik (który jest również przywołaniem). Więc czasami klasyfikatory mogą mieć niski przywołanie, ale bardzo wysoką AUC, co to znaczy? Jakie są różnice między AUC a wynikiem F1?

14 machine-learning precision-recall auc accuracy

2

Czy dokładność = poziom błędu 1 testu

Przepraszam, jeśli jest to bardzo oczywiste pytanie, ale czytałem różne posty i nie mogę znaleźć dobrego potwierdzenia. Czy w przypadku klasyfikacji dokładność klasyfikatora = 1 poziom błędu testu ? Rozumiem, że dokładność to , ale moje pytanie dotyczy tego, jak dokładnie są one powiązane z dokładnością i poziomem błędu testu. …

14 classification terminology accuracy

Pytania otagowane jako accuracy