Statystyki i duże zbiory danych model-evaluation

7

Dlaczego dokładność nie jest najlepszym miernikiem do oceny modeli klasyfikacji?

To jest ogólne pytanie, które zostało tutaj zadane pośrednio wiele razy, ale nie ma jednej wiarygodnej odpowiedzi. Byłoby wspaniale mieć szczegółową odpowiedź na to pytanie. Dokładność , odsetek poprawnych klasyfikacji wśród wszystkich klasyfikacji, jest bardzo prostą i bardzo „intuicyjną” miarą, ale może być słabą miarą w przypadku niezrównoważonych danych . …

107 machine-learning classification accuracy model-evaluation scoring-rules

7

Najlepszy algorytm PCA dla ogromnej liczby funkcji (> 10 KB)?

Wcześniej zapytałem o to na StackOverflow, ale wydaje się, że może być bardziej odpowiednie tutaj, biorąc pod uwagę, że nie otrzymało żadnych odpowiedzi na SO. To trochę na styku statystyki i programowania. Muszę napisać kod, aby wykonać PCA (Principal Component Analysis). Przejrzałem dobrze znane algorytmy i zaimplementowałem ten , który, …

54 pca algorithms model-evaluation high-dimensional

5

Zoptymalizowane implementacje algorytmu Random Forest

Zauważyłem, że istnieje kilka implementacje losowej lasu, takich jak ALGLIB, gofry i kilka pakietów, takich jak R randomForest. Czy ktoś może mi powiedzieć, czy te biblioteki są wysoce zoptymalizowane? Czy są one w zasadzie równoważne losowym lasom opisanym w Elementach statystycznego uczenia się, czy też dodano wiele dodatkowych sztuczek? Mam …

44 random-forest algorithms model-evaluation

3

Jak wybrać metodę grupowania? Jak sprawdzić poprawność rozwiązania klastrowego (aby uzasadnić wybór metody)?

Jednym z największych problemów związanych z analizą skupień jest to, że może się zdarzyć, że będziemy musieli wyciągnąć odmienne wnioski, gdy oprą się na różnych zastosowanych metodach klastrowania (w tym różnych metodach łączenia w hierarchicznym klastrze). Chciałbym poznać Twoją opinię na ten temat - którą metodę wybierzesz i jak. Można …

35 clustering validation model-evaluation hierarchical-clustering

1

Nieprawidłowe stosowanie weryfikacji krzyżowej (raportowanie wydajności dla najlepszej wartości hiperparametru)

Ostatnio natknąłem się na artykuł, który proponuje użycie klasyfikatora k-NN w określonym zbiorze danych. Autorzy wykorzystali wszystkie dostępne próbki danych, aby przeprowadzić k-krotną weryfikację krzyżową dla różnych wartości k i zgłosić wyniki walidacji krzyżowej najlepszej konfiguracji hiperparametrów. Według mojej wiedzy wynik ten jest stronniczy i powinni zachować osobny zestaw testowy, …

30 cross-validation references model-selection model-evaluation

3

Ocena regresji logistycznej i interpretacja dobroci dopasowania Hosmera-Lemeshowa

Jak wszyscy wiemy, istnieją 2 metody oceny modelu regresji logistycznej i testują one bardzo różne rzeczy Moc predykcyjna: Uzyskaj statystykę mierzącą, jak dobrze możesz przewidzieć zmienną zależną na podstawie zmiennych niezależnych. Dobrze znanymi Pseudo R ^ 2 są McFadden (1974) oraz Cox i Snell (1989). Statystyki dobroci dopasowania Test mówi, …

24 r logistic goodness-of-fit regression-strategies model-evaluation

3

Wskaźniki klasyfikacji / oceny dla wysoce niezrównoważonych danych

Mam do czynienia z problemem wykrywania oszustw (podobnym do punktacji kredytowej). W związku z tym istnieje wysoce niezrównoważony stosunek między fałszywymi i nieuczciwymi obserwacjami. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html zapewnia doskonały przegląd różnych wskaźników klasyfikacji. Precision and Recalllub kappaoba wydają się być dobrym wyborem: Jednym ze sposobów uzasadnienia wyników takich klasyfikatorów jest porównanie ich …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

3

Czy AUC-ROC może wynosić od 0 do 0,5?

Czy wartości AUC-ROC mogą zawierać się w przedziale 0–0,5? Czy model generuje kiedykolwiek wartości od 0 do 0,5?

16 roc model-evaluation auc

1

Dlaczego warto używać znormalizowanego wyniku Gini zamiast AUC jako oceny?

Konkurs Kaggle'a W prognozie bezpiecznego kierowcy Porto Seguro wykorzystano znormalizowany wynik Gini jako miernik oceny, co zainteresowało mnie przyczynami tego wyboru. Jakie są zalety używania znormalizowanego wyniku Gini zamiast najbardziej typowych wskaźników, takich jak AUC, do oceny?

14 classification auc model-evaluation gini

1

Porównanie dwóch modeli, gdy krzywe ROC krzyżują się

Jednym z powszechnych mierników używanych do porównywania dwóch lub więcej modeli klasyfikacji jest wykorzystanie obszaru pod krzywą ROC (AUC) jako sposób na pośrednią ocenę ich wydajności. W takim przypadku model z większym AUC jest zwykle interpretowany jako działający lepiej niż model z mniejszym AUC. Ale według Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ …

13 machine-learning classification roc auc model-evaluation

2

Zależność między współczynnikami korelacji phi, Matthewsa i Pearsona

Czy współczynniki korelacji phi i Matthewsa to ta sama koncepcja? W jaki sposób są one powiązane lub równoważne ze współczynnikiem korelacji Pearsona dla dwóch zmiennych binarnych? Zakładam, że wartości binarne to 0 i 1. Korelacja Pearsona między dwiema zmiennymi losowymi Bernoulliego i wynosi:xxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = \frac{\mathbb{E} [(x - \mathbb{E}[x])(y …

13 correlation contingency-tables bernoulli-distribution model-evaluation confusion-matrix

3

Dlaczego metoda Holdout (dzielenie danych na szkolenia i testy) nie jest stosowana w statystyce klasycznej?

W mojej klasie podczas eksploracji danych wprowadzono metodę wstrzymania jako sposób oceny wydajności modelu. Kiedy jednak wziąłem pierwszą klasę modeli liniowych, nie zostało to wprowadzone jako metoda walidacji lub oceny modelu. Moje badania online również nie wykazały żadnego skrzyżowania. Dlaczego metoda Holdout nie jest stosowana w statystyce klasycznej?

12 regression validation model-evaluation out-of-sample

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Jaka jest różnica między wynikiem

Czytałam o metryki regresji w pytona scikit-learn obsługi i choć każdy z nich ma swoją własną formułę, nie mogę powiedzieć intuicyjnie, jaka jest różnica między R2R2)R^2 i wynik wariancji, a zatem kiedy używać jednego lub inny ocenić mój modele.

12 regression variance scikit-learn r-squared model-evaluation

5

Dlaczego wynik beta określa tak beta?

To jest wynik F beta: faβ= ( 1 + β2)) ⋅ p r e c i s i o n ⋅ r e c a l l( β2)⋅ p r e c i s i o n ) + r e c a l lFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot …

10 machine-learning precision-recall model-evaluation

Pytania otagowane jako model-evaluation