Statystyki i duże zbiory danych classification

1

Zmniejszenie liczby poziomów nieuporządkowanej jakościowej zmiennej predykcyjnej

Chcę wytrenować klasyfikator, powiedzmy SVM, losowy las lub inny klasyfikator. Jedną z cech zestawu danych jest zmienna kategoryczna z 1000 poziomami. Jaki jest najlepszy sposób na zmniejszenie liczby poziomów w tej zmiennej. W R jest funkcja wywoływana combine.levels()w pakiecie Hmisc , która łączy rzadkie poziomy, ale szukałem innych sugestii.

11 classification svm random-forest many-categories

2

Jak zrozumieć splotową sieć głębokich przekonań do klasyfikacji audio?

W „ Konwolucyjnych sieciach głębokiego przekonania dla skalowalnego, bez nadzoru uczenia się reprezentacji hierarchicznych ” Lee i in. al. ( PDF ) Proponowane są konwergentne DBN. Oceniana jest również metoda klasyfikacji obrazów. Brzmi to logicznie, ponieważ istnieją naturalne lokalne funkcje obrazu, takie jak małe rogi i krawędzie itp. W „ …

11 classification unsupervised-learning intuition deep-belief-networks

3

Dlaczego musimy dopasować najbliższego k-klasyfikatora sąsiadów?

Jak zrozumiałem, k-NN jest algorytmem leniwego ucznia i nie wymaga fazy szkolenia. Dlaczego więc musimy używać .fit()sklearn i co się dzieje, gdy go używamy?

11 classification scikit-learn k-nearest-neighbour

1

R / mgcv: Dlaczego produkty tensorowe te () i ti () wytwarzają różne powierzchnie?

mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

2

Technika uczenia maszynowego do nauki wzorców ciągów

Mam listę słów należących do różnych samookreślonych kategorii. Każda kategoria ma swój własny wzór (na przykład jedna ma stałą długość ze znakami specjalnymi, inna istnieje ze znaków, które występują tylko w tej kategorii „słowa”, ...). Na przykład: "ABC" -> type1 "ACC" -> type1 "a8 219" -> type2 "c 827" -> …

11 machine-learning classification similarities supervised-learning

1

Czy sieci neuronowe zwykle „zapuszczają” się podczas treningu?

Próbuję wytrenować głęboką sieć neuronową do klasyfikacji, wykorzystując propagację wsteczną. W szczególności używam splotowej sieci neuronowej do klasyfikacji obrazów, korzystając z biblioteki Tensor Flow. Podczas treningu doświadczam dziwnego zachowania i zastanawiam się, czy jest to typowe, czy też robię coś złego. Tak więc moja splotowa sieć neuronowa ma 8 warstw …

11 machine-learning classification neural-networks conv-neural-network tensorflow

3

Klasyfikator z regulowaną precyzją vs przywołanie

Pracuję nad problemem klasyfikacji binarnej, w której znacznie ważniejsze jest, aby nie mieć fałszywych trafień; całkiem sporo fałszywych negatywów jest w porządku. Użyłem na przykład wielu klasyfikatorów w sklearn, ale myślę, że żaden z nich nie ma możliwości wyraźnego dostosowania kompromisu przywoływania precyzji (dają całkiem dobre wyniki, ale nie można …

11 classification precision-recall

2

Dlaczego warto korzystać z drzew decyzyjnych?

Czytałem trochę o algorytmach usprawniających dla zadań klasyfikacyjnych, aw szczególności Adaboost. Rozumiem, że celem Adaboost jest wzięcie kilku „słabych uczniów” i poprzez zestaw iteracji danych treningowych, popchnąć klasyfikatorów, aby nauczyli się przewidywać klasy, w których model (y) wielokrotnie popełnia błędy. Zastanawiałem się jednak, dlaczego w tak wielu odczytach wykorzystałem drzewa …

11 machine-learning classification algorithms boosting

3

Co jest dobrym AUC dla krzywej przywołania dokładności?

Ponieważ mam bardzo niezrównoważony zestaw danych (9% pozytywnych wyników), zdecydowałem, że krzywa przywołania dokładności jest bardziej odpowiednia niż krzywa ROC. Otrzymałem analogiczną miarę sumaryczną pola powierzchni pod krzywą PR (0,49, jeśli jesteś zainteresowany), ale nie jestem pewien, jak ją interpretować. Słyszałem, że 0,8 lub więcej to dobry AUC dla ROC, …

11 classification precision-recall auc

1

Zalety odległości Jeffries Matusita

Według niektórych artykułów, które czytam, powszechnie stosuje się odległość Jeffriesa i Matusity. Ale nie mogłem znaleźć wielu informacji na ten temat, z wyjątkiem poniższej formuły JMD (x, y) = ∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Jest podobny do odległości euklidesowej z wyjątkiem pierwiastka kwadratowego E (x, y) = ∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} Pod względem klasyfikacji odległość JM jest …

11 classification k-nearest-neighbour euclidean

1

Jak przewidujemy rzadkie zdarzenia?

Pracuję nad opracowaniem modelu przewidywania ryzyka ubezpieczeniowego. Modele te mają „rzadkie zdarzenia”, takie jak przewidywanie braku linii lotniczych, wykrywanie usterek sprzętowych itp. Przygotowując zestaw danych, próbowałem zastosować klasyfikację, ale nie mogłem uzyskać przydatnych klasyfikatorów z powodu dużej liczby przypadków negatywnych . Nie mam dużego doświadczenia w statystyce i modelowaniu danych …

11 classification predictive-models scikit-learn poisson-process

1

Jak wybrać prawdopodobieństwo odcięcia dla rzadkiego zdarzenia Regresja logistyczna

Mam 100 000 obserwacji (9 zmiennych fikcyjnych) z 1000 pozytywów. Regresja logistyczna powinna w tym przypadku działać dobrze, ale prawdopodobieństwo odcięcia mnie zastanawia. W powszechnej literaturze wybieramy 50% wartości odcięcia, aby przewidzieć 1 i 0. Nie mogę tego zrobić, ponieważ mój model daje maksymalną wartość ~ 1%. Więc próg może …

11 regression logistic classification generalized-linear-model roc

3

Pierwszy główny składnik nie rozdziela klas, ale inne komputery PC; jak to możliwe?

Uruchomiłem PCA na 17 zmiennych ilościowych, aby uzyskać mniejszy zestaw zmiennych, czyli głównych składników, do użycia w nadzorowanym uczeniu maszynowym do klasyfikowania instancji do dwóch klas. Po PCA PC1 stanowi 31% wariancji danych, PC2 17%, PC3 10%, PC4 8%, PC5 7%, a PC6 6%. Jednak gdy patrzę na średnie różnice …

11 machine-learning classification pca dimensionality-reduction

4

Klasyfikator niepewnych etykiet klas

Załóżmy, że mam zestaw instancji z przypisanymi etykietami klas. Nie ma znaczenia, jak te instancje zostały oznaczone, ale jak pewne jest ich członkostwo w klasie. Każde wystąpienie należy do dokładnie jednej klasy. Powiedzmy, że potrafię oszacować pewność przynależności do każdej klasy za pomocą nominalnego atrybutu, który wynosi od 1 do …

11 classification weka uncertainty

1

Motywacja za losowymi krokami algorytmu lasu

Znana mi metoda konstruowania losowego lasu jest następująca: (z http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Aby zbudować drzewo w lesie: Bootstrap próbkę o rozmiarze N, gdzie N jest rozmiarem naszego zestawu treningowego. Użyj tej próbki startowej jako zestawu treningowego dla tego drzewa. W każdym węźle drzewa losowo wybierz m naszych funkcji M. Wybierz najlepsze …

11 machine-learning classification random-forest

Pytania otagowane jako classification