Statystyki i duże zbiory danych machine-learning

2

Co oznacza termin nasycenie nieliniowości?

Czytałem artykuł Klasyfikacja ImageNet z głębokimi sieciami neuronowymi splotowymi, aw części 3, w której wyjaśnili architekturę swojej sieci neuronowej splotowej, wyjaśnili, w jaki sposób woleli: nieliniowa nieliniowośćf(x)=max(0,x).f(x)=max(0,x).f(x) = max(0, x). ponieważ trenowanie było szybsze. W tym artykule wydaje się, że odnoszą się one do nasycenia nieliniowości jako bardziej tradycyjnych funkcji …

30 machine-learning neural-networks terminology conv-neural-network

4

Kiedy powinienem bilansować klasy w zbiorze danych treningowych?

Miałem kurs online, w którym dowiedziałem się, że niezrównoważone klasy w danych treningowych mogą prowadzić do problemów, ponieważ algorytmy klasyfikacji są zgodne z regułą większości, ponieważ dają dobre wyniki, jeśli niezrównoważenie jest zbyt duże. W zadaniu należało zrównoważyć dane poprzez niepełne próbkowanie klasy większościowej. Jednak na tym blogu ktoś twierdzi, …

29 machine-learning classification unbalanced-classes

5

Rozróżnienie między dwiema grupami w statystyce i uczeniu maszynowym: test hipotez a klasyfikacja vs. grupowanie

Załóżmy, że mam dwie grupy danych, oznaczone A i B (każda zawiera np. 200 próbek i 1 cechę), i chcę wiedzieć, czy są one różne. Mógłbym: a) wykonać test statystyczny (np. test t), aby sprawdzić, czy są statystycznie różne. b) korzystać z nadzorowanego uczenia maszynowego (np. klasyfikatora wektorów wsparcia lub …

29 machine-learning hypothesis-testing t-test unsupervised-learning supervised-learning

5

Jak radzić sobie z hierarchicznymi / zagnieżdżonymi danymi w uczeniu maszynowym

Wyjaśnię mój problem na przykładzie. Załóżmy, że chcesz przewidzieć dochód danej osoby na podstawie niektórych atrybutów: {Wiek, płeć, kraj, region, miasto}. Masz taki zestaw danych szkoleniowych train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID …

29 regression machine-learning multilevel-analysis correlation dataset spatial paired-comparisons cross-correlation clustering aic bic dependent-variable k-means mean standard-error measurement-error errors-in-variables regression multiple-regression pca linear-model dimensionality-reduction machine-learning neural-networks deep-learning conv-neural-network computer-vision clustering spss r weighted-data wilcoxon-signed-rank bayesian hierarchical-bayesian bugs stan distributions categorical-data variance ecology r survival regression r-squared descriptive-statistics cross-section maximum-likelihood factor-analysis likert r multiple-imputation propensity-scores distributions t-test logit probit z-test confidence-interval poisson-distribution deep-learning conv-neural-network residual-networks r survey wilcoxon-mann-whitney ranking kruskal-wallis bias loss-functions frequentist decision-theory risk machine-learning distributions normal-distribution multivariate-analysis inference dataset factor-analysis survey multilevel-analysis clinical-trials

3

Dlaczego w sieciach neuronowych wykorzystywane są węzły stronniczości?

Dlaczego w sieciach neuronowych wykorzystywane są węzły stronniczości? Ile powinieneś użyć? Na jakich warstwach należy ich użyć: wszystkie ukryte warstwy i warstwa wyjściowa?

29 machine-learning neural-networks bias-node

3

Różnica między SVM a perceptronem

Jestem trochę zmieszany z różnicą między SVM a perceptronem. Pozwólcie, że spróbuję podsumować moje rozumienie tutaj i proszę o poprawienie tam, gdzie się mylę i uzupełnienie tego, co przegapiłem. Perceptron nie próbuje zoptymalizować „odległości” separacji. Tak długo, jak znajdzie hiperpłaszczyznę oddzielającą dwa zestawy, jest dobra. Z drugiej strony SVM próbuje …

29 machine-learning svm kernel-trick

2

Czy niezbędna jest normalizacja SVM i Random Forest?

Każdy wymiar moich funkcji ma inny zakres wartości. Chcę wiedzieć, czy konieczna jest normalizacja tego zestawu danych.

29 machine-learning svm random-forest normalization

6

Zmienna procedura selekcji do klasyfikacji binarnej

Jakiego wyboru zmiennych / cech preferujesz do klasyfikacji binarnej, gdy w zestawie do nauki jest o wiele więcej zmiennych / cech niż obserwacji? Celem jest omówienie procedury wyboru funkcji, która najlepiej redukuje błąd klasyfikacji. Możemy poprawić notacje dla spójności: dla , niech będą zestawem uczącym się obserwacji z grupy . …

29 machine-learning classification multiple-comparisons multivariate-analysis feature-selection

3

Regresja wielomianowa za pomocą scikit-learn

Próbuję użyć scikit-learn do regresji wielomianowej. Z tego, co czytam, regresja wielomianowa jest szczególnym przypadkiem regresji liniowej. Miałem nadzieję, że może jeden z uogólnionych modeli liniowych scikit może zostać sparametryzowany, aby pasował do wielomianów wyższego rzędu, ale nie widzę takiej możliwości. Udało mi się użyć Support Vector Regressor z wielordzeniowym …

29 regression machine-learning large-data polynomial scikit-learn

2

Jak statystycznie porównać wydajność klasyfikatorów uczenia maszynowego?

W oparciu o szacunkową dokładność klasyfikacji chcę przetestować, czy jeden klasyfikator jest statystycznie lepszy na zestawie podstawowym niż inny klasyfikator. Dla każdego klasyfikatora wybieram próbkę szkoleniową i testową losowo z zestawu podstawowego, trenuję model i testuję model. Robię to dziesięć razy dla każdego klasyfikatora. Dlatego mam dziesięć dokładnych pomiarów dokładności …

29 machine-learning classification t-test

4

Jak interpretujesz RMSLE (błąd logarytmiczny średniej kwadratowej)?

Brałem udział w konkursie uczenia maszynowego, w którym używają RMSLE (Root Mean Squared Logarithmic Error) do oceny wydajności przewidującej cenę sprzedaży danej kategorii sprzętu. Problem w tym, że nie jestem pewien, jak interpretować sukces mojego końcowego wyniku. Na przykład, jeśli osiągnąłem RMSLE na poziomie czy mogę podnieść moc wykładniczą i …

29 regression machine-learning interpretation measurement-error theory

3

R: Losowy las wyrzucający NaN / Inf w błędzie „wywołanie funkcji zagranicznej” pomimo braku NaN w zbiorze danych [zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 2 lata temu . Używam karetki, aby uruchomić sprawdzony krzyżowo losowy las w zbiorze danych. Zmienna Y jest czynnikiem. W moim zestawie danych nie ma …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

1

co oznaczają liczby w raporcie klasyfikacyjnym sklearn?

Mam poniżej przykład, który wyciągnąłem ze sklearn.metrics.classification_report dokumentacji sklearn. Nie rozumiem, dlaczego istnieją wartości f1-score, precyzja i przywołanie dla każdej klasy, w której moim zdaniem klasa jest etykietą predyktora? Myślałem, że wynik f1 mówi o ogólnej dokładności modelu. Co również mówi nam kolumna wsparcia? Nie mogłem znaleźć żadnych informacji na …

29 machine-learning python scikit-learn precision-recall

3

Dlaczego AUC jest wyższy dla klasyfikatora, który jest mniej dokładny niż dla bardziej dokładnego?

Mam dwa klasyfikatory Odp .: naiwna sieć bayesowska B: drzewo (pojedynczo połączona) sieć bayesowska Pod względem dokładności i innych miar A wykonuje się stosunkowo gorzej niż B. Jednak gdy używam pakietów R ROCR i AUC do wykonania analizy ROC, okazuje się, że AUC dla A jest wyższe niż AUC dla …

29 machine-learning classification roc auc bayesian-network

2

Jaki jest model statystyczny za algorytmem SVM?

Nauczyłem się, że w przypadku danych przy użyciu podejścia modelowego pierwszym krokiem jest modelowanie procedury danych jako modelu statystycznego. Następnie kolejnym krokiem jest opracowanie wydajnego / szybkiego wnioskowania / algorytmu uczenia się w oparciu o ten model statystyczny. Chcę więc zapytać, który model statystyczny stoi za algorytmem maszyny wektorowej wsparcia …

28 machine-learning svm modeling

Pytania otagowane jako machine-learning