Statystyki i duże zbiory danych classification

3

Jak przeprowadzić rozbudowę danych i rozdzielić walidację pociągu?

Dokonuję klasyfikacji obrazów przy użyciu uczenia maszynowego. Załóżmy, że mam pewne dane treningowe (obrazy) i podzielę dane na zestawy szkoleniowe i walidacyjne. Chcę też rozszerzyć dane (tworzyć nowe obrazy z oryginalnych) przez losowe obroty i wstrzykiwanie szumu. Augmentacja odbywa się offline. Jaki jest właściwy sposób na powiększanie danych? Najpierw podziel …

14 machine-learning classification cross-validation dataset data-augmentation

1

Różnica między regresją logistyczną a maszynami wektorów wsparcia?

Wiem, że regresja logistyczna znajduje hiperpłaszczyznę, która oddziela próbki szkoleniowe. Wiem również, że maszyny wektorowe wsparcia znajdują hiperpłaszczyznę z maksymalnym marginesem. Moje pytanie: czy zatem różnica między regresją logistyczną (LR) a maszynami wektorów wsparcia (SVM) polega na tym, że LR znajduje jakąkolwiek hiperpłaszczyznę, która oddziela próbki szkoleniowe, podczas gdy SVM …

14 machine-learning classification svm data-mining

1

Klasyfikatory uczenia maszynowego duże O lub złożoność

Aby ocenić wydajność nowego algorytmu klasyfikatora, próbuję porównać dokładność i złożoność (duże O w treningu i klasyfikacji). Z uczenia maszynowego: recenzja Otrzymuję pełną listę nadzorowanych klasyfikatorów, tabelę dokładności między algorytmami i 44 problemy testowe z repozytorium danych UCI . Nie mogę jednak znaleźć recenzji, artykułu papierowego ani strony internetowej z …

14 machine-learning classification multiple-comparisons algorithms time-complexity

3

Ważenie najnowszych danych w modelu Losowy las

Trenuję model klasyfikacyjny z Random Forest, aby rozróżnić 6 kategorii. Moje dane transakcyjne zawierają około 60 000 obserwacji i 35 zmiennych. Oto przykład, jak to w przybliżeniu wygląda. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 | 2013-04-12 | 6 | PNG …

14 r machine-learning classification random-forest

1

Używanie LASSO w losowym lesie

Chciałbym utworzyć losowy las przy użyciu następującego procesu: Zbuduj drzewo na losowych próbkach danych i funkcji, używając przyrostu informacji do określania podziałów Zakończ węzeł liścia, jeśli przekracza on z góry określoną głębokość LUB jakiekolwiek rozszczepienie spowodowałoby, że liczba liści byłaby mniejsza niż z góry określone minimum Zamiast przypisywać etykietę klasy …

14 classification random-forest lasso ensemble

1

RandomForest - interpretacja fabuły MDS

Użyłem randomForest, aby sklasyfikować 6 zachowań zwierząt (np. Stanie, chodzenie, pływanie itp.) W oparciu o 8 zmiennych (różne postawy ciała i ruch). MDSplot w pakiecie randomForest daje mi to wyjście i mam problemy z interpretacją wyniku. Zrobiłem PCA na tych samych danych i uzyskałem już dobrą separację między wszystkimi klasami …

14 r classification random-forest multidimensional-scaling

5

Jak dokonać jednoklasowej klasyfikacji tekstu?

Mam do czynienia z problemem klasyfikacji tekstu. Przeszukiwacz sieciowy indeksuje strony określonej domeny i dla każdej strony chcę dowiedzieć się, czy należy ona do jednej konkretnej klasy, czy nie. Oznacza to, że jeśli nazwiebym tę klasę jako Pozytywna , każda zaindeksowana strona internetowa należy albo do klasy Pozytywnej, albo do …

14 classification text-mining naive-bayes binary-data

3

Wybór ukrytej funkcji aktywacji sieci neuronowej

Czytałem gdzie indziej, że czyjś wybór ukrytej funkcji aktywacji warstwa w NN powinny opierać się na własnej potrzeby , czyli jeśli potrzebna wartości w przedziale od -1 do 1 TANH użytkowania i użytkowania esicy dla zakresu od 0 do 1. Moje pytanie brzmi: skąd wiadomo, czego potrzeba ? Czy jest …

14 machine-learning classification neural-networks

1

Czy przy nadmiernym / niedostatecznym próbkowaniu niesymetrycznych klas maksymalizacja dokładności różni się od minimalizacji kosztów błędnej klasyfikacji?

Przede wszystkim chciałbym opisać niektóre popularne układy używane w książkach Data Mining, wyjaśniając, jak radzić sobie z niezrównoważonymi zestawami danych . Zwykle główna sekcja nosi nazwę Niezrównoważone zestawy danych i obejmują te dwie podsekcje: Klasyfikacja wrażliwa na koszty i Techniki pobierania próbek. Wydaje się, że w obliczu problemu z rzadką …

14 machine-learning classification unbalanced-classes

3

Czy modele CART mogą być solidne?

Mój kolega z mojego biura powiedział mi dzisiaj: „Modele drzew nie są dobre, ponieważ przyłapują ich ekstremalne obserwacje”. Wyszukiwanie tutaj zaowocowało tym wątkiem, który zasadniczo obsługuje roszczenie. Co prowadzi mnie do pytania - w jakiej sytuacji model CART może być solidny i jak to pokazano?

14 regression classification robust cart

2

Dlaczego oszacowanie błędu losowego OOB błędu lasu poprawia się, gdy liczba wybranych funkcji jest zmniejszana?

Stosuję algorytm losowego lasu jako klasyfikator w zestawie danych mikromacierzy, które są podzielone na dwie znane grupy z tysiącami funkcji. Po pierwszym uruchomieniu sprawdzam znaczenie funkcji i ponownie uruchamiam algorytm drzewa z 5, 10 i 20 najważniejszymi funkcjami. Uważam, że dla wszystkich funkcji, w pierwszej dziesiątce i 20, szacowany przez …

14 r machine-learning classification random-forest

1

Dlaczego warto używać znormalizowanego wyniku Gini zamiast AUC jako oceny?

Konkurs Kaggle'a W prognozie bezpiecznego kierowcy Porto Seguro wykorzystano znormalizowany wynik Gini jako miernik oceny, co zainteresowało mnie przyczynami tego wyboru. Jakie są zalety używania znormalizowanego wyniku Gini zamiast najbardziej typowych wskaźników, takich jak AUC, do oceny?

14 classification auc model-evaluation gini

1

Caret glmnet vs cv.glmnet

Wydaje się, że istnieje wiele zamieszania w porównaniu używania glmnetwewnątrz w caretcelu znalezienia optymalnej lambdy i korzystania cv.glmnetz tego samego zadania. Zadano wiele pytań, np .: Model klasyfikacji train.glmnet vs. cv.glmnet? Jaki jest właściwy sposób używania glmnet z karetką? Cross-validation `glmnet` za pomocą` caret` ale nie udzielono odpowiedzi, co może …

14 r caret glmnet machine-learning neural-networks maximum softmax probability distributions mathematical-statistics random-variable cdf statistical-significance variance expected-value ratio sample-size reliability tolerance-interval wilcoxon-signed-rank self-study variance sampling mean machine-learning svm libsvm self-study sampling ranks data-visualization histogram machine-learning classification normal-distribution mathematical-statistics maximum-likelihood mixture predictive-models prediction seasonality

1

GAM vs LOESS vs splajny

Kontekst : Chcę, aby narysować linię na wykresie rozrzutu, że nie pojawia się parametryczne, dlatego używam geom_smooth()w ggplotw R. Automatycznie zwraca geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method., …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

8

Trenuj sieć neuronową, aby rozróżniać liczby parzyste od nieparzystych

Pytanie: czy można wytrenować NN, aby rozróżniał liczby nieparzyste od parzystych tylko przy użyciu samych danych wejściowych? Mam następujący zestaw danych: Number Target 1 0 2 1 3 0 4 1 5 0 6 1 ... ... 99 0 100 1 Trenowałem NN z dwoma neuronami wejściowymi (jeden jest zmienną …

14 machine-learning classification categorical-data neural-networks genetic-algorithms

Pytania otagowane jako classification