Statystyki i duże zbiory danych gbm

2

Intuicyjne wyjaśnienia różnic między drzewami wspomagającymi gradient (GBM) i Adaboost

Próbuję zrozumieć różnice między GBM a Adaboost. Oto, co do tej pory zrozumiałem: Istnieją oba algorytmy przyspieszające, które uczą się na błędach poprzedniego modelu i wreszcie tworzą ważoną sumę modeli. GBM i Adaboost są dość podobne, z wyjątkiem funkcji utraty. Ale nadal trudno mi zrozumieć różnicę między nimi. Czy ktoś …

48 boosting gbm adaboost

7

Dlaczego Random Forest nie obsługuje brakujących wartości w predyktorach?

Jakie są teoretyczne powody, aby nie obsługiwać brakujących wartości? Maszyny zwiększające gradient, drzewa regresji radzą sobie z brakującymi wartościami. Dlaczego Random Forest tego nie robi?

42 random-forest missing-data gbm

5

Co oznacza głębokość interakcji w GBM?

Miałem pytanie dotyczące parametru głębokości interakcji w gbm w R. To może być pytanie nooba, za które przepraszam, ale w jaki sposób parametr, który moim zdaniem oznacza liczbę węzłów końcowych w drzewie, zasadniczo wskazuje X-way interakcja między predyktorami? Próbuję zrozumieć, jak to działa. Dodatkowo dostaję całkiem różne modele, jeśli mam …

30 r machine-learning boosting gbm

1

Rola parametru n.minobsinnode w GBM w R [zamknięte]

To pytanie raczej nie pomoże przyszłym użytkownikom; dotyczy on tylko niewielkiego obszaru geograficznego, określonego momentu w czasie lub wyjątkowo wąskiej sytuacji, która nie ma ogólnego zastosowania do ogólnoświatowej publiczności w Internecie. Aby uzyskać szersze zastosowanie tego pytania, odwiedź Centrum pomocy . Zamknięte 7 lat temu . Chciałem wiedzieć, co oznacza …

21 r gbm

3

Drzewa wzmocnione gradientem XGBoost kontra Python Sklearn

Próbuję zrozumieć, jak działa XGBoost. Już rozumiem, w jaki sposób drzewa wzmocnione gradientem działają na sklearn Pythona. Nie jest dla mnie jasne, czy XGBoost działa w ten sam sposób, ale szybciej, czy istnieją fundamentalne różnice między nim a implementacją Pythona. Kiedy czytam ten artykuł http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Wydaje mi się, że wynik …

20 scikit-learn boosting gbm xgboost

2

Czy klasyfikacja GBM cierpi na niezrównoważone rozmiary klas?

Mam do czynienia z nadzorowanym problemem klasyfikacji binarnej. Chciałbym użyć pakietu GBM do sklasyfikowania osób jako niezainfekowanych / zainfekowanych. Mam 15 razy więcej niezainfekowanych niż zainfekowanych osób. Zastanawiałem się, czy modele GBM cierpią w przypadku niezrównoważonych rozmiarów klas? Nie znalazłem żadnych referencji odpowiadających na to pytanie. Próbowałem skorygować wagi, przypisując …

16 r machine-learning boosting unbalanced-classes gbm

4

Dokładność maszyny zwiększającej gradient zmniejsza się wraz ze wzrostem liczby iteracji

Eksperymentuję z algorytmem maszyny do zwiększania gradientu za pośrednictwem caretpakietu w R. Korzystając z małego zestawu danych o przyjęciach na studia, uruchomiłem następujący kod: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

4

Interwały prognoz dla algorytmów uczenia maszynowego

Chcę wiedzieć, czy opisany poniżej proces jest prawidłowy / akceptowalny i czy dostępne jest jakiekolwiek uzasadnienie. Pomysł: nadzorowane algorytmy uczenia się nie zakładają podstawowych struktur / dystrybucji danych. Na koniec dnia przedstawiają szacunkowe dane wyjściowe. Mam nadzieję, że jakoś oszacuję niepewność tych szacunków. Teraz proces budowania modelu ML jest z …

14 machine-learning confidence-interval bootstrap supervised-learning gbm

1

Pakiet GBM vs. Caret korzystający z GBM

Stroiłem model przy użyciu caret, ale potem ponownie uruchomiłem model przy użyciu gbmpakietu. Rozumiem, że caretpakiet używa gbmi wynik powinien być taki sam. Jednak tylko szybki test przy użyciu data(iris)wykazuje rozbieżność w modelu około 5% przy użyciu RMSE i R ^ 2 jako metryki oceny. Chcę znaleźć optymalną wydajność modelu …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

1

Jak znaleźć przedział prognozy GBM

Pracuję z modelami GBM przy użyciu pakietu Caret i szukam metody rozwiązania przedziałów prognoz dla moich przewidywanych danych. Szukałem obszernie, ale wpadłem tylko na kilka pomysłów, aby znaleźć przedziały prognoz dla Losowego Lasu. Każdy kod pomocy / R byłby bardzo mile widziany!

12 caret prediction-interval gbm

4

Jak wybrać liczbę drzew w uogólnionym modelu regresji wzmocnionej?

Czy istnieje strategia wyboru liczby drzew w GBM? W szczególności, ntreesargument R„s gbmfunkcji. Nie rozumiem, dlaczego nie powinieneś ustawić ntreesnajwyższej rozsądnej wartości. Zauważyłem, że większa liczba drzew wyraźnie zmniejsza zmienność wyników z wielu GBM. Nie sądzę, aby duża liczba drzew prowadziła do nadmiernego dopasowania. jakieś pomysły?

11 r machine-learning gbm

1

Uzgadnianie wzmocnionych drzew regresji (BRT), uogólnionych modeli wzmocnionych (GBM) i maszyny zwiększającej gradient (GBM)

Pytania: Jaka jest różnica między drzewkami regresji wzmocnionej (BRT) a uogólnionymi modelami wzmocnionej (GBM)? Czy można ich używać zamiennie? Czy jedna jest specyficzną formą drugiej? Dlaczego Ridgeway użył wyrażenia „Uogólnione modele regresji wzmocnionej” (GBM), aby opisać to, co Friedman wcześniej zaproponował jako „maszynę do zwiększania gradientu” (GBM)? Te dwa akronimy …

9 machine-learning boosting gbm

2

Jak znaleźć optymalne wartości parametrów dostrajania w drzewach wzmacniających?

Zdaję sobie sprawę, że w modelu drzew przypominających są 3 parametry dostrajania, tj liczba drzew (liczba iteracji) parametr skurczu liczba podziałów (wielkość każdego drzewa składowego) Moje pytanie brzmi: jak dla każdego parametru dostrajania znaleźć optymalną wartość? I jaką metodę? Zauważ, że: parametr skurczu i parametr liczby drzew działają razem, tj. …

9 machine-learning cross-validation computational-statistics boosting gbm

3

Jak korzystać z R gbm z dystrybucją = „adaboost”?

Dokumentacja mówi, że R gbm z rozkładem = "adaboost" może być użyty do problemu klasyfikacji 0-1. Rozważ następujący fragment kodu: gbm_algorithm <- gbm(y ~ ., data = train_dataset, distribution = "adaboost", n.trees = 5000) gbm_predicted <- predict(gbm_algorithm, test_dataset, n.trees = 5000) Można go znaleźć w dokumentacji prognozy.gbm Zwraca wektor prognoz. …

9 r gbm

Pytania otagowane jako gbm