Statystyki i duże zbiory danych bagging

7

Pakowanie, ulepszanie i układanie w stosy w uczeniu maszynowym

Jakie są podobieństwa i różnice między tymi 3 metodami: Parcianka, Wzmocnienie, Układanie? Który jest najlepszy? I dlaczego? Czy możesz podać mi przykład dla każdego z nich?

245 machine-learning boosting ensemble bagging model-averaging

5

Czy losowy las jest algorytmem wzmacniającym?

Krótka definicja wzmocnienia : Czy zestaw słabych uczniów może stworzyć jednego silnego ucznia? Słaby uczeń jest zdefiniowany jako klasyfikator, który jest tylko nieznacznie skorelowany z prawdziwą klasyfikacją (może lepiej opisywać przykłady niż losowe zgadywanie). Krótka definicja lasu losowego : Losowe lasy wyrastają z wielu drzew klasyfikacyjnych. Aby sklasyfikować nowy obiekt …

51 machine-learning random-forest boosting bagging

2

Czy to najnowocześniejsza metodologia regresji?

Od dłuższego czasu obserwuję zawody Kaggle i zdaję sobie sprawę, że wiele zwycięskich strategii wymaga użycia co najmniej jednego z „wielkich trójek”: workowania, wzmacniania i układania. W przypadku regresji zamiast koncentrowania się na budowaniu jednego najlepszego możliwego modelu regresji, budowanie wielu modeli regresji, takich jak (Uogólniona) regresja liniowa, losowe modele …

33 predictive-models boosting bagging stacking model-averaging

2

Co oznacza „rozmiar węzła” w Losowym lesie?

Nie rozumiem dokładnie, co oznacza rozmiar węzła. Wiem, co to jest węzeł decyzyjny, ale nie wiem, jaki jest rozmiar węzła.

20 machine-learning random-forest bagging

3

Kiedy nie powinienem używać klasyfikatora zespołów?

Ogólnie rzecz biorąc, w przypadku problemu z klasyfikacją, w którym celem jest dokładne przewidywanie członkostwa w klasie poza próbą, kiedy nie powinienem używać klasyfikatora grupowego? To pytanie jest ściśle związane z Dlaczego nie zawsze korzystać z nauki zespołowej? . To pytanie pyta, dlaczego nie używamy zespołów cały czas. Chcę wiedzieć, …

17 classification boosting ensemble bagging

1

Jakie są teoretyczne gwarancje workowania

(W przybliżeniu) słyszałem, że: workowanie jest techniką zmniejszania wariancji predyktora / estymatora / algorytmu uczenia się. Jednak nigdy nie widziałem formalnego matematycznego dowodu tego stwierdzenia. Czy ktoś wie, dlaczego jest to prawdą matematyczną? Wydaje się, że jest to tak powszechnie akceptowany / znany fakt, że spodziewałbym się bezpośredniego odniesienia do …

17 machine-learning mathematical-statistics bagging

1

Wzmacnianie i pakowanie drzew (XGBoost, LightGBM)

Istnieje wiele postów na blogach, filmów na YouTube itp. O pomysłach spakowania lub ulepszenia drzew. Z mojego ogólnego zrozumienia wynika, że pseudo kod dla każdego z nich to: Parcianka: Weź N losowych próbek x% próbek i y% funkcji Dopasuj swój model (np. Drzewo decyzyjne) do każdego z N Przewiduj z …

17 cart boosting xgboost bagging

1

Jakiej metody wielokrotnego porównania użyć w modelu Lmer: lsmeans czy glht?

Analizuję zestaw danych przy użyciu modelu efektów mieszanych z jednym ustalonym efektem (warunkiem) i dwoma efektami losowymi (uczestnik ze względu na projekt i parę wewnątrz przedmiotu). Model ten został wygenerowany z lme4pakietu: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Następnie wykonałem test współczynnika wiarygodności tego modelu względem modelu bez ustalonego efektu (warunku) i mam znaczącą różnicę. …

16 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Dlaczego funkcja bootstrap scikit-learn ponownie próbkuje zestaw testowy?

Kiedy używałem bootstrapowania do oceny modelu, zawsze myślałem, że próbki z torebki były bezpośrednio używane jako zestaw testowy. Jednak wydaje się, że nie jest tak w przypadku przestarzałego podejścia scikit-learnBootstrap , które wydaje się budować zestaw testowy na podstawie rysowania z zastępowaniem z podzbioru danych poza torbą. Jakie jest uzasadnienie …

15 cross-validation bootstrap random-forest scikit-learn bagging

1

Jakie algorytmy workowania są godnymi następcami Random Forest?

Jeśli chodzi o algorytmy wzmacniające, powiedziałbym, że ewoluowały całkiem dobrze. Na początku 1995 r. Wprowadzono AdaBoost, a po pewnym czasie była to Gradient Boosting Machine (GBM). Niedawno około 2015 r. Wprowadzono XGBoost, który jest dokładny, radzi sobie z nadmiernym dopasowaniem i stał się zwycięzcą wielu konkursów Kaggle. W 2017 roku …

14 random-forest boosting bagging

5

Algorytm losowego lasu i drzewa decyzyjnego

Losowy las to zbiór drzew decyzyjnych według koncepcji workowania. Kiedy przechodzimy z jednego drzewa decyzyjnego do następnego drzewa decyzyjnego, w jaki sposób informacje zdobyte przez ostatnie drzewo decyzyjne przechodzą do następnego? Ponieważ, zgodnie z moim zrozumieniem, nie ma nic takiego jak wyszkolony model, który jest tworzony dla każdego drzewa decyzyjnego, …

14 machine-learning random-forest cart bagging

3

Czy losowy las i wzmocnienie jest parametryczny czy nieparametryczny?

Czytając doskonałe modelowanie statystyczne: Dwie kultury (Breiman 2001) , możemy uchwycić całą różnicę między tradycyjnymi modelami statystycznymi (np. Regresja liniowa) a algorytmami uczenia maszynowego (np. Bagging, Random Forest, Boosted trees ...). Breiman krytykuje modele danych (parametryczne), ponieważ opierają się one na założeniu, że obserwacje są generowane przez znany, formalny model …

13 machine-learning data-mining random-forest boosting bagging

1

Dlaczego nie zawsze korzystać z nauki zespołowej?

Wydaje mi się, że uczenie się w zespole zawsze da lepsze wyniki predykcyjne niż w przypadku jednej hipotezy uczenia się. Dlaczego więc nie używamy ich przez cały czas? Sądzę, że powodem są być może ograniczenia obliczeniowe? (nawet wtedy używamy słabych predyktorów, więc nie wiem).

13 boosting ensemble bagging

2

Dlaczego spakowane drzewo / losowe drzewo leśne ma większe odchylenie niż pojedyncze drzewo decyzyjne?

Jeśli weźmiemy pod uwagę dorosłe drzewo decyzyjne (tj. Drzewo decyzji bez przycinania), ma ono dużą wariancję i niskie odchylenie. Bagging i losowe lasy używają tych modeli o dużej wariancji i agregują je w celu zmniejszenia wariancji, a tym samym zwiększenia dokładności prognoz. Zarówno Bagging, jak i losowe lasy używają próbkowania …

11 variance random-forest cart bias bagging

1

Losowa prognoza probabilistyczna lasu a głosowanie większościowe

Wydaje się, że scikit uczy się przewidywania probabilistycznego zamiast głosowania większością za techniką agregacji modelu bez wyjaśnienia, dlaczego (1.9.2.1. Losowe lasy). Czy istnieje jasne wyjaśnienie, dlaczego? Czy jest też dobry artykuł lub artykuł przeglądowy na temat różnych technik agregacji modeli, które można zastosować do tworzenia worków w Losowym lesie? Dzięki!

10 random-forest python scikit-learn aggregation bagging

Pytania otagowane jako bagging