Statystyki i duże zbiory danych overfitting

21

Jaki jest przykład „nadmiernego dopasowania” w świecie rzeczywistym?

W pewnym sensie rozumiem, co oznacza „nadmierne dopasowanie”, ale potrzebuję pomocy, aby znaleźć prawdziwy przykład, który dotyczy nadmiernego dopasowania.

107 overfitting

6

Czy regresja kalenicy jest bezużyteczna w dużych wymiarach ( )? W jaki sposób OLS może się nie dopasowywać?

Rozważ dobry stary problem regresji z predyktorami i wielkością próby . Zazwyczaj mądrość jest taka, że estymator OLS będzie nadrzędny i generalnie będzie lepszy niż estymator regresji grzbietu:Standardowe jest stosowanie weryfikacji krzyżowej w celu znalezienia optymalnego parametru regularyzacji . Tutaj używam 10-krotnego CV. Aktualizacja wyjaśnienia: gdy , przez „estymator OLS” …

50 cross-validation regularization overfitting ridge-regression shrinkage

6

Losowy las - jak radzić sobie z przeuczeniem

Mam wykształcenie informatyczne, ale staram się uczyć danych, rozwiązując problemy w Internecie. Pracowałem nad tym problemem przez ostatnie kilka tygodni (około 900 wierszy i 10 funkcji). Początkowo korzystałem z regresji logistycznej, ale teraz przerzuciłem się na losowe lasy. Kiedy uruchamiam mój przypadkowy model lasu na danych treningowych, otrzymuję naprawdę wysokie …

41 random-forest overfitting

4

Czy czasopismo Science poparło analizę Garden of Forking Pathes Analyzes?

Idea adaptacyjnej analizy danych polega na tym, że zmieniasz swój plan analizowania danych, gdy dowiadujesz się więcej na ten temat. W przypadku eksploracyjnej analizy danych (EDA) jest to ogólnie dobry pomysł (często szukasz nieprzewidzianych wzorców w danych), ale w przypadku badania potwierdzającego jest to powszechnie akceptowane jako bardzo błędna metoda …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

4

Jak to możliwe, że utrata walidacji rośnie, a jednocześnie zwiększa się dokładność walidacji

Uczę prostej sieci neuronowej na zbiorze danych CIFAR10. Po pewnym czasie utrata walidacji zaczęła rosnąć, a dokładność walidacji również rośnie. Utrata i dokładność testu stale się poprawiają. Jak to jest możliwe? Wydaje się, że w przypadku wzrostu utraty walidacji dokładność powinna się zmniejszyć. PS Jest kilka podobnych pytań, ale nikt …

28 neural-networks deep-learning conv-neural-network overfitting

5

Przebudowa modelu regresji logistycznej

Czy można zastąpić model regresji logistycznej? Widziałem wideo z informacją, że jeśli mój obszar pod krzywą ROC jest większy niż 95%, to jest bardzo prawdopodobne, że będzie on nadmiernie dopasowany, ale czy można zastąpić model regresji logistycznej?

28 logistic overfitting regression-strategies

6

Dlaczego mniejsze ciężary powodują prostsze modele regularyzacji?

Ukończyłem kurs uczenia maszynowego Andrew Nga około rok temu, a teraz piszę moje badanie matematyki w szkole średniej na temat działania regresji logistycznej i technik optymalizacji wydajności. Jedną z tych technik jest oczywiście regularyzacja. Celem regularyzacji jest zapobieganie nadmiernemu dopasowaniu poprzez rozszerzenie funkcji kosztów o cel prostoty modelu. Możemy to …

27 regression machine-learning optimization regularization overfitting

5

Czy przerobiony model niekoniecznie jest bezużyteczny?

Załóżmy, że model ma 100% dokładności danych treningowych, ale 70% dokładności danych testowych. Czy następujący argument dotyczy tego modelu? Oczywiste jest, że jest to model przebudowany. Dokładność testu można zwiększyć, zmniejszając nadmierne dopasowanie. Ale ten model może nadal być użytecznym modelem, ponieważ ma akceptowalną dokładność dla danych testowych.

25 model accuracy overfitting

2

Czy to prawda, że metody bayesowskie nie pasują do siebie?

Czy to prawda, że metody bayesowskie nie pasują do siebie? (Widziałem kilka artykułów i samouczków przedstawiających to twierdzenie) Na przykład, jeśli zastosujemy Proces Gaussa do MNIST (odręczna klasyfikacja cyfr), ale pokażemy tylko jedną próbkę, czy powróci on do wcześniejszego rozkładu dla jakichkolwiek danych wejściowych innych niż ta pojedyncza próbka, jakkolwiek …

25 bayesian nonparametric gaussian-process overfitting misspecification

2

Czy ma sens łączenie PCA i LDA?

Załóżmy, że mam zestaw danych do nadzorowanego zadania klasyfikacji statystycznej, np. Za pomocą klasyfikatora Bayesa. Ten zestaw danych składa się z 20 elementów i chcę sprowadzić go do 2 elementów za pomocą technik redukcji wymiarów, takich jak analiza głównych składników (PCA) i / lub liniowa analiza dyskryminacyjna (LDA). Obie techniki …

25 classification pca regularization discriminant-analysis overfitting

4

„Częściowo nadzorowane uczenie się” - czy to jest zbyt dobre?

Czytałem raport o zwycięskim rozwiązaniu konkursu Kaggle ( klasyfikacja złośliwego oprogramowania ). Raport można znaleźć w tym poście na forum . Problemem był problem z klasyfikacją (dziewięć klas, metryką była strata logarytmiczna) ze 10000 elementami w zestawie pociągów, 10000 elementów w zestawie testowym. Podczas zawodów modele były oceniane w stosunku …

21 machine-learning random-forest boosting overfitting semi-supervised

9

Niedopasowanie i niedopasowanie

Przeprowadziłem pewne badania na temat niedopasowania i niedopasowania i zrozumiałem, czym dokładnie są, ale nie mogę znaleźć powodów. Jakie są główne powody niedopasowania i niedopasowania? Dlaczego napotykamy te dwa problemy podczas szkolenia modelu?

20 machine-learning dataset overfitting

1

Dyskusja na temat overfit w xgboost

Moja konfiguracja jest następująca: Postępuję zgodnie z wytycznymi w „Applied Predictive Modeling”. W związku z tym odfiltrowałem skorelowane funkcje i kończę na następujących: 4900 punktów danych w zestawie treningowym i 1600 punktów danych w zestawie testowym. Mam 26 cech, a celem jest zmienna ciągła. Stosuję 5-krotną walidację krzyżową do trenowania …

20 machine-learning boosting overfitting

5

Unikaj nadmiernego dopasowania w regresji: alternatywy dla regularyzacji

Regularyzacja w regresji (liniowa, logistyczna ...) jest najpopularniejszym sposobem ograniczenia nadmiernego dopasowania. Kiedy celem jest dokładność prognoz (nie wyjaśniając), czy istnieją jakieś dobre alternatywy dla regularyzacji, szczególnie odpowiednie dla dużych zbiorów danych (mi / miliardy obserwacji i miliony funkcji)?

19 regression regularization overfitting

2

Zwiększenie: dlaczego współczynnik uczenia się nazywa się parametrem regularyzacji?

Szybkość uczenia się parametr ( ) gradientu Zwiększenie kurczy wkładu każdego nowego modelu podstawowego -typically zawiera drzewo płytka, że dodaje się w serii. Wykazano, że radykalnie zwiększa dokładność zestawu testowego, co jest zrozumiałe, ponieważ przy mniejszych krokach minimum funkcji straty można uzyskać bardziej precyzyjnie. ν∈ [ 0 , 1 ]ν∈[0,1]\nu …

19 machine-learning data-mining predictive-models boosting overfitting

Pytania otagowane jako overfitting