Statystyki i duże zbiory danych cross-validation

1

Dlaczego informacje o danych walidacyjnych wyciekają, jeśli oceniam wydajność modelu na danych walidacyjnych podczas strojenia hiperparametrów?

W głębokim nauczaniu François Cholleta w Pythonie napisano: W rezultacie dostrajanie konfiguracji modelu w oparciu o jego wydajność w zestawie sprawdzania poprawności może szybko doprowadzić do nadmiernego dopasowania do zestawu sprawdzania poprawności, nawet jeśli Twój model nigdy nie jest bezpośrednio na nim szkolony. Centralnym elementem tego zjawiska jest pojęcie wycieków …

9 neural-networks cross-validation hyperparameter

2

Czy to prawda, że Bayesianie nie potrzebują zestawów testowych?

Niedawno obejrzałem tę rozmowę Erica J. Ma i sprawdziłem jego wpis na blogu , w którym cytuje Radforda Neala, że modele bayesowskie nie pasują (ale mogą się przewyższać ), a podczas ich używania nie potrzebujemy zestawów testowych do ich weryfikacji (dla wydaje mi się, że cytaty mówią raczej o użyciu …

9 machine-learning bayesian cross-validation deep-learning

1

Który model głębokiego uczenia może klasyfikować kategorie, które nie wykluczają się wzajemnie

Przykłady: w opisie stanowiska mam zdanie: „Starszy inżynier Java w Wielkiej Brytanii”. Chcę użyć modelu głębokiego uczenia się, aby przewidzieć go jako 2 kategorie: English i IT jobs. Jeśli użyję tradycyjnego modelu klasyfikacji, może on przewidzieć tylko 1 etykietę z softmaxfunkcją na ostatniej warstwie. Dlatego mogę użyć 2 modelowych sieci …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

2

Czy rzeczywiście dobrze jest dokonywać wyboru funkcji bez nadzoru przed weryfikacją krzyżową?

W The Elements of Statistics Learning znalazłem następujące stwierdzenie: Istnieje jedna kwalifikacja: wstępne pomiary bez nadzoru można wykonać przed pominięciem próbek. Na przykład, moglibyśmy wybrać 1000 predyktorów o największej wariancji we wszystkich 50 próbkach przed rozpoczęciem walidacji krzyżowej. Ponieważ to filtrowanie nie obejmuje etykiet klas, nie zapewnia nieuczciwej przewagi predyktorom. …

9 machine-learning cross-validation feature-selection

2

Czy zawsze powinniśmy robić CV?

Moje pytanie: czy powinienem zrobić CV nawet dla stosunkowo dużego zbioru danych? Mam stosunkowo duży zestaw danych i zastosuję algorytm uczenia maszynowego do tego zestawu danych. Ponieważ mój komputer nie jest szybki, CV (i wyszukiwanie siatki) zajmuje czasem zbyt dużo czasu. W szczególności SVM nigdy się nie kończy z powodu …

9 machine-learning cross-validation

1

Klasyfikatory algebraiczne, więcej informacji?

Przeczytałem klasyfikatory algebraiczne: ogólne podejście do szybkiej walidacji krzyżowej, szkolenia online i szkolenia równoległego i byłem zaskoczony wydajnością algorytmów pochodnych. Wydaje się jednak, że poza Naive Bayes (i GBM) nie ma wielu algorytmów dostosowanych do frameworka. Czy są jakieś inne artykuły, które pracowały nad różnymi klasyfikatorami? (SVM, losowe lasy)

9 cross-validation references random-forest computational-statistics naive-bayes

1

Wybór oryginalnego (?) Modelu z k-krotnie CV

Używając k-krotnie CV do wyboru spośród modeli regresji, zwykle obliczam błąd CV osobno dla każdego modelu, wraz z jego standardowym błędem SE, i wybieram najprostszy model w obrębie 1 SE modelu o najniższym błędzie CV (1 standardowa reguła błędu, patrz na przykład tutaj ). Jednak niedawno powiedziano mi, że w …

9 regression cross-validation model-selection

2

Testy historyczne lub weryfikacja krzyżowa, gdy proces budowania modelu był interaktywny

Mam kilka modeli predykcyjnych, których wydajność chciałbym przetestować ponownie (tj. Zabrać mój zestaw danych, „przewinąć” go do poprzedniego momentu i zobaczyć, jak ten model działałby prospektywnie). Problem polega na tym, że niektóre z moich modeli zostały zbudowane w procesie interaktywnym. Na przykład, zgodnie z zaleceniami Strategii modelowania regresji Franka Harrella …

9 cross-validation modeling outliers splines overfitting

2

Oszacowanie błędu braku worka do zwiększenia?

W Random Forest każde drzewo jest uprawiane równolegle na unikalnej próbce danych doładowania. Ponieważ oczekuje się, że każda próbka przypominająca zawiera około 63% unikalnych obserwacji, pozostawia to około 37% obserwacji, które można wykorzystać do testowania drzewa. Teraz wydaje się, że w Stochastic Gradient Boosting istnieje również OOBerrorOOBerrorOOB_{error} oszacowanie podobne do …

9 machine-learning cross-validation data-mining random-forest boosting

3

Walidacja krzyżowa K-hold lub hold-out dla regresji grzbietu za pomocą R.

Pracuję nad weryfikacją krzyżową prognoz moich danych z 200 podmiotami i 1000 zmiennymi. Interesuje mnie regresja grzbietu, ponieważ liczba zmiennych (chcę użyć) jest większa niż liczba próbek. Więc chcę użyć estymatorów skurczu. Oto przykładowe dane: #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) for (i in 1:200) …

9 r cross-validation prediction ridge-regression

2

Jak znaleźć optymalne wartości parametrów dostrajania w drzewach wzmacniających?

Zdaję sobie sprawę, że w modelu drzew przypominających są 3 parametry dostrajania, tj liczba drzew (liczba iteracji) parametr skurczu liczba podziałów (wielkość każdego drzewa składowego) Moje pytanie brzmi: jak dla każdego parametru dostrajania znaleźć optymalną wartość? I jaką metodę? Zauważ, że: parametr skurczu i parametr liczby drzew działają razem, tj. …

9 machine-learning cross-validation computational-statistics boosting gbm

1

R / caret: pociąg i zestawy testowe a walidacja krzyżowa?

To może być głupie pytanie, ale przy generowaniu modelu z karetką i używaniu czegoś podobnego LOOCVlub (nawet bardziej do LGOCVrzeczy ) , jaka jest korzyść z dzielenia danych na zestawy pociągów i testów, jeśli jest to zasadniczo etap weryfikacji krzyżowej w każdym razie? Przeczytałem niektóre powiązane pytania i zasugerowali, że …

9 r machine-learning cross-validation caret

1

Jak porównać obserwowane i oczekiwane zdarzenia?

Załóżmy, że mam jedną próbkę częstotliwości 4 możliwych zdarzeń: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 i mam spodziewane prawdopodobieństwo wystąpienia moich zdarzeń: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dzięki sumie obserwowanych częstotliwości moich czterech zdarzeń (18) mogę obliczyć …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

4

Wybór modelu i wydajność modelu w regresji logistycznej

Mam pytanie dotyczące wyboru modelu i wydajności modelu w regresji logistycznej. Mam trzy modele oparte na trzech różnych hipotezach. Pierwsze dwa modele (nazwijmy je z i x) mają tylko jedną zmienną objaśniającą w każdym modelu, a trzeci (nazwijmy to w) jest bardziej skomplikowany. Używam AIC do wyboru zmiennych dla modelu …

9 logistic model-selection cross-validation

2

Cross Validation dla modeli mieszanych?

Mój kolega i ja dopasowujemy zakres liniowych i nieliniowych modeli efektu mieszanego w R. Jesteśmy proszeni o przeprowadzenie weryfikacji krzyżowej dopasowanych modeli, aby można było zweryfikować, czy zaobserwowane efekty są względnie ogólne. Zwykle jest to trywialne zadanie, ale w naszym przypadku musimy podzielić całe dane na część szkoleniową i część …

9 mixed-model cross-validation

Pytania otagowane jako cross-validation