Pytania otagowane jako validation

Proces oceniania, czy wyniki analizy mogą się utrzymywać poza pierwotnym otoczeniem badawczym. NIE używaj tego znacznika do omawiania „ważności” pomiaru lub instrumentu (na przykład tego, że mierzy to, do czego ma on służyć), zamiast tego użyj tagu [poprawność].

11
Jaka jest różnica między zestawem testowym a zestawem walidacyjnym?
Zauważyłem to mylące, gdy korzystam z przybornika sieci neuronowej w Matlabie. Podzielił nieprzetworzony zestaw danych na trzy części: zestaw treningowy zestaw sprawdzania poprawności zestaw testowy Zauważam, że w wielu algorytmach szkoleniowych lub uczących się dane często dzielą się na 2 części, zestaw szkoleniowy i zestaw testowy. Moje pytania to: jaka …

10
Walidacja wstrzymania a walidacja krzyżowa
Wydaje mi się, że walidacja wstrzymania jest bezużyteczna. Oznacza to, że podzielenie oryginalnego zestawu danych na dwie części (szkolenie i testowanie) i wykorzystanie wyniku testu jako miary uogólnienia jest nieco bezużyteczne. Walidacja krzyżowa K-fold wydaje się dawać lepsze przybliżenia uogólnienia (ponieważ trenuje i testuje w każdym punkcie). Dlaczego więc mielibyśmy …


3
Jak wybrać metodę grupowania? Jak sprawdzić poprawność rozwiązania klastrowego (aby uzasadnić wybór metody)?
Jednym z największych problemów związanych z analizą skupień jest to, że może się zdarzyć, że będziemy musieli wyciągnąć odmienne wnioski, gdy oprą się na różnych zastosowanych metodach klastrowania (w tym różnych metodach łączenia w hierarchicznym klastrze). Chciałbym poznać Twoją opinię na ten temat - którą metodę wybierzesz i jak. Można …


2
Czy ostateczny (gotowy do produkcji) model powinien być szkolony na kompletnych danych, czy tylko na zestawie szkoleniowym?
Załóżmy, że trenowałem kilka modeli na zestawie treningowym, wybierz najlepszy, używając zestawu do krzyżowej weryfikacji i mierzonej wydajności na zestawie testowym. Więc teraz mam jeden ostateczny najlepszy model. Czy powinienem przekwalifikować je na wszystkie dostępne dane lub wysłać rozwiązanie szkolone tylko na zestawie szkoleniowym? Jeśli to drugie, to dlaczego? AKTUALIZACJA: …

4
Czy jako recenzent mogę uzasadnić żądanie podania danych i kodu, nawet jeśli czasopismo tego nie robi?
Ponieważ nauka musi być odtwarzalna, z definicji coraz częściej uznaje się, że dane i kod są zasadniczym składnikiem odtwarzalności, o czym dyskutuje Okrągły Stół Yale do udostępniania danych i kodów . Czy przeglądając manuskrypt czasopisma, który nie wymaga udostępniania danych i kodu, mogę poprosić o udostępnienie danych i kodu do …


4
Jak złe jest strojenie hiperparametrów poza walidacją krzyżową?
Wiem, że przeprowadzanie strojenia hiperparametrów poza walidacją krzyżową może prowadzić do stronniczo wysokich oszacowań zewnętrznej ważności, ponieważ zestaw danych używany do mierzenia wydajności jest taki sam, jak użyty do dostrojenia funkcji. Zastanawiam się, jak poważny jest to problem . Rozumiem, jak źle byłoby przy wyborze funkcji, ponieważ daje to ogromną …

2
Bayesian myśli o przeuczeniu
Poświęciłem dużo czasu na opracowanie metod i oprogramowania do walidacji modeli predykcyjnych w tradycyjnej dziedzinie statystyki częstokroć. Wprowadzając w życie więcej pomysłów bayesowskich i nauczając, dostrzegam kilka kluczowych różnic do przyjęcia. Po pierwsze, bayesowskie modelowanie predykcyjne prosi analityka o przemyślenie wcześniejszych dystrybucji, które można dostosować do cech kandydujących, a ci …


2
Scikit poprawny sposób kalibracji klasyfikatorów za pomocą CalibratedClassifierCV
Scikit ma CalibratedClassifierCV , co pozwala nam skalibrować nasze modele na konkretnej parze X, y. Stwierdza to również jasnodata for fitting the classifier and for calibrating it must be disjoint. Jeśli muszą być rozłączne, czy uzasadnione jest przeszkolenie klasyfikatora w następujących kwestiach? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Obawiam się, że …


1
Jaka intuicja kryje się za wymiennymi próbkami pod hipotezą zerową?
Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny, Mann-Whitney-U-testktóry prowadziłby do utraty większej ilości informacji. Jednak nie należy zapominać o jednym …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

2
Jaka jest procedura „walidacji bootstrap” (inaczej „ponownej próbkowania cross-validation”)?
„Walidacja bootstrap” / „ponowna próbkowanie cross-validation” jest dla mnie nowa, ale została omówiona w odpowiedzi na to pytanie . Rozumiem, że dotyczy to 2 rodzajów danych: danych rzeczywistych i danych symulowanych, w których dany zestaw danych symulowanych jest generowany z danych rzeczywistych przez ponowne próbkowanie z wymianą, aż dane symulowane …

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.