Statystyki i duże zbiory danych cross-validation

11

Czy jest jakiś powód, aby preferować AIC lub BIC nad drugim?

AIC i BIC są metodami oceny dopasowania modelu karanymi za liczbę oszacowanych parametrów. Jak rozumiem, BIC karze modele bardziej za wolne parametry niż AIC. Czy poza preferencjami opartymi na rygorystycznych kryteriach istnieją jeszcze inne powody, by preferować AIC zamiast BIC lub odwrotnie?

222 modeling aic cross-validation bic model-selection

6

Jak wybrać model predykcyjny po k-krotnej walidacji krzyżowej?

Zastanawiam się, jak wybrać model predykcyjny po przeprowadzeniu krzyżowej weryfikacji K-fold. Może to być niezręcznie sformułowane, więc pozwól mi wyjaśnić bardziej szczegółowo: za każdym razem, gdy uruchamiam K-krotnie weryfikację krzyżową, używam K podzbiorów danych treningowych i kończę na K różnych modelach. Chciałbym wiedzieć, jak wybrać jeden z modeli K, aby …

148 cross-validation model-selection

5

Szkolenie z pełnym zestawem danych po walidacji krzyżowej?

Czy po sprawdzeniu krzyżowym zawsze dobrze jest trenować z pełnym zestawem danych ? Innymi słowy, czy można trenować ze wszystkimi próbkami w moim zbiorze danych i nie jest w stanie sprawdzić, czy to dopasowanie pasuje do siebie ? Kilka podstaw problemu: Powiedzmy, że mam rodzinę modeli sparametryzowanych przez . Powiedz …

139 machine-learning cross-validation model-selection

4

Wybór K w K-krotnie walidacji krzyżowej

Używam tego K.KK -krotnie krzyżowe sprawdzanie kilka razy, aby ocenić skuteczność niektórych algorytmów uczenia się, ale zawsze byłem zdziwiony, jak mam wybrać wartość K.KK . Często widziałem i stosowałem wartość K.= 10K=10K = 10 , ale wydaje mi się to całkowicie arbitralne, a teraz po prostu używam 101010 z przyzwyczajenia, …

136 machine-learning classification cross-validation

5

Różnice między walidacją krzyżową a ładowaniem początkowym w celu oszacowania błędu prognozowania

Chciałbym, aby twoje przemyślenia na temat różnic między weryfikacją krzyżową a ładowaniem początkowym oszacowały błąd prognozowania. Czy lepiej działa w przypadku małych zestawów danych lub dużych zestawów danych?

102 cross-validation predictive-models bootstrap

3

Zagnieżdżone sprawdzanie poprawności wyboru modelu

Jak wykorzystać zagnieżdżoną weryfikację krzyżową do wyboru modelu ? Z tego, co czytam online, zagnieżdżone CV działa w następujący sposób: Istnieje wewnętrzna pętla CV, w której możemy przeprowadzić wyszukiwanie siatki (np. Uruchomienie K-fold dla każdego dostępnego modelu, np. Kombinacja hiperparametrów / funkcji) Istnieje zewnętrzna pętla CV, w której mierzymy wydajność …

91 cross-validation model-selection

7

Odchylenie i wariancja w walidacji krzyżowej z pominięciem jednego wyjścia a K-krotnie

Jak różnią się różne metody walidacji krzyżowej pod względem wariancji modelu i stronniczości? Moje pytanie jest częściowo motywowane tym wątkiem: optymalna liczba fałdów w krzyżowej walidacji - fold: czy pominięcie CV zawsze jest najlepszym wyborem? KKKK. Odpowiedź sugeruje, że modele wyuczone z krzyżową walidacją typu „pomijaj jeden” mają wyższą wariancję …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Weryfikacja krzyżowa zwykłym angielskim?

Jak opisałbyś walidację krzyżową komuś bez doświadczenia w analizie danych?

77 cross-validation

3

Wybór funkcji i walidacja krzyżowa

Ostatnio dużo czytałem na tej stronie (@Aniko, @Dikran Marsupial, @Erik) i gdzie indziej na temat problemu nadmiaru występującego przy krzyżowej walidacji - (Smialowski i in. 2010 Bioinformatics, Hastie, Elementy uczenia statystycznego). Sugeruje się, że każdy nadzorowany wybór funkcji (przy użyciu korelacji z etykietami klas) wykonywany poza oszacowaniem wydajności modelu za …

76 cross-validation feature-selection

6

Wybór funkcji dla „ostatecznego” modelu podczas weryfikacji krzyżowej w uczeniu maszynowym

Trochę się mylę co do wyboru funkcji i uczenia maszynowego i zastanawiałem się, czy możesz mi pomóc. Mam zestaw danych mikromacierzy, który jest podzielony na dwie grupy i ma tysiące funkcji. Moim celem jest uzyskanie niewielkiej liczby genów (moich cech) (10–20) w sygnaturze, którą teoretycznie będę mógł zastosować do innych …

76 machine-learning classification cross-validation feature-selection genetics

5

Wykorzystanie k-krotnej walidacji krzyżowej do wyboru modelu szeregów czasowych

Pytanie: Chcę się czegoś upewnić, czy stosowanie k-krotnej walidacji krzyżowej z szeregami czasowymi jest proste, czy też należy na to zwrócić szczególną uwagę? Tło: modeluję 6-letni szereg czasowy (z łańcuchem pół-markowa), z próbką danych co 5 minut. Aby porównać kilka modeli, używam 6-krotnej walidacji krzyżowej, dzieląc dane na 6 lat, …

70 time-series modeling cross-validation

1

Jak podzielić zestaw danych w celu weryfikacji krzyżowej, krzywej uczenia się i oceny końcowej?

Jaka jest odpowiednia strategia podziału zestawu danych? Pytam o opinie na następujące podejście (nie na poszczególnych parametrów, takich jak test_sizeczy n_iter, ale jeśli kiedyś X, y, X_train, y_train, X_test, a y_testwłaściwie i czy sekwencja ma sens): (rozszerzenie tego przykładu z dokumentacji scikit-learn) 1. Załaduj zestaw danych from sklearn.datasets import load_digits …

69 machine-learning cross-validation python scikit-learn

4

Jak dostroić hiperparametry drzew xgboost?

Mam dane niezrównoważone w klasie i chcę dostroić hiperparametry wzmocnionego warkocza za pomocą xgboost. pytania Czy istnieje odpowiednik gridsearchcv lub randomsearchcv dla xgboost? Jeśli nie, jakie jest zalecane podejście do dostrojenia parametrów xgboost?

68 machine-learning cross-validation xgboost boosting

8

Jak mogę pomóc upewnić się, że dane testowe nie przeciekają do danych szkoleniowych?

Załóżmy, że mamy kogoś, kto buduje model predykcyjny, ale ten ktoś niekoniecznie jest dobrze obeznany z właściwymi zasadami statystyki lub uczenia maszynowego. Może pomagamy tej osobie w trakcie nauki, a może ta osoba korzysta z pakietu oprogramowania, który wymaga minimalnej wiedzy. Teraz ta osoba może bardzo dobrze rozpoznać, że prawdziwy …

60 machine-learning classification predictive-models cross-validation out-of-sample

10

Błąd sprawdzania poprawności mniej niż błąd szkolenia?

Znalazłem tu i tutaj dwa pytania dotyczące tego problemu, ale nie ma jeszcze oczywistej odpowiedzi ani wyjaśnienia. Wymuszam ten sam problem, w którym błąd walidacji jest mniejszy niż błąd szkolenia w mojej sieci neuronowej Convolution. Co to znaczy?

57 machine-learning mathematical-statistics neural-networks cross-validation

Pytania otagowane jako cross-validation