Pytania otagowane jako cross-validation

Wielokrotnie wstrzymywanie podzbiorów danych podczas dopasowywania modelu w celu kwantyfikacji wydajności modelu na wstrzymanych podzbiorach danych.

10
Walidacja wstrzymania a walidacja krzyżowa
Wydaje mi się, że walidacja wstrzymania jest bezużyteczna. Oznacza to, że podzielenie oryginalnego zestawu danych na dwie części (szkolenie i testowanie) i wykorzystanie wyniku testu jako miary uogólnienia jest nieco bezużyteczne. Walidacja krzyżowa K-fold wydaje się dawać lepsze przybliżenia uogólnienia (ponieważ trenuje i testuje w każdym punkcie). Dlaczego więc mielibyśmy …
5
Na temat znaczenia założenia iid w uczeniu statystycznym
W uczeniu statystycznym, w sposób dorozumiany lub jawny, zawsze zakłada się, że zestaw treningowy D={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \} składa się z NNN krotek wejściowych / odpowiedzi (Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) które są niezależne od tego samego rozkładu połączeń P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) z p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) p({\bf{X}}) oraz p(y|X)p(y|X)p( …
3
Zrozumienie stratyfikacji krzyżowej
Jaka jest różnica między walidacją krzyżową a walidacją krzyżową ? Wikipedia mówi: W warstwowej walidacji krzyżowej k-krotnie fałdy są wybierane tak, aby średnia wartość odpowiedzi była w przybliżeniu równa we wszystkich fałdach. W przypadku klasyfikacji dychotomicznej oznacza to, że każda fałda zawiera w przybliżeniu te same proporcje dwóch rodzajów etykiet …
6
Czy regresja kalenicy jest bezużyteczna w dużych wymiarach ( )? W jaki sposób OLS może się nie dopasowywać?
Rozważ dobry stary problem regresji z predyktorami i wielkością próby . Zazwyczaj mądrość jest taka, że ​​estymator OLS będzie nadrzędny i generalnie będzie lepszy niż estymator regresji grzbietu:Standardowe jest stosowanie weryfikacji krzyżowej w celu znalezienia optymalnego parametru regularyzacji . Tutaj używam 10-krotnego CV. Aktualizacja wyjaśnienia: gdy , przez „estymator OLS” …
1
Jak zastosować normalizację / normalizację do zestawu szkoleniowego i testowego, jeśli celem jest przewidywanie?
Czy jednocześnie przekształcam wszystkie moje dane lub foldery (jeśli zastosowano CV)? na przykład (allData - mean(allData)) / sd(allData) Czy osobno przekształcam skład zestawu i zestaw testowy? na przykład (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Czy też przekształcam skład zestawu i korzystam z obliczeń na zestawie testów? …
2
Optymalna liczba fałdów w walidacji krzyżowej krotności
Pomijając rozważania dotyczące mocy obliczeniowej, czy istnieją jakiekolwiek powody, by sądzić, że zwiększenie liczby fałdów w walidacji krzyżowej prowadzi do lepszego wyboru / walidacji modelu (tj. Że im wyższa liczba fałdów, tym lepiej)? Mówiąc skrajnie, czy wykluczająca się krzyżowa walidacja niekoniecznie prowadzi do lepszych modeli niż krzyżowa walidacja -krotnie?KKK Podstawowe …
4
Kompendium technik walidacji krzyżowej
Zastanawiam się, czy ktoś wie o kompendium technik walidacji krzyżowej z dyskusją na temat różnic między nimi i wskazówką, kiedy stosować każdą z nich. Wikipedia ma listę najpopularniejszych technik, ale jestem ciekawy, czy istnieją inne techniki i czy istnieją dla nich taksonomie. Na przykład po prostu wpadam na bibliotekę, która …
3
Empiryczne uzasadnienie dla jednej standardowej reguły błędu przy zastosowaniu weryfikacji krzyżowej
Czy są jakieś badania empiryczne uzasadniające stosowanie jednej standardowej reguły błędu na korzyść parsimony? Oczywiście zależy to od procesu generowania danych, ale wszystko, co analizuje duży zbiór zbiorów danych, byłoby bardzo interesujące. „Jedna standardowa reguła błędu” jest stosowana przy wyborze modeli poprzez walidację krzyżową (lub bardziej ogólnie za pomocą dowolnej …
3
Wariancja -krotnie szacunki krzyżowej walidacji jako : jaka jest rola „stabilności”?
TL, DR: Wydaje się, że wbrew często powtarzanym zaleceniom, krzyżowa walidacja typu „jeden do jednego” (LOO-CV) - to znaczy,krotnie CV z(liczbą fałdów) równą(liczba obserwacji treningowych) - daje oszacowania błędu uogólnienia, które są najmniej zmienne dla dowolnego, a nie najbardziej zmienne, przy założeniu pewnegowarunku stabilności w modelu / algorytmie, zestawie danych …
7
Czy do wnioskowania przyczynowego można zastosować walidację krzyżową?
We wszystkich kontekstach znam walidację krzyżową, która jest stosowana wyłącznie w celu zwiększenia dokładności predykcyjnej. Czy można rozszerzyć logikę walidacji krzyżowej przy szacowaniu obiektywnych związków między zmiennymi? Podczas gdy ten artykuł Richarda Berka demonstruje użycie trzymanej próbki do wyboru parametrów w „regresyjnym” modelu regresji (i pokazuje, dlaczego stopniowy wybór parametrów …
5
Analiza szeregów czasowych z walidacją krzyżową
Korzystałem z pakietu Caret w R do budowania modeli predykcyjnych do klasyfikacji i regresji. Caret zapewnia zunifikowany interfejs do dostrajania hiperparametrów modelu poprzez weryfikację krzyżową lub wiązanie rozruchu. Na przykład, jeśli budujesz prosty model „najbliższych sąsiadów” do celów klasyfikacji, ilu sąsiadów powinieneś użyć? 2? 10? 100? Caret pomaga odpowiedzieć na …
1
Kiedy zagnieżdżona weryfikacja krzyżowa jest naprawdę potrzebna i może mieć praktyczny wpływ?
Korzystając z walidacji krzyżowej w celu dokonania wyboru modelu (np. Strojenia hiperparametrów) i oceny wydajności najlepszego modelu, należy zastosować zagnieżdżoną walidację krzyżową . Pętla zewnętrzna służy do oceny wydajności modelu, a pętla wewnętrzna służy do wyboru najlepszego modelu; model jest wybierany na każdym zewnętrznym zestawie treningowym (przy użyciu wewnętrznej pętli …
3
PCA i podział pociąg / test
Mam zestaw danych, dla którego mam wiele zestawów etykiet binarnych. Dla każdego zestawu etykiet uczę klasyfikatora, oceniając go poprzez walidację krzyżową. Chcę zmniejszyć wymiarowość za pomocą analizy głównych składników (PCA). Moje pytanie brzmi: Czy możliwe jest wykonanie PCA raz dla całego zestawu danych, a następnie użycie nowego zestawu danych o …
2
Wybór modelu i walidacja krzyżowa: właściwa droga
W CrossValidated znajduje się wiele wątków na temat wyboru modelu i weryfikacji krzyżowej. Tu jest kilka: Walidacja wewnętrzna i zewnętrzna oraz wybór modelu @ DikranMarsupial w górę odpowiedzi do wyboru funkcji i walidacji krzyżowej Jednak odpowiedzi na te wątki są dość ogólne i głównie podkreślają problemy ze szczególnym podejściem do …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.