Pytania otagowane jako cross-validation

Wielokrotnie wstrzymywanie podzbiorów danych podczas dopasowywania modelu w celu kwantyfikacji wydajności modelu na wstrzymanych podzbiorach danych.

3
Krzywa ROC dla dyskretnych klasyfikatorów, takich jak SVM: Dlaczego wciąż nazywamy ją „krzywą”? Czy to nie jest tylko „punkt”?
W dyskusji: jak wygenerować krzywą roc do klasyfikacji binarnej , myślę, że zamieszanie polegało na tym, że „klasyfikator binarny” (który jest dowolnym klasyfikatorem, który oddziela 2 klasy) był dla Yang tak zwany „dyskretny klasyfikator” (który produkuje wyjścia dyskretne 0/1 jak SVM), a nie ciągłe dane wyjściowe, takie jak klasyfikatory ANN …
1
Jak działa weryfikacja krzyżowa typu „out-one-out”? Jak wybrać ostateczny model spośród różnych modeli?
Mam trochę danych i chcę zbudować model (powiedzmy model regresji liniowej) z tych danych. W następnym kroku chcę zastosować weryfikację krzyżową Leave-One-Out (LOOCV) na modelu, aby zobaczyć, jak dobrze sobie radzi. Jeśli dobrze zrozumiałem LOOCV, buduję nowy model dla każdej z moich próbek (zestaw testowy), używając każdej próbki oprócz tej …
3
Cross-validation lub bootstrapping w celu oceny wydajności klasyfikacji?
Jaka jest najbardziej odpowiednia metoda próbkowania do oceny wydajności klasyfikatora na określonym zbiorze danych i porównania go z innymi klasyfikatorami? Cross-validation wydaje się być standardową praktyką, ale przeczytałem, że metody takie jak bootstrap .632 są lepszym wyborem. W następstwie: czy wybór metryki wydajności wpływa na odpowiedź (jeśli użyję AUC zamiast …
1
Kto wynalazł k-krotnie walidację krzyżową?
Szukam odniesienia do artykułu, w którym wprowadzono k-krotną walidację krzyżową (zamiast po prostu dobrego odniesienia akademickiego do tematu). Być może jest zbyt daleko w przeszłość, aby jednoznacznie zidentyfikować pierwszy artykuł, więc wszystkie wczesne artykuły, w których zastosowano ten pomysł, byłyby interesujące. Najwcześniejsze są tego świadomi PA Lachenbruch i MR Mickey, …
2
Dlaczego lambda „w granicach jednego błędu standardowego od minimum” jest zalecaną wartością dla lambda w regresji elastycznej sieci?
Rozumiem, jaką rolę odgrywa lambda w regresji sieci elastycznej. Rozumiem, dlaczego należy wybrać lambda.min, wartość lambda, która minimalizuje błąd zwalidowany krzyżowo. Moje pytanie brzmi: gdzie w literaturze statystycznej zaleca się stosowanie lambda.1se, czyli takiej wartości lambda, która minimalizuje błąd CV plus jeden błąd standardowy ? Nie mogę znaleźć formalnego cytatu, …
1
Statystyka walidacji krzyżowej (CV) i ogólne statystyki walidacji krzyżowej (GCV)
Znalazłem potencjalnie sprzeczne definicje dla statystyki walidacji krzyżowej (CV) i statystyki uogólnionej walidacji krzyżowej (GCV) związanej z modelem liniowym (z normalnym, homoscedastycznym wektorem błędu \ boldsymbol \ varepsilon ).εY=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilonεε\boldsymbol\varepsilon Z jednej strony Golub, Heath i Wahba definiują oszacowanie GCV λ^λ^\hat{\lambda} jako (s. 216) minimalizator V(λ)V(λ)V\left(\lambda\right) podany …
3
Jakie wspólne modele prognostyczne można postrzegać jako specjalne przypadki modeli ARIMA?
Dziś rano obudziłem się zastanawiając (może to wynikać z faktu, że ostatniej nocy nie spałem dużo): skoro walidacja krzyżowa wydaje się być kamieniem węgielnym właściwego prognozowania szeregów czasowych, jakie modele powinienem „normalnie” „weryfikacja krzyżowa względem? Wymyśliłem kilka (łatwych), ale wkrótce zdałem sobie sprawę, że wszystkie były wyjątkowymi przypadkami modeli ARIMA. …
3
AIC a walidacja krzyżowa w szeregach czasowych: przypadek małej próbki
Interesuje mnie wybór modelu w ustawieniach szeregów czasowych. Dla konkretności załóżmy, że chcę wybrać model ARMA z puli modeli ARMA o różnych rzędach opóźnień. Ostatecznym celem jest prognozowanie . Wyboru modelu można dokonać za pomocą krzyżowa walidacja, stosowanie kryteriów informacyjnych (AIC, BIC), wśród innych metod. Rob J. Hyndman zapewnia sposób …
4
Dlaczego badacze stosują 10-krotną walidację krzyżową zamiast testowania na zestawie walidacyjnym?
Przeczytałem wiele artykułów naukowych na temat klasyfikacji sentymentów i pokrewnych tematów. Większość z nich stosuje 10-krotną walidację krzyżową do szkolenia i testowania klasyfikatorów. Oznacza to, że nie przeprowadza się osobnych testów / weryfikacji. Dlaczego? Jakie są zalety / wady tego podejścia, szczególnie dla osób prowadzących badania?
4
Kiedy mają zastosowanie wyniki Shao dotyczące krzyżowej walidacji z pominięciem jednego z nich?
W swoim artykule Linear Model Selection by Cross-Validation Jun Shao pokazuje, że w przypadku problemu selekcji zmiennych w wielowymiarowej regresji liniowej metoda walidacji krzyżowej z pominięciem jednego elementu (LOOCV) jest „asymptotycznie niespójna”. W prostym języku angielskim ma tendencję do wybierania modeli ze zbyt wieloma zmiennymi. W badaniu symulacyjnym Shao pokazuje, …
3
Stabilność modelu w przypadku dużego problemu , małego
Wprowadzenie: Mam zestaw danych z klasycznym „dużym problemem p, małym n”. Liczba dostępnych próbek n = 150, a liczba możliwych predyktorów p = 400. Wynik jest zmienną ciągłą. Chcę znaleźć najważniejsze „deskryptory”, tj. Te, które są najlepszymi kandydatami do wyjaśnienia wyniku i pomocy w zbudowaniu teorii. Po badaniach na ten …
2
Jak należy porównywać i walidować modele efektów mieszanych?
Jak zwykle porównywane są (liniowe) modele efektów mieszanych? Wiem, że można zastosować testy współczynnika prawdopodobieństwa, ale to nie działa, jeśli jeden model nie jest „podzbiorem” drugiego, prawda? Czy oszacowanie modeli df jest zawsze proste? Szacowana liczba stałych efektów + liczba składników wariancji? Czy ignorujemy oszacowania efektów losowych? Co z walidacją? …
2
Najlepsze podejście do wyboru modelu Bayesian czy walidacja krzyżowa?
Próbując wybrać spośród różnych modeli lub liczby funkcji do uwzględnienia, powiedzmy przewidywanie, że mogę wymyślić dwa podejścia. Podziel dane na zestawy szkoleniowe i testowe. Jeszcze lepiej, użyj ładowania początkowego lub krzyżowej weryfikacji K-fold. Trenuj na zestawie treningowym za każdym razem i oblicz błąd w stosunku do zestawu testowego. Błąd testu …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.