Statystyki i duże zbiory danych cross-validation

2

Wybór optymalnej wartości alfa w elastycznej regresji logistycznej sieci

Wykonuję regresję logistyczną elastycznej sieci dla zestawu danych opieki zdrowotnej, używając glmnetpakietu w R, wybierając wartości lambda na siatce od 0 do 1. Mój skrócony kod znajduje się poniżej:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) }) for (i in 1:11) {print(min(elasticnet[[i]]$cvm))} która wyprowadza średni …

22 machine-learning cross-validation glmnet elastic-net

5

Przekroczenie: Brak srebrnej kuli?

Rozumiem, że nawet przy przestrzeganiu odpowiednich procedur walidacji krzyżowej i wyboru modelu, nadmierne dopasowanie nastąpi, jeśli ktoś będzie szukał wystarczająco modelu , chyba że nałoży ograniczenia na złożoność modelu, okres. Co więcej, często ludzie próbują nauczyć się kar za złożoność modelu na podstawie danych, które podważają ochronę, którą mogą zapewnić. …

21 machine-learning cross-validation goodness-of-fit scikit-learn caret

2

Cross Validation (generalizacja błędów) po wyborze modelu

Uwaga: przypadek to n >> p Czytam Elementy uczenia statystycznego i jest wiele wzmianek o „właściwym” sposobie przeprowadzania walidacji krzyżowej (np. Strona 60, strona 245). W szczególności moje pytanie brzmi: jak ocenić ostateczny model (bez osobnego zestawu testowego) za pomocą k-fold CV lub bootstrapowania, gdy przeprowadzono wyszukiwanie modelu? Wydaje się, …

21 machine-learning model-selection data-mining cross-validation

3

Czy potrzebujemy zestawu testowego, gdy korzystamy z krzyżowej weryfikacji k-fold?

Czytałem o walidacji k-fold i chcę się upewnić, że rozumiem, jak to działa. Wiem, że w przypadku metody wstrzymania dane są podzielone na trzy zestawy, a zestaw testowy jest używany tylko na samym końcu do oceny wydajności modelu, podczas gdy zestaw sprawdzania poprawności służy do dostrajania hiperparametrów itp. W metodzie …

21 cross-validation validation out-of-sample

1

Czy powinienem podejmować decyzje w oparciu o miary uśrednione w skali mikro lub średnio?

Przeprowadziłem 10-krotną weryfikację krzyżową różnych algorytmów klasyfikacji binarnej, z tym samym zestawem danych, i otrzymałem uśrednione wyniki Mikro- i Makro. Należy wspomnieć, że był to problem klasyfikacji wielu marek. W moim przypadku prawdziwe negatywy i prawdziwe pozytywy są ważone jednakowo. Oznacza to, że prawidłowe przewidywanie prawdziwych negatywów jest równie ważne, …

21 machine-learning cross-validation

1

Korzyści z próbkowania warstwowego vs losowego do generowania danych treningowych w klasyfikacji

Chciałbym wiedzieć, czy są jakieś / jakieś zalety stosowania próbkowania warstwowego zamiast próbkowania losowego, podczas dzielenia oryginalnego zestawu danych na zestaw szkoleniowy i testowy do klasyfikacji. Ponadto, czy próbkowanie warstwowe wprowadza więcej uprzedzeń do klasyfikatora niż próbkowanie losowe? Aplikacja, dla której chciałbym zastosować próbkowanie warstwowe do przygotowania danych, jest klasyfikatorem …

21 classification cross-validation random-forest train stratification

4

Jak złe jest strojenie hiperparametrów poza walidacją krzyżową?

Wiem, że przeprowadzanie strojenia hiperparametrów poza walidacją krzyżową może prowadzić do stronniczo wysokich oszacowań zewnętrznej ważności, ponieważ zestaw danych używany do mierzenia wydajności jest taki sam, jak użyty do dostrojenia funkcji. Zastanawiam się, jak poważny jest to problem . Rozumiem, jak źle byłoby przy wyborze funkcji, ponieważ daje to ogromną …

20 cross-validation validation hyperparameter

2

Jak korzystać z funkcji weryfikacji krzyżowej scikit-learn w klasyfikatorach z wieloma etykietami

Testuję różne klasyfikatory na zbiorze danych, w którym jest 5 klas, a każda instancja może należeć do jednej lub więcej z tych klas, więc w szczególności używam klasyfikatorów wieloznakowych scikit-learn sklearn.multiclass.OneVsRestClassifier. Teraz chcę przeprowadzić weryfikację krzyżową za pomocą sklearn.cross_validation.StratifiedKFold. Powoduje to następujący błąd: Traceback (most recent call last): File "mlfromcsv.py", …

20 cross-validation python multi-class scikit-learn multilabel

1

libsvm „osiąganie maksymalnej liczby iteracji” ostrzeżenie i wzajemna weryfikacja

Używam libsvm w trybie C-SVC z wielomianowym jądrem stopnia 2 i muszę trenować wiele SVM. Każdy zestaw treningowy ma 10 funkcji i 5000 wektorów. Podczas treningu otrzymuję to ostrzeżenie dla większości maszyn SVM, które trenuję: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 Czy ktoś mógłby wyjaśnić, …

20 machine-learning cross-validation svm regularization libsvm

2

Walidacja krzyżowa vs empiryczne Bayesa do szacowania hiperparametrów

Biorąc pod uwagę model hierarchiczny , chcę, aby dwuetapowy proces pasował do modelu. Najpierw napraw garść hiperparametrów θ , a następnie wykonaj wnioskowanie bayesowskie na pozostałych parametrach ϕ . Do ustalenia hiperparametrów rozważam dwie opcje.p ( x | ϕ , θ )p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi Użyj Empirical Bayesa (EB) i zmaksymalizuj krańcowe prawdopodobieństwo …

20 cross-validation references empirical-bayes

2

Testowanie znaczenia czy walidacja krzyżowa?

Dwa powszechne podejścia do wybierania zmiennych skorelowanych to testy istotności i walidacja krzyżowa. Jaki problem każdy z nich próbuje rozwiązać i kiedy wolałbym jeden od drugiego?

20 cross-validation feature-selection

4

Jakie są prawidłowe wartości precyzji i przywołania w przypadkach krawędzi?

Precyzja jest zdefiniowana jako: p = true positives / (true positives + false positives) Czy jest to prawidłowe, że, jak true positivesi false positivespodejście 0, precyzja zbliża 1? To samo pytanie do przypomnienia: r = true positives / (true positives + false negatives) Obecnie wdrażam test statystyczny, w którym muszę …

20 precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

2

Bayesian myśli o przeuczeniu

Poświęciłem dużo czasu na opracowanie metod i oprogramowania do walidacji modeli predykcyjnych w tradycyjnej dziedzinie statystyki częstokroć. Wprowadzając w życie więcej pomysłów bayesowskich i nauczając, dostrzegam kilka kluczowych różnic do przyjęcia. Po pierwsze, bayesowskie modelowanie predykcyjne prosi analityka o przemyślenie wcześniejszych dystrybucji, które można dostosować do cech kandydujących, a ci …

20 bayesian cross-validation predictive-models validation regression-strategies

2

Czy funkcja Caret Train dla Glmnet sprawdza krzyżowo zarówno dla alfa, jak i lambda?

Czy caretpakiet R sprawdza poprawność krzyżową dla obu modeli alphai lambdadla glmnetmodelu? Uruchamianie tego kodu eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = …

20 r machine-learning cross-validation caret glmnet

1

k-fold Walidacja krzyżowa uczenia się w zespole

Jestem zdezorientowany, jak podzielić dane na k-krotnie krzyżową weryfikację uczenia się w zespole. Zakładając, że mam kompletny system uczenia się do klasyfikacji. Moja pierwsza warstwa zawiera modele klasyfikacji, np. Svm, drzewa decyzyjne. Moja druga warstwa zawiera model głosowania, który łączy prognozy z pierwszej warstwy i daje ostateczną prognozę. Jeśli użyjemy …

20 classification cross-validation ensemble

Pytania otagowane jako cross-validation