Statystyki i duże zbiory danych prediction

1

Jak skalować nowe obserwacje w celu dokonywania prognoz, gdy model został wyposażony w skalowane dane?

Rozumiem pojęcie skalowania macierzy danych do zastosowania w modelu regresji liniowej. Na przykład w R możesz użyć: scaled.data <- scale(data, scale=TRUE) Moje jedyne pytanie brzmi: w przypadku nowych obserwacji, dla których chcę przewidzieć wartości wyjściowe, w jaki sposób są one odpowiednio skalowane? Czy to by było scaled.new <- (new - …

13 r regression prediction scales

1

Przewidywanie modeli mieszanych: co zrobić z efektami losowymi?

Rozważmy ten hipotetyczny zestaw danych: set.seed(12345) num.subjects <- 10 dose <- rep(c(1,10,50,100), num.subjects) subject <- rep(1:num.subjects, each=4) group <- rep(1:2, each=num.subjects/2*4) response <- dose*dose/10 * group + rnorm(length(dose), 50, 30) df <- data.frame(dose=dose, response=response, subject=subject, group=group) możemy użyć lmedo modelowania odpowiedzi za pomocą modelu efektu losowego: require(nlme) model <- lme(response …

13 mixed-model linear-model prediction

3

Prognozowanie danych zliczania w losowym lesie

Czy można wyszkolić losowy las, aby odpowiednio przewidywał dane zliczania? Jak by to przebiegło? Mam dość szeroki zakres wartości, więc klasyfikacja naprawdę nie ma sensu. Gdybym użył regresji, czy po prostu obciąłbym wyniki? Jestem tu całkiem zagubiony. Jakieś pomysły?

12 r regression random-forest prediction count-data

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Czy konieczne jest wstępne przetwarzanie przed prognozowaniem przy użyciu FinalModel z RandomForest z pakietem Caret?

Używam pakietu karetki do trenowania obiektu randomForest z 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Następnie testuję randomForest na testSet (nowe dane) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) Macierz pomieszania pokazuje mi, że model nie jest taki zły. confusionMatrix(data=RF.testSet$Prediction, RF.testSet$Defect) Reference …

12 r random-forest prediction caret

1

Dlaczego Netflix miałby przejść z pięciogwiazdkowego systemu ocen na system lajków / niechęci?

Netflix opierał swoje sugestie na ocenach innych filmów / programów przesłanych przez użytkownika. Ten system ocen miał pięć gwiazdek. Teraz Netflix pozwala użytkownikom lubić / nie lubić (kciuk w górę / kciuk w dół) filmów / programów. Twierdzą, że łatwiej jest oceniać filmy. Czy ta dwukierunkowa klasyfikacja nie byłaby statystycznie …

11 variance predictive-models prediction

1

Interwał prognozy = wiarygodny interwał?

Zastanawiam się, czy przedział przewidywania i przedział wiarygodności oceniają to samo. Na przykład przy regresji liniowej, gdy szacujesz przedział predykcji dopasowanych wartości, limity przedziału, w którym spodziewana jest spadek wartości. W przeciwieństwie do przedziału ufności, nie skupiasz się na parametrze rozkładu, takim jak wartość średnia, ale na wartości, którą objaśniona …

11 bayesian linear-model prediction prediction-interval credible-interval

1

R neuralnet - compute daje stałą odpowiedź

Próbuję użyć neuralnetpakietu R ( tutaj dokumentacji ) do przewidywania. Oto, co próbuję zrobić: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <- as.formula(paste('y ~', paste(n[!n %in% 'y'], collapse = ' + '))) net …

11 r neural-networks prediction error

1

Wybór modelu ABC

Zostało pokazane , że ABC wybór modelu z użyciem czynników Bayesa nie ma być zalecane ze względu na obecność błędu pochodzących z wykorzystaniem statystyk podsumowujących. Wniosek w tym artykule opiera się na badaniu zachowania popularnej metody aproksymacji współczynnika Bayesa (algorytm 2). Powszechnie wiadomo, że czynniki Bayesa to nie jedyny sposób …

11 bayesian model-selection prediction abc

2

Okresy przewidywania i tolerancji

Mam kilka pytań dotyczących przedziałów prognoz i tolerancji. Najpierw ustalmy przedziały tolerancji: otrzymujemy poziom ufności, powiedzmy 90%, procent populacji do przechwycenia, powiedzmy 99%, i wielkość próby, powiedzmy 20. Rozkład prawdopodobieństwa jest znany, powiedzmy normalny dla wygody. Teraz, biorąc pod uwagę powyższe trzy liczby (90%, 99% i 20) oraz fakt, że …

11 prediction prediction-interval tolerance-interval

1

R / mgcv: Dlaczego produkty tensorowe te () i ti () wytwarzają różne powierzchnie?

mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

1

Jak obliczyć wyniki ufności w regresji (z losowymi lasami / XGBoost) dla każdej prognozy w R?

Czy istnieje sposób na uzyskanie wyniku ufności (możemy nazwać to również wartością ufności lub prawdopodobieństwa) dla każdej przewidywanej wartości, gdy stosuje się algorytmy takie jak Losowe Lasy lub Ekstremalne Zwiększanie Gradientu (XGBoost)? Powiedzmy, że ten wynik pewności wynosiłby od 0 do 1 i pokazuje, jak jestem pewny co do konkretnej …

11 r regression random-forest prediction boosting

1

Przewidywanie losowych efektów w mgcv gam

Interesuje mnie modelowanie całkowitego połowu ryb za pomocą gam w mgcv do modelowania prostych efektów losowych dla poszczególnych statków (które odbywają wielokrotne podróże w czasie na łowisku). Mam 98 przedmiotów, więc pomyślałem, że użyję gam zamiast gamma do modelowania efektów losowych. Mój model to: modelGOM <- gam(TotalFish ~ factor(SetYear) + …

10 prediction random-effects-model gam mgcv

2

Jaki jest związek między wnioskowaniem przyczynowym a prognozowaniem?

Jakie są zależności i różnice między wnioskowaniem przyczynowym a prognozowaniem (zarówno klasyfikacja, jak i regresja)? W kontekście prognoz mamy zmienne predykcyjne / wejściowe i zmienne odpowiedzi / wyjściowe. Czy to oznacza, że istnieje związek przyczynowy między zmiennymi wejściowymi i wyjściowymi? Czy zatem przewidywanie należy do wnioskowania przyczynowego? Jeśli dobrze rozumiem, …

10 prediction causality definition

2

„Znacząca zmienna”, która nie poprawia przewidywań poza próbą - jak interpretować?

Mam pytanie, które moim zdaniem będzie dość proste dla wielu użytkowników. Używam modeli regresji liniowej, aby (i) zbadać związek kilku zmiennych objaśniających i mojej zmiennej odpowiedzi oraz (ii) przewidzieć moją zmienną odpowiedzi za pomocą zmiennych objaśniających. Wydaje się, że jedna szczególna zmienna objaśniająca X ma znaczący wpływ na moją zmienną …

10 statistical-significance predictive-models p-value prediction out-of-sample

Pytania otagowane jako prediction