Statystyki i duże zbiory danych prediction

3

Oczekiwany błąd prognozy - wyprowadzenie

Usiłuję zrozumieć wyprowadzenie oczekiwanego błędu prognozy na niższy poziom (ESL), szczególnie na podstawie wyprowadzenia 2.11 i 2.12 (warunkowanie, krok w kierunku minimum punktowego). Wszelkie wskazówki lub linki są mile widziane. Poniżej raportuję fragment z ESL str. 18. Pierwsze dwa równania to w kolejności równanie 2.11 i 2.12. Niech oznacza losowy …

20 regression prediction error

3

Jak możemy ocenić dokładność prognoz Nate Silver?

Po pierwsze, podaje prawdopodobieństwo wyników. Na przykład jego prognozy dotyczące wyborów w USA wynoszą obecnie 82% Clintona vs. 18% Trumpa. Teraz, nawet jeśli Trump wygra, to skąd mam wiedzieć, że nie tylko 18% czasu powinien wygrać? Innym problemem jest to, że jego prawdopodobieństwo zmienia się w czasie. Tak więc 31 …

19 forecasting prediction validation accuracy scoring-rules

2

Analiza elastyczna / kalenica / lasso, co wtedy?

Naprawdę interesuje mnie procedura elastycznej siatki dla skurczenia / wyboru predyktora. Wydaje się bardzo potężny. Ale z naukowego punktu widzenia nie wiem dobrze, co zrobić, gdy otrzymam współczynniki. Na jakie pytanie odpowiadam? Czy są to zmienne, które najbardziej wpływają na ten wynik i czy są to współczynniki, które dają najlepszy …

19 hypothesis-testing prediction inference lasso elastic-net

2

Jak przewidzieć lub rozszerzyć linie regresji w ggplot2?

Mam ramkę danych, która zawiera dwie serie czasowe: daty i numery wersji wydań Emacs i Firefox. Za pomocą jednego polecenia ggplot2 łatwo jest utworzyć wykres, który używa less (w sposób, który wygląda nieco zabawnie, co nie mam nic przeciwko), aby zamieniać punkty w linie. Jak mogę przedłużyć linie w przyszłości? …

18 prediction ggplot2

3

W jaki sposób `przewidywana.losowaLeśność` oszacowuje prawdopodobieństwa klasowe?

W jaki sposób randomForestpakiet szacuje prawdopodobieństwa klasowe, kiedy używam predict(model, data, type = "prob")? Użyłem rangerdo szkolenia losowych lasów, używając probability = Targumentu do przewidywania prawdopodobieństw. rangermówi w dokumentacji, że: Wyhoduj las prawdopodobieństwa, jak w Malley i in. (2012). Symulowałem niektóre dane, wypróbowałem oba pakiety i uzyskałem bardzo różne wyniki …

16 r random-forest prediction

1

Jaka intuicja kryje się za wymiennymi próbkami pod hipotezą zerową?

Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny, Mann-Whitney-U-testktóry prowadziłby do utraty większej ilości informacji. Jednak nie należy zapominać o jednym …

15 hypothesis-testing permutation-test exchangeability r statistical-significance loess data-visualization normal-distribution pdf ggplot2 kernel-smoothing probability self-study expected-value normal-distribution prior correlation time-series regression heteroscedasticity estimation estimators fisher-information data-visualization repeated-measures binary-data panel-data mathematical-statistics coefficient-of-variation normal-distribution order-statistics regression machine-learning one-class probability estimators forecasting prediction validation finance measurement-error variance mean spatial monte-carlo data-visualization boxplot sampling uniform chi-squared goodness-of-fit probability mixture theory gaussian-mixture regression statistical-significance p-value bootstrap regression multicollinearity correlation r poisson-distribution survival regression categorical-data ordinal-data ordered-logit regression interaction time-series machine-learning forecasting cross-validation binomial multiple-comparisons simulation false-discovery-rate r clustering frequency wilcoxon-mann-whitney wilcoxon-signed-rank r svm t-test missing-data excel r numerical-integration r random-variable lme4-nlme mixed-model weighted-regression power-law errors-in-variables machine-learning classification entropy information-theory mutual-information

2

Dlaczego ta prognoza szeregów czasowych jest „dość słaba”?

Próbuję nauczyć się korzystać z sieci neuronowych. Czytałem ten samouczek . Po dopasowaniu sieci neuronowej do szeregu czasowego przy użyciu wartości aby przewidzieć wartość przy autor otrzymuje następujący wykres, w którym niebieska linia to szereg czasowy, zielony to prognoza danych pociągu, czerwony to prognoza danych testowych (wykorzystał podział pociągu testowego)tttt …

15 time-series neural-networks predictive-models deep-learning prediction

3

Czy model danych nieujemnych z grupowaniem zer (GLM Tweedie, GLM z zerowym napełnieniem itp.) Może przewidywać dokładne zera?

Rozkład Tweediego może modelować skośne dane z masą punktową równą zero, gdy parametr ppp (wykładnik w relacji średnia-wariancja) wynosi od 1 do 2. Podobnie model z napompowaniem zera (inaczej ciągły lub dyskretny) może mieć dużą liczbę zer. Mam problem ze zrozumieniem, dlaczego jest tak, że kiedy przewiduję lub obliczam dopasowane …

15 r generalized-linear-model prediction zero-inflation tweedie-distribution

4

Modele predykcyjne: statystyki nie są w stanie pokonać uczenia maszynowego? [Zamknięte]

Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby skupiało się tylko na jednym problemie, edytując ten post . Zamknięte 2 lata temu . Obecnie śledzę program główny koncentrujący się na statystyce / ekonometrii. U mojego mistrza wszyscy studenci …

14 machine-learning forecasting predictive-models prediction out-of-sample

1

Na przykład korelacja ważona?

Mam kilka interesujących danych na temat najpopularniejszych artystów muzycznych przesyłanych strumieniowo, podzielonych według lokalizacji na około 200 dzielnic kongresowych. Chcę sprawdzić, czy można sondować osobę o jej preferencjach muzycznych i ustalić, czy ona „słucha jak demokrata” czy „słucha jak republikanin”. (Oczywiście jest to beztroskie, ale dane zawierają prawdziwą entropię!) Mam …

14 correlation prediction pooling weighted-data

3

Jak uzyskać prognozy dotyczące czasu przeżycia z modelu PH Coxa?

Chcę opracować model prognostyczny (Cox PH) dla śmiertelności z jakiejkolwiek przyczyny w zbiorze danych uczestników, z których (prawie) wszyscy zmarli pod koniec okresu obserwacji (np. 1 rok). Zamiast przewidywać bezwzględne ryzyko śmierci w określonym punkcie czasowym, chciałbym przewidzieć czas przeżycia (w miesiącach) dla każdej osoby. Czy możliwe jest uzyskanie takich …

14 survival prediction cox-model

1

Jak przewidzieć jeden szereg czasowy z innego szeregu czasowego, jeśli są one powiązane

Od ponad roku próbuję rozwiązać ten problem bez większych postępów. Jest to część projektu badawczego, który realizuję, ale zilustruję go przykładem, który wymyśliłem, ponieważ rzeczywista dziedzina problemu jest nieco myląca (śledzenie wzroku). Jesteś samolotem śledzącym wrogi statek, który płynie przez ocean, więc zebrałeś serię współrzędnych statku (x, y, czas). Wiesz, …

14 time-series machine-learning prediction

1

Caret glmnet vs cv.glmnet

Wydaje się, że istnieje wiele zamieszania w porównaniu używania glmnetwewnątrz w caretcelu znalezienia optymalnej lambdy i korzystania cv.glmnetz tego samego zadania. Zadano wiele pytań, np .: Model klasyfikacji train.glmnet vs. cv.glmnet? Jaki jest właściwy sposób używania glmnet z karetką? Cross-validation `glmnet` za pomocą` caret` ale nie udzielono odpowiedzi, co może …

14 r caret glmnet machine-learning neural-networks maximum softmax probability distributions mathematical-statistics random-variable cdf statistical-significance variance expected-value ratio sample-size reliability tolerance-interval wilcoxon-signed-rank self-study variance sampling mean machine-learning svm libsvm self-study sampling ranks data-visualization histogram machine-learning classification normal-distribution mathematical-statistics maximum-likelihood mixture predictive-models prediction seasonality

1

Losowy las i prognozy

Próbuję zrozumieć, jak działa Losowy Las. Rozumiem, jak buduje się drzewa, ale nie rozumiem, w jaki sposób Losowy Las przewiduje prognozy na podstawie próbki z torby. Czy ktoś mógłby mi podać proste wyjaśnienie? :)

14 random-forest prediction

2

wykorzystując informacje o sąsiadach do przypisywania danych lub znajdowania danych niepowiązanych (w R)

Mam zestaw danych z założeniem, że najbliżsi sąsiedzi są najlepszymi predyktorami. Po prostu idealny przykład wizualizacji gradientu dwukierunkowego Załóżmy, że mamy przypadek, w którym brakuje kilku wartości, możemy łatwo przewidzieć na podstawie sąsiadów i trendu. Odpowiadająca macierz danych w R (przykładowy manekin do treningu): miss.mat <- matrix (c(5:11, 6:10, NA,12, …

13 r prediction outliers data-imputation multiple-imputation

Pytania otagowane jako prediction