Statystyki i duże zbiory danych time-series

1

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

5

Redukcja wymiarów SVD dla szeregów czasowych o różnej długości

Używam Singular Value Decomposition jako techniki redukcji wymiarowości. Biorąc pod uwagę Nwektory wymiaru D, ideą jest przedstawienie cech w przekształconej przestrzeni o nieskorelowanych wymiarach, która kondensuje większość informacji danych w wektorach własnych tej przestrzeni w malejącym porządku ważności. Teraz próbuję zastosować tę procedurę do danych szeregów czasowych. Problem polega na …

13 time-series machine-learning pca data-transformation multivariate-analysis

2

Wykorzystanie analizy szeregów czasowych do analizy / przewidywania gwałtownych zachowań

To trochę nieporadne pytanie, ale mam poważne zainteresowanie odpowiedzią. Pracuję w szpitalu psychiatrycznym i mam trzy lata danych gromadzonych każdego dnia na każdym oddziale, dotyczących poziomu przemocy na tym oddziale. Oczywiście model, który pasuje do tych danych, jest modelem szeregów czasowych. Musiałem różnicować wyniki, aby były bardziej normalne. Dopasowuję model …

13 time-series forecasting

5

Kiedy używać wielu modeli do prognozowania?

To jest dość ogólne pytanie: Zazwyczaj stwierdziłem, że użycie wielu różnych modeli przewyższa jeden model, gdy próbuję przewidzieć szereg czasowy na podstawie próby. Czy są jakieś dobre dokumenty, które pokazują, że kombinacja modeli przewyższy pojedynczy model? Czy istnieją jakieś najlepsze praktyki dotyczące łączenia wielu modeli? Niektóre referencje: Hui Zoua, Yuhong …

13 time-series modeling model-comparison

1

Pakiet GBM vs. Caret korzystający z GBM

Stroiłem model przy użyciu caret, ale potem ponownie uruchomiłem model przy użyciu gbmpakietu. Rozumiem, że caretpakiet używa gbmi wynik powinien być taki sam. Jednak tylko szybki test przy użyciu data(iris)wykazuje rozbieżność w modelu około 5% przy użyciu RMSE i R ^ 2 jako metryki oceny. Chcę znaleźć optymalną wydajność modelu …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

2

Przechwytywanie sezonowości w regresji wielokrotnej dla danych dziennych

Mam codzienne dane dotyczące sprzedaży produktu o dużej sezonowości. Chcę uchwycić sezonowość w modelu regresji. Czytałem, że jeśli masz dane kwartalne lub miesięczne, w takim przypadku możesz utworzyć odpowiednio 3 i 11 zmiennych zastępczych - ale czy mogę sobie poradzić z danymi dziennymi? Mam trzy lata codziennych danych. Zmienne niezależne …

13 regression time-series multiple-regression categorical-data

3

Resztkowa autokorelacja vs. opóźniona zmienna zależna

Podczas modelowania szeregów czasowych można (1) modelować strukturę korelacyjną terminów błędów, ponieważ np. Proces AR (1) (2) obejmuje zmienną zależną opóźnioną jako zmienną objaśniającą (po prawej stronie) Rozumiem, że są to czasem istotne powody, dla których warto (2). Jakie są jednak metodologiczne powody, aby zrobić (1) lub (2), a nawet …

13 time-series autocorrelation residuals lags

4

Model regresji, którego zmienną odpowiedzi jest dzień w roku, w którym zdarzenie roczne (zwykle) ma miejsce

W tym konkretnym przypadku mam na myśli dzień, w którym jezioro zamarza. Ta data „zalania” występuje tylko raz w roku, ale czasami wcale nie występuje (jeśli zima jest ciepła). Tak więc w ciągu jednego roku jezioro może zamarznąć w dniu 20 (20 stycznia), a w innym roku może wcale nie …

13 regression time-series survival data-transformation recurrent-events

1

Czy można porównywać wartości AIC, o ile modele są oparte na tym samym zestawie danych?

Robię prognozowanie w R, używając pakietu prognozy Roba Hyndmana . Papier należący do paczki można znaleźć tutaj . W artykule, po wyjaśnieniu algorytmów automatycznego prognozowania, autorzy implementują algorytmy na tym samym zbiorze danych. Jednak po oszacowaniu zarówno wygładzania wykładniczego, jak i modelu ARIMA, formułują stwierdzenie, którego nie rozumiem (na stronie …

13 time-series forecasting model-selection aic

4

Różnice szeregów czasowych przed Arimą lub w Arimie

Czy lepiej jest różnicować serię (zakładając, że jej potrzebuje) przed użyciem Arima LUB lepiej użyć parametru d w Arimie? Byłem zaskoczony, jak różne są dopasowane wartości w zależności od tego, którą trasę wybrał ten sam model i dane. Czy robię coś niepoprawnie? install.packages("forecast") library(forecast) wineindT<-window(wineind, start=c(1987,1), end=c(1994,8)) wineindT_diff <-diff(wineindT) #coefficients …

13 r time-series arima

1

Interpretacja pasków zakresu w wykresie R.'s.stl?

Mam problem z ustaleniem, co plot.stldokładnie oznaczają słupki zasięgu . Znalazłem post Gavina na to pytanie i przeczytałem również dokumentację, rozumiem, że mówią one o względnej wielkości rozłożonych komponentów, ale nadal nie jestem całkowicie pewien, jak działają. Na przykład: dane: malutki słupek, brak skali sezonowej: pełny słupek, ze skalą w …

13 r time-series

1

Jak wybrać jednostkę analizy (poziom agregacji) w szeregu czasowym?

Jeśli potrafisz mierzyć szereg czasowy obserwacji na dowolnym poziomie precyzji w czasie, a twoim celem jest zidentyfikowanie związku między X i Y, czy istnieje jakieś empiryczne uzasadnienie dla wyboru określonego poziomu agregacji nad innym, czy też powinno wybór należy podjąć na podstawie teorii i / lub ograniczeń praktycznych? Mam trzy …

13 time-series aggregation disaggregation

2

Interrater niezawodność dla zdarzeń w szeregu czasowym z niepewnością co do czasu zdarzenia

Mam wielu niezależnych programistów, którzy próbują zidentyfikować zdarzenia w szeregu czasowym - w tym przypadku oglądam wideo rozmowy twarzą w twarz i szukam określonych zachowań niewerbalnych (np. Skinienie głową) oraz kodują czas i kategorię każdego z nich zdarzenie. Dane te można rozsądnie potraktować jako szereg dyskretny w czasie o wysokiej …

13 time-series reliability agreement-statistics

6

Jak scharakteryzować nagłą zmianę?

To pytanie może być zbyt proste. Jeśli chodzi o tymczasowy trend danych, chciałbym dowiedzieć się, w którym momencie następuje „nagła” zmiana. Na przykład na pierwszym rysunku pokazanym poniżej chciałbym znaleźć punkt zmiany za pomocą metody statystycznej. I chciałbym zastosować taką metodę w niektórych innych danych, których punkt zmiany nie jest …

13 time-series trend change-point

3

Model szeregów czasowych

Muszę zautomatyzować prognozowanie szeregów czasowych i nie znam z góry cech tych szeregów (sezonowość, trend, hałas itp.). Moim celem nie jest uzyskanie najlepszego możliwego modelu dla każdej serii, ale uniknięcie całkiem złych modeli. Innymi słowy, otrzymywanie drobnych błędów za każdym razem nie stanowi problemu, ale od czasu do czasu jest …

13 time-series forecasting arima ensemble exponential-smoothing

Pytania otagowane jako time-series