Statystyki i duże zbiory danych

3

Czy powinienem użyć przesunięcia dla mojego Poissona GLM?

Prowadzę badania, aby przyjrzeć się różnicom w gęstości i bogactwie gatunków ryb, gdy używam dwóch różnych podwodnych metod wizualnego spisu. Moje dane pierwotnie liczyły dane, ale potem zwykle zmienia się to na gęstość ryb, ale nadal zdecydowałem się na użycie Poissona GLM, co, mam nadzieję, ma rację. model1 <- glm(g_den …

11 r generalized-linear-model poisson-distribution offset

2

Nauka przyrostowa dla modeli klasyfikacji w R

Załóżmy, że mam klasyfikator (może to być dowolny ze standardowych klasyfikatorów, takich jak drzewo decyzyjne, losowy las, regresja logistyczna itp.) Do wykrywania oszustw za pomocą poniższego kodu library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is a binary outcome …

11 classification supervised-learning

2

Różnice w różnicach z danymi panelu poszczególnych poziomów

Jaki jest prawidłowy sposób określenia różnicy w modelu różnicowym z danymi panelu poszczególnych poziomów? Oto konfiguracja: Załóżmy, że mam dane panelu na poziomie indywidualnym osadzone w miastach przez wiele lat, a leczenie różni się w zależności od roku. Formalnie, niech być wynikiem indywidualnej I w miasto s i rok t …

11 econometrics panel-data fixed-effects-model difference-in-difference

2

Czy wielokrotna regresja liniowa w 3 wymiarach jest płaszczyzną najlepszego dopasowania czy linią najlepszego dopasowania?

Nasz profesor nie zajmuje się matematyką ani nawet geometryczną reprezentacją wielokrotnej regresji liniowej, co mnie nieco zdezorientowało. Z jednej strony jest to nadal nazywane wielokrotną regresją liniową , nawet w wyższych wymiarach. Z drugiej strony, jeśli mamy na przykład i możemy podłączyć dowolne wartości, które chcielibyśmy dla i X_2 , …

11 multiple-regression high-dimensional

1

Jak interpretować wyniki modelu TBATS i diagnostykę modelu

Mam półgodzinne dane zapotrzebowania, które są szeregami czasowymi obejmującymi wiele sezonów. Użyłem tbatsw forecastpakiecie w R i uzyskałem takie wyniki: TBATS(1, {5,4}, 0.838, {<48,6>, <336,6>, <17520,5>}) Czy to oznacza, że seria niekoniecznie wykorzystuje transformację Box-Coxa, a terminem błędu jest ARMA (5, 4), a terminami 6, 6 i 5 używa się …

11 r time-series diagnostic multiple-seasonalities tbats

2

techniki uczenia maszynowego dla danych podłużnych

Zastanawiałem się, czy istnieją jakieś techniki uczenia maszynowego (bez nadzoru) do modelowania danych podłużnych? Zawsze korzystałem z modeli efektów mieszanych (głównie nieliniowych), ale zastanawiałem się, czy istnieją inne sposoby na to (wykorzystanie uczenia maszynowego). Przez uczenie maszynowe rozumiem losowy las, klasyfikację / grupowanie, drzewa decyzyjne, a nawet głębokie uczenie się …

11 machine-learning mixed-model

1

Kiedy muszę przestać szukać modelu?

Szukam modelu między cenami energii a pogodą. Mam cenę MWatt kupioną między krajami Europy i wiele wartości pogodowych (pliki Grib). Co godzinę przez okres 5 lat (2011-2015). Cena za dzień To jest dziennie przez jeden rok. Mam to na godziny przez 5 lat. Przykład pogody 3Dscatterplot, w kelwinach, przez godzinę. …

11 time-series forecasting predictive-models modeling large-data

2

Czy sieci rezydualne są powiązane z przyspieszaniem gradientu?

Ostatnio widzieliśmy pojawienie się Residual Neural Net, w której każda warstwa składa się z modułu obliczeniowego i połączenia skrótowego, które zachowuje dane wejściowe do warstwy, takie jak dane wyjściowe z i-tej warstwy: Sieć pozwala wydobyć pozostałe cechy i pozwala na głębszą głębię, będąc jednocześnie bardziej odporna na znikający problem gradientu, …

11 machine-learning neural-networks deep-learning gradient-descent residual-networks

4

Dobre przykłady / książki / zasoby do nauki o stosowanym uczeniu maszynowym (nie tylko sam ML)

Wcześniej uczestniczyłem w kursie ML, ale teraz, kiedy pracuję nad projektami związanymi z ML w mojej pracy, ciężko walczę o jego zastosowanie. Jestem pewien, że rzeczy, które robię, były wcześniej badane / zajmowane, ale nie mogę znaleźć konkretnych tematów. Wszystkie przykłady uczenia maszynowego, które znajduję w Internecie, są bardzo proste …

11 machine-learning references train application

1

Jakie jest wyjaśnienie przykładu, dlaczego normalizację partii należy przeprowadzać z pewną ostrożnością?

Czytałem artykuł normalizacyjny partii [1] i miał jedną sekcję, w której znajduje się przykład, próbując pokazać, dlaczego normalizacja musi być wykonana ostrożnie. Szczerze mówiąc, nie rozumiem, jak działa ten przykład, i naprawdę jestem bardzo ciekawy, jak rozumieją, jak drukują. Najpierw pozwól mi zacytować to tutaj: Rozważmy na przykład warstwę z …

11 machine-learning neural-networks conv-neural-network

2

Krzyżowa walidacja po LASSO w złożonych danych pomiarowych

Próbuję dokonać wyboru modelu na niektórych predyktorach kandydujących przy użyciu LASSO z ciągłym wynikiem. Celem jest wybór optymalnego modelu o najlepszej wydajności predykcji, co zwykle można wykonać przez K-krotnie walidację krzyżową po uzyskaniu ścieżki rozwiązania parametrów strojenia z LASSO. Problem polega na tym, że dane pochodzą ze złożonego, wieloetapowego projektu …

11 cross-validation survey lasso glmnet

4

Sieć neuronowa - znaczenie wag

Używam feed-forward NN. Rozumiem tę koncepcję, ale moje pytanie dotyczy wag. Jak możesz je interpretować, tj. Co one reprezentują lub jak można je zniszczyć (oprócz współczynników funkcji)? Znalazłem coś, co nazywa się „przestrzenią ciężarów”, ale nie jestem pewien, co to znaczy.

11 neural-networks weights

2

Interpretacja wyników uśredniania modelu w R

Staram się zrozumieć i wiedzieć, co zgłosić na podstawie analizy niektórych danych przy użyciu modelu uśrednionego w R. Używam następującego skryptu do analizy wpływu metody pomiaru na daną zmienną: Oto zestaw danych: https://www.dropbox.com/s/u9un273gzw9o30u/VMT4.csv?dl=0 Model do zamontowania: LM.1 <- gls(VMTf ~ turn+sex+method, na.action="na.fail", method = "ML",VMT4) pogłębić pełny model require(MuMIn) d=dredge(LM.1) …

11 r model-averaging

1

Różnica między ElasticNet w scikit-learn Python i Glmnet w R.

Czy ktoś próbował sprawdzić, czy dopasowanie modelu elastycznej sieci ElasticNetw scikit-learn w Pythonie i glmnetR do tego samego zestawu danych daje identyczne wyniki arytmetyczne? Eksperymentowałem z wieloma kombinacjami parametrów (ponieważ dwie funkcje różnią się wartościami domyślnymi, które przekazują argumentom), a także skalowaniem danych, ale wydaje się, że nic nie daje …

11 machine-learning scikit-learn glmnet elastic-net

3

Główne zalety modeli procesów Gaussa

Proces Gaussa był szeroko stosowany, szczególnie w emulacji. Wiadomo, że zapotrzebowanie obliczeniowe jest wysokie ( ).0(n3)0(n3)0(n^3) Co czyni je popularnymi? Jakie są ich główne i ukryte zalety? Dlaczego stosuje się je zamiast modeli parametrycznych (przez model parametryczny mam na myśli typową regresję liniową, w której można zastosować różne formy parametryczne …

11 gaussian-process