Statystyki i duże zbiory danych

3

Zasoby do analizy przerwanych szeregów czasowych w R.

Jestem dość nowy w R. Próbowałem przeczytać analizę szeregów czasowych i już skończyłem Analiza szeregów czasowych Shumwaya i Stoffera i jej zastosowania 3. edycja , Doskonałe prognozy Hyndmana : zasady i praktyka Avril Coghlan używa R do analizy szeregów czasowych A. Ian McLeod i in. Analiza szeregów czasowych z R. …

12 r time-series

3

Co jeśli ścieżka c nie jest znacząca, ale ścieżki a i b są? Pośredni efekt w mediacji

W klasycznym modelu mediacji mamy ścieżki pokazane na poniższym schemacie , w którym pierwszym krokiem badania pośredniczącego działania M między X i Y jest to, że X jest znacząco skorelowany z Y (jak pokazano w panelu A na rysunku). Jednak wpadłem do sytuacji, w której ścieżki A i ścieżka b …

12 mediation path-model

2

Optymalizacja maszyny wektora pomocniczego za pomocą programowania kwadratowego

Próbuję zrozumieć proces szkolenia maszyny wektora liniowego wsparcia . Zdaję sobie sprawę, że właściwości SMV pozwalają na ich optymalizację znacznie szybciej niż za pomocą kwadratowego solvera programistycznego, ale do celów edukacyjnych chciałbym zobaczyć, jak to działa. Dane treningowe set.seed(2015) df <- data.frame(X1=c(rnorm(5), rnorm(5)+5), X2=c(rnorm(5), rnorm(5)+3), Y=c(rep(1,5), rep(-1, 5))) df X1 …

12 r svm optimization

3

Nieliniowość przed końcową warstwą Softmax w splotowej sieci neuronowej

Studiuję i próbuję wdrożyć splotowe sieci neuronowe, ale przypuszczam, że to pytanie dotyczy ogólnie wielowarstwowych perceptronów. Neurony wyjściowe w mojej sieci reprezentują aktywację każdej klasy: najbardziej aktywny neuron odpowiada przewidywanej klasie dla danego wejścia. Aby rozważyć koszt entropii krzyżowej dla szkolenia, dodaję warstwę softmax na końcu sieci, aby wartość aktywacji …

12 neural-networks deep-learning conv-neural-network nonlinear softmax

3

Jak obsługiwać wartości NA metodą kurczliwości (Lasso) przy użyciu glmnet

Używam „glmnet” do regresji lasso w GWAS. Niektóre warianty i pojedyncze osoby mają brakujące wartości i wydaje się, że glmnet nie może obsłużyć brakujących wartości. Czy jest na to jakieś rozwiązanie? czy jest jakiś inny pakiet, który może obsłużyć brakujące wartości w regresji lasso? Oto moje skrypty. > library(glmnet) > …

12 missing-data lasso glmnet

1

Jak zrozumieć, że MLE wariancji jest tendencyjne w rozkładzie Gaussa?

Czytam PRML i nie rozumiem tego obrazu. Czy mógłbyś podać kilka wskazówek, aby zrozumieć obraz i dlaczego MLE wariancji w rozkładzie Gaussa jest stronniczy? wzór 1.55: wzór 1.56 σ 2 M L E =1μM.L E= 1N.∑n = 1N.xnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2)M.L E= 1N.∑n = 1N.( xn- μM.L E)2)σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning self-study maximum-likelihood

1

Średnia średnia dokładność a średnia wzajemna pozycja

Próbuję zrozumieć, kiedy należy użyć MAP i kiedy należy użyć MRR. Znalazłem tę prezentację, która stwierdza, że MRR najlepiej jest wykorzystać, gdy liczba istotnych wyników jest mniejsza niż 5, a najlepiej, gdy wynosi 1. W innych przypadkach MAP jest odpowiedni. Mam dwa pytania: Naprawdę nie rozumiem, dlaczego tak jest. Nie …

12 information-retrieval average-precision

1

Dlaczego potrzebujemy wykresu śledzenia dla wyników MCMC

Czytam artykuły badawcze przy użyciu metod MCMC i widzę, że większość z nich zawiera wykresy śladowe. Dlaczego potrzebujemy wykresów śladowych w łańcuchu Monte Carlo Markov? Co wskazuje wykres śledzenia parametrów?

12 data-visualization mcmc

3

Jak poradzić sobie z nieistniejącymi lub brakującymi danymi?

Próbowałem metody prognozowania i chcę sprawdzić, czy moja metoda jest poprawna, czy nie. Moje badanie porównuje różne rodzaje funduszy wspólnego inwestowania. Chcę użyć indeksu GCC jako punktu odniesienia dla jednego z nich, ale problem polega na tym, że indeks GCC zatrzymał się we wrześniu 2011 r., A moje badanie trwa …

12 time-series forecasting missing-data

2

Dokładna definicja miary dewiacji w pakiecie glmnet, z weryfikacją krzyżową?

Dla mojego obecnego reseach używam metody Lasso poprzez pakiet glmnet w R na zmiennej zależnej dwumianowej. W glmnet optymalna lambda jest określana poprzez walidację krzyżową, a uzyskane modele można porównać z różnymi miarami, np. Błędem błędnej klasyfikacji lub dewiacją. Moje pytanie: jak dokładnie definiuje się dewiację w glmnet? Jak to …

12 cross-validation lasso glmnet deviance lars

3

Wyprowadzenie regularnej funkcji kosztu regresji liniowej na kurs Coursera Machine Learning

Kilka miesięcy temu wziąłem kurs Andrew Machine na „Machine Learning” przez Coursera, nie zwracając uwagi na większość matematyki / pochodnych i skupiając się na implementacji i praktyczności. Od tego czasu zacząłem wracać, aby studiować niektóre z podstawowych teorii i ponownie zapoznałem się z niektórymi wykładami prof. Ng. Czytałem przez jego …

12 regression self-study

1

Test istotności oparty na precyzji / wycofaniu / F1

Czy możliwe jest wykonanie testu istotności opartego wyłącznie na wynikach precyzji / odwołania / F1? Na przykład, jeśli natrafisz na 2 systemy w dokumencie, dla którego zgłaszane są tylko P / R / F1 (w tym samym zbiorze danych itp.), Czy możesz następnie przeprowadzić test istotności statystycznej? Jeśli tak, jak …

12 statistical-significance precision-recall

1

Przypisz wagi do zmiennych w analizie skupień

Chcę przypisać różną wagę do zmiennych w mojej analizie skupień, ale wydaje się, że mój program (Stata) nie ma takiej opcji, więc muszę to zrobić ręcznie. Wyobraź sobie 4 zmienne A, B, C, D. Wagi tych zmiennych powinny wynosić w(A)=50% w(B)=25% w(C)=10% w(D)=15% Zastanawiam się, czy jedno z następujących dwóch …

12 clustering stata

3

Wykrywanie wartości odstających w bardzo małych zestawach

Muszę uzyskać jak najdokładniejszą wartość jasności głównie stabilnego źródła światła, biorąc pod uwagę dwanaście wartości jasności próbki. Czujnik jest niedoskonały, a światło może czasami „migotać” jaśniej lub ciemniej, co można zignorować, stąd moja potrzeba wykrycia wartości odstających (myślę?). Przeczytałem tutaj o różnych podejściach i nie mogę się zdecydować, które wybrać. …

12 classification outliers algorithms

2

Kiedy (jeśli w ogóle) warto przeprowadzić analizę mocy post hoc?

Rozumiem, że analiza mocy odbywa się post hoc tylko wtedy, gdy wykorzystuje wielkość obserwowanego efektu jako wielkość efektu populacji docelowej.

12 power-analysis