Statystyki i duże zbiory danych

To pytanie do wywiadu dotyczące stanowiska analityka ilościowego, przedstawione tutaj . Załóżmy, że rysujemy z jednolitego rozkładu a losowania są takie same, jaka jest oczekiwana długość monotonicznie rosnącego rozkładu? Oznacza to, że przestajemy rysować, jeśli bieżące losowanie jest mniejsze lub równe poprzedniemu losowaniu.[0,1][0,1][0,1] Mam kilka pierwszych: \ Pr (\ text …

28 probability  random-variable  expected-value  uniform  iid 

Ostatnio czytałem, że nawracająca sieć neuronowa może aproksymować dowolny algorytm. Więc moje pytanie brzmi: co to dokładnie oznacza i czy możesz podać mi odniesienie, w którym zostało to udowodnione?

28 references  rnn 

Ukończyłem analizę głównych składników (PCA), eksploracyjną analizę czynnikową (EFA) i potwierdzającą analizę czynnikową (CFA), traktując dane za pomocą skali Likerta (odpowiedzi 5-stopniowe: brak, trochę, trochę ...) jako ciągłe zmienna. Następnie, używając Lavaana, powtórzyłem CFA, definiując zmienne jako kategoryczne. Chciałbym wiedzieć, jakie typy analiz byłyby odpowiednie i byłyby równoważne PCA i …

28 pca  factor-analysis  ordinal-data  binary-data  likert 

Często widzę termin biały szum pojawiający się podczas czytania o różnych modelach statystycznych. Muszę jednak przyznać, że nie jestem całkowicie pewien, co to oznacza. Zwykle jest skracany jako . Czy to oznacza, że ​​jest normalnie dystrybuowane, czy może następować po jakiejkolwiek dystrybucji?W.N.( 0 , σ2))WN(0,σ2)WN(0,σ^2)

28 normal-distribution  white-noise 

W technice redukcji wymiarów, takiej jak analiza głównych składników, LDA itp. Często stosuje się termin rozmaitość. Co to jest różnorodność pod względem nietechnicznym? Jeśli punkt należy do sfery, której wymiar Chcę zmniejszyć, a jeśli nie jest to hałas i i są nieskorelowane, to rzeczywiste punkty byłyby znacznie oddzielone od siebie …

28 terminology  manifold-learning 

Przy dopasowywaniu modelu regresji, co się stanie, jeśli założenia wyników nie zostaną spełnione, w szczególności: Co się stanie, jeśli pozostałości nie będą homoscedastyczne? Jeśli reszty wykazują rosnący lub malejący wzór na wykresie Resztki vs. Dopasowany. Co się stanie, jeśli reszty nie zostaną normalnie rozłożone i nie przejdą testu Shapiro-Wilka? Test …

28 regression  multiple-regression  error  assumptions  normality-assumption 

Rozważmy na przykład model regresji liniowej. Słyszałem, że w eksploracji danych, po przeprowadzeniu selekcji krokowej na podstawie kryterium AIC, mylące jest spojrzenie na wartości p w celu przetestowania hipotezy zerowej, że każdy prawdziwy współczynnik regresji wynosi zero. Słyszałem, że należy rozważyć wszystkie zmienne pozostawione w modelu jako mające prawdziwy współczynnik …

28 multiple-regression  predictive-models  data-mining  stepwise-regression 

Na przykład, ma funkcję celu modelu XGBoost w sprawie ttt „tą iterację procedury: L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) gdzie ℓℓ\ell jest utrata funkcji, ftftf_t jest ttt -tym wyjście drzewa i ΩΩ\Omega jest regularyzacji. Jednym z (wielu) kluczowych kroków do szybkiego obliczenia jest przybliżenie: L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), w którym gigig_i i hihih_i są to pierwsze i …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Problem lasso ma rozwiązanie w formie zamkniętej: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + jeśli X ma kolumny ortonormalne. Pokazano to w tym wątku: Wyprowadzenie …

28 regression  lasso  regularization 

Używam modeli R (3.1.1) i ARIMA do prognozowania. Chciałbym wiedzieć, jaki powinien być parametr „częstotliwość” przypisany w ts()funkcji , jeśli używam danych szeregów czasowych, które są: rozdzielone minutami i rozkładają się na 180 dni (1440 minut / dzień) rozdzielone sekundami i rozkładają się na 180 dni (86 400 sekund / …

28 r  time-series  arima  multiple-seasonalities  mape 

Zestaw danych „Iris” jest prawdopodobnie znany tutaj większości ludzi - jest to jeden z kanonicznych zestawów danych testowych i przykładowy zestaw danych dla wszystkiego, od wizualizacji danych do uczenia maszynowego. Na przykład wszyscy w tym pytaniu ostatecznie wykorzystali go do dyskusji na temat wykresów rozrzutu oddzielonych przez leczenie. Co sprawia, …

28 dataset 

Jestem zmieszany. Czy istnieje różnica między sieciami Deep głęboko przekonaniami a maszynami Deep Boltzmann? Jeśli tak, jaka jest różnica?

28 machine-learning  deep-learning  rbm  deep-belief-networks 

Jak wszyscy wiemy, jeśli rzucisz monetą, która ma równe szanse na wylądowanie głów, podobnie jak reszka, to jeśli rzucisz monetą wiele razy, w połowie przypadków dostaniesz głowy, a w połowie reszka. Dyskutując o tym z przyjacielem, powiedzieli, że jeśli rzucisz monetą 1000 razy, i powiedzmy, że pierwsze 100 razy wylądował …

28 probability  distributions  sampling 

Chciałbym uzyskać wartość p i wielkość efektu niezależnej zmiennej kategorialnej (z kilkoma poziomami) - to jest „ogólnie”, a nie dla każdego poziomu osobno, tak jak normalne wyjście z lme4R. To jest jak rzecz, którą ludzie zgłaszają, uruchamiając ANOVA. Jak mogę to zdobyć?

28 r  hypothesis-testing  anova  mixed-model  lme4-nlme 

Jaka jest różnica między Siecią Bayesowską a procesem Markowa? Wierzyłem, że rozumiem zasady obu, ale teraz, gdy muszę porównać oba, czuję się zagubiony. Znaczą dla mnie prawie to samo. Na pewno nie są. Doceniane są również linki do innych zasobów.

28 bayesian  references  modeling  markov-process  bayesian-network