Statystyki i duże zbiory danych

Korzystam z Lasso do wyboru funkcji w relatywnie niskim wymiarze (n >> p). Po dopasowaniu modelu Lasso chcę użyć zmiennych towarzyszących o niezerowych współczynnikach, aby dopasować model bez kary. Robię to, ponieważ chcę obiektywnych szacunków, których Lasso nie może mi podać. Chciałbym również wartości p i przedziały ufności dla obiektywnego …

17 regression  feature-selection  lasso  unbiased-estimator 

Przeglądam następujący blog na sieci neuronowej LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Autor przekształca wektor wejściowy X jako [próbki, przedziały czasowe, cechy] dla różnych konfiguracji LSTM. Autor pisze Rzeczywiście, sekwencje liter są krokami czasowymi jednej cechy, a nie krokiem czasu oddzielnych cech. Daliśmy sieci większy kontekst, ale nie więcej sekwencji, niż się spodziewano Co …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Pracuję z wieloma algorytmami: RandomForest, DecisionTrees, NaiveBayes, SVM (jądro = liniowy i rbf), KNN, LDA i XGBoost. Wszystkie były dość szybkie, z wyjątkiem SVM. Właśnie wtedy dowiedziałem się, że potrzebuje skalowania funkcji, aby działać szybciej. Potem zacząłem się zastanawiać, czy powinienem zrobić to samo dla innych algorytmów.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Przeczytałem następujące posty dotyczące sprawdzania poprawności krzyżowania zagnieżdżonego i wciąż nie jestem w 100% pewien, co mam zrobić z wyborem modelu za pomocą sprawdzania poprawności krzyżowania zagnieżdżonego: Zagnieżdżone sprawdzanie poprawności wyboru modelu Wybór modelu i walidacja krzyżowa: właściwa droga Aby wyjaśnić moje zamieszanie, pozwól mi przejść krok po kroku przez …

17 cross-validation  scikit-learn  hyperparameter 

Po pierwsze, przepraszam za opublikowanie pytania, które zostało już obszernie omówione tutaj , tutaj , tutaj , tutaj , tutaji do odtworzenia starego tematu. Wiem, że @DikranMarsupial pisał na ten temat obszernie w postach i gazetach, ale nadal jestem zdezorientowany i sądząc po liczbie podobnych postów tutaj, wciąż jest to …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Próbuję zrozumieć wielkie roszczenia zdjęcie wykonane w Taleb, 2016, meta-Dystrybucja standardowe wartości p . W nim Taleb przedstawia następujący argument za niewiarygodnością wartości p (jak rozumiem): Procedura estymacji działająca na punktach danych pochodzących z niektórych rozkładów wartości wyjściowych X wartość ap. Jeśli narysujemy n punktów z tego rozkładu i wyprowadzimy …

17 hypothesis-testing  statistical-significance  p-value 

Jeśli mam dane i prowadzę klasyfikację (powiedzmy losowy las na tych danych) z walidacją krzyżową (powiedzmy 5-krotnie), czy mogę dojść do wniosku, że w mojej metodzie nie ma nadmiernego dopasowania?

17 cross-validation  overfitting 

Pytanie (pytania): Jaki jest pomysł i intuicja za quasi-maksymalnym oszacowaniem prawdopodobieństwa (QMLE; znany również jako pseudo maksymalne oszacowanie prawdopodobieństwa, PMLE)? Co sprawia, że ​​estymator działa, gdy faktyczny rozkład błędów nie odpowiada założonemu rozkładowi błędów? Strona Wikipedii dla QMLE jest w porządku (krótki, intuicyjny, do punktu), ale mogę użyć trochę więcej …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Supppse i są standardowo równomiernie rozmieszczone w i są niezależne, jaki jest plik PDF ?XXXYYY[0,1][0,1][0, 1]Z=Y/XZ=Y/XZ = Y / X Odpowiedź z jakiegoś podręcznika teorii prawdopodobieństwa brzmi fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z \le 1 \\ 1/(2z^2), & \text{if } z …

17 probability  derived-distributions 

Jak stwierdzono w tym pytaniu, maksymalna ranga macierzy kowariancji wynosi n−1n−1n-1 gdzie nnn jest rozmiarem próbki, a więc jeśli wymiar macierzy kowariancji jest równy wielkości próbki, byłby liczbą pojedynczą. Nie mogę zrozumieć, dlaczego mamy odjąć 111 od maksymalnej rangi nnn macierzy kowariancji.

17 covariance-matrix  linear-algebra 

Czytałem więc dużo o tym, jak poprawnie interpretować wartość p, a z tego, co przeczytałem, wartość p mówi NIC o prawdopodobieństwie, że hipoteza zerowa jest prawdziwa lub fałszywa. Jednak podczas czytania następującego oświadczenia: Wartość p reprezentuje prawdopodobieństwo popełnienia błędu typu I lub odrzucenia hipotezy zerowej, gdy jest ona prawdziwa. Im …

17 hypothesis-testing  p-value 

Po zbudowaniu losowego modelu lasu (regresyjnego) w R wywołanie rf$importancezapewnia mi dwie miary dla każdej zmiennej predykcyjnej %IncMSEoraz IncNodePurity. Czy interpretacja, że ​​zmienne predykcyjne o mniejszych %IncMSEwartościach są ważniejsze niż zmienne predykcyjne o większych %IncMSEwartościach? Co powiesz na IncNodePurity?

17 r  feature-selection  random-forest 

W standardowym ustawieniu maksymalnego prawdopodobieństwa (np. Próbka Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} z pewnego rozkładu o gęstości )), aw przypadku poprawnie określonego modelu, informacje Fishera podaje:fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] gdzie oczekiwane jest rzeczywiste zagęszczenie, które wygenerowało dane. Czytałem, że zaobserwowałem informację Fishera J^(θ)=−∂2θ2lnfy(θ)J^(θ)=−∂2θ2ln⁡fy(θ)\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) jest używana głównie, ponieważ …

17 maximum-likelihood  fisher-information 

Słyszałem, że zgodnie z hipotezą zerową rozkład wartości p powinien być jednolity. Jednak symulacje testu dwumianowego w MATLAB zwracają bardzo różne od jednolitych rozkłady ze średnią większą niż 0,5 (w tym przypadku 0,518): coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j = …

17 matlab  p-value  binomial  simulation  uniform 

Znalazłem tej implementacji Pythona w Breaks Jenks Natural algorytmu i mogłem zrobić to uruchomić na moim Windows 7 maszynie. Jest dość szybki i wykrywa przerwy w krótkim czasie, biorąc pod uwagę rozmiar moich geodanych. Przed użyciem tego algorytmu grupowania dla moich danych korzystałem sklearn.clustering.KMeans (tutaj) z algorytmu. Problemem z KMeans …

17 python  clustering  optimization