Statystyki i duże zbiory danych

2

Jaki byłby przykład naprawdę prostego modelu o niewiarygodnym prawdopodobieństwie?

Przybliżone obliczenia bayesowskie to naprawdę fajna technika dopasowania w zasadzie dowolnego modelu stochastycznego, przeznaczona dla modeli, w których prawdopodobieństwo jest trudne (powiedzmy, możesz próbkować z modelu, jeśli naprawisz parametry, ale nie możesz obliczyć prawdopodobieństwa numerycznie, algorytmicznie lub analitycznie ). Wprowadzając publiczność w przybliżeniu obliczenia bayesowskie (ABC), dobrze jest użyć przykładowego …

16 bayesian simulation model likelihood abc

2

Jak przeprowadzić eksploracyjną analizę danych, aby wybrać odpowiedni algorytm uczenia maszynowego

Studiujemy uczenie maszynowe za pośrednictwem uczenia maszynowego: perspektywa probabilistyczna (Kevin Murphy). Chociaż tekst wyjaśnia teoretyczne podstawy każdego algorytmu, rzadko mówi, w którym przypadku algorytm jest lepszy, a kiedy to robi, nie mówi, jak powiedzieć, w którym przypadku jestem. Na przykład przy wyborze jądra powiedziano mi, aby przeprowadzić eksploracyjną analizę danych, …

16 machine-learning eda

1

W jakich dokładnie warunkach regresja kalenicy jest w stanie zapewnić poprawę w stosunku do zwykłej regresji metodą najmniejszych kwadratów?

Regresja grzbietu szacuje parametry w modelu liniowym według gdzie jest parametrem regularyzacji. Dobrze wiadomo, że często działa lepiej niż regresja OLS (z \ lambda = 0 ), gdy istnieje wiele skorelowanych predyktorów.Y = X β β λ = ( X ⊤ X + λ I ) - 1 X ⊤ …

16 regression ridge-regression shrinkage

3

Co robi krok konwolucji w sieci neuronowej konwergencji?

Studiuję splotowe sieci neuronowe (CNN) ze względu na ich zastosowania w wizji komputerowej. Znam już standardowe sieci neuronowe typu feed-forward, więc mam nadzieję, że niektórzy ludzie tutaj pomogą mi zrobić dodatkowy krok w zrozumieniu CNN. Oto, co myślę o CNN: W tradycyjnych NN z feed-feedem mamy dane treningowe, w których …

16 neural-networks deep-learning conv-neural-network convolution

2

Dlaczego odchylenie standardowe jest definiowane jako sqrt wariancji, a nie jako sqrt sumy kwadratów nad N?

Dzisiaj uczyłem wstępnej klasy statystyki, a uczeń podszedł do mnie z pytaniem, które sformułowałem tutaj: „Dlaczego odchylenie standardowe jest zdefiniowane jako sqrt wariancji, a nie jako sqrt sumy kwadratów nad N?” Definiujemy wariancję populacji:σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} I standardowe odchylenie: .σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} Interpretacja możemy dać jest to, że daje średnie odchylenie jednostek w populacji …

16 variance standard-deviation intuition teaching

2

Bayesowskie oszacowanie

To pytanie jest techniczną kontynuacją tego pytania . Mam problem ze zrozumieniem i replikacją modelu przedstawionego w Raftery (1988): Wnioskowanie o dwumianowym parametrze : hierarchiczne podejście BayesaNN.N w WinBUGS / OpenBUGS / JAGS. Nie chodzi tylko o kod, więc powinien być tutaj na temat. tło Niech będzie zbiorem liczb sukcesów …

16 bayesian binomial hierarchical-bayesian winbugs

3

Jaki algorytm implementuje ward.D w hclust (), jeśli nie jest to kryterium Warda?

Ten używany przez opcję „ward.D” (odpowiednik jedynej opcji Ward „ward” w wersjach R <= 3.0.3) nie implementuje kryterium grupowania Warda (1963), natomiast opcja „ward.D2” implementuje to kryterium ( Murtagh i Legendre 2014). ( http://stat.ethz.ch/R-manual/R-pched/library/stats/html/hclust.html ) Najwyraźniej totem D. nie wdraża poprawnie kryterium totemu. Niemniej jednak wydaje się, że dobrze sobie …

16 r clustering ward

3

Różnice między regresją logistyczną a perceptronami

Jak rozumiem, sztuczna sieć neuronowa perceptron / jednowarstwowa z funkcją aktywacji logistycznej sigmoidu jest tym samym modelem co regresja logistyczna. Oba modele podano w równaniu: F(x)=11−e−βXF(x)=11−e−βXF(x) = \frac{1}{1-e^{-\beta X}} Algorytm uczenia się perceptronu jest online i oparty na błędach, podczas gdy parametry regresji logistycznej można nauczyć przy użyciu różnych algorytmów …

16 logistic communication

1

Statystyka to maszyna… cytat

Będę musiał przedstawić projekt niestatystom na nadchodzącej konferencji i chciałbym dołączyć cytat, który przeczytałem w jednym punkcie, który porównuje statystyki z maszyną przetwarzającą rudę. Powodem jest to, że chcę podkreślić pewien związek między możliwościami statystyki a celami odbiorców. Nie mogę znaleźć cytatu i miałem nadzieję, że ktoś będzie w stanie …

16 references quotation

3

Literatura na temat IV regresji kwantylowej

W ostatnich miesiącach intensywnie czytałem o regresji kwantowej w ramach przygotowań do mojej pracy magisterskiej tego lata. W szczególności przeczytałem większość książek Rogera Koenkera z 2005 roku na ten temat. Teraz chcę rozszerzyć tę istniejącą wiedzę na techniki regresji kwantowej, które pozwalają na zmienne instrumentalne (IV). To wydaje się być …

16 regression references econometrics instrumental-variables quantile-regression

2

stochastyczny vs deterministyczny trend / sezonowość w prognozowaniu szeregów czasowych

Mam umiarkowane doświadczenie w prognozowaniu szeregów czasowych. Przejrzałem kilka książek o prognozowaniu i nie widzę w nich odpowiedzi na następujące pytania. Mam dwa pytania: Jak określiłbym obiektywnie (za pomocą testu statystycznego), czy dany szereg czasowy ma: Sezonowość stochastyczna lub sezonowość deterministyczna Trend stochastyczny lub trend deterministyczny Co by się stało, …

16 time-series forecasting arima stochastic-processes

1

Wielowymiarowe szeregi czasowe w R. Jak znaleźć opóźnioną korelację i zbudować model do prognozowania

Jestem nowy na stronie i całkiem nowy w statystykach. R. Pracuję nad projektem dla college'u w celu znalezienia korelacji między poziomem opadów deszczu i przepływu wody w rzekach. Po udowodnieniu korelacji chcę ją przewidzieć / przewidzieć. Dane Mam zestaw danych z kilku lat (pobieranych co 5 minut) dla poszczególnych rzek …

16 r time-series forecasting cross-correlation lags

3

Obszar pod krzywą ROC lub obszar pod krzywą PR dla niezrównoważonych danych?

Mam wątpliwości co do tego, który miernik wydajności zastosować, obszar pod krzywą ROC (TPR jako funkcja FPR) lub obszar pod krzywą precyzja-przywołanie (precyzja jako funkcja przywołania). Moje dane są niezrównoważone, tzn. Liczba negatywnych wystąpień jest znacznie większa niż pozytywnych. Korzystam z prognozy wyjściowej weka, próbka to: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 …

16 r machine-learning roc precision-recall auc

1

Znaczenie ostrzeżenia o konwergencji w blasku

Korzystam z glmerfunkcji z lme4pakietu w R i używam bobyqaoptymalizatora (tj. Domyślnego w moim przypadku). Dostaję ostrzeżenie i jestem ciekaw, co to znaczy. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce q Szukałem …

16 r optimization lme4-nlme convergence glmm

7

Powtórzono problem z dwiema kopertami

Myślałem o tym problemie. http://en.wikipedia.org/wiki/Two_envelopes_problem Wierzę w to rozwiązanie i myślę, że je rozumiem, ale jeśli przyjmuję następujące podejście, jestem całkowicie zdezorientowany. Problem 1: Oferuję ci następującą grę. Zapłacisz mi 10 $, a ja rzuci uczciwą monetę. Głowy daję ci 5 $, a ogony daję ci 20 $ . Oczekiwany …

16 probability paradox puzzle