Statystyki i duże zbiory danych

Użyłem rjags do uruchomienia MCMC na modelu określonym w języku JAGS. Czy istnieje dobry sposób na wyodrębnienie tego modelu i wykonanie z nim prognoz (przy użyciu tylnych rozkładów moich parametrów)? Mogę ponownie określić model w R i podłączyć tryby moich parametrów tylnych; Zastanawiam się tylko, czy istnieje mniej zbędny sposób …

12 r  jags 

Podany zestaw danych: x <- c(4.9958942,5.9730174,9.8642732,11.5609671,10.1178216,6.6279774,9.2441754,9.9419299,13.4710469,6.0601435,8.2095239,7.9456672,12.7039825,7.4197810,9.5928275,8.2267352,2.8314614,11.5653497,6.0828073,11.3926117,10.5403929,14.9751607,11.7647580,8.2867261,10.0291522,7.7132033,6.3337642,14.6066222,11.3436587,11.2717791,10.8818323,8.0320657,6.7354041,9.1871676,13.4381778,7.4353197,8.9210043,10.2010750,11.9442048,11.0081195,4.3369520,13.2562675,15.9945674,8.7528248,14.4948086,14.3577443,6.7438382,9.1434984,15.4599419,13.1424011,7.0481925,7.4823108,10.5743730,6.4166006,11.8225244,8.9388744,10.3698150,10.3965596,13.5226492,16.0069239,6.1139247,11.0838351,9.1659242,7.9896031,10.7282936,14.2666492,13.6478802,10.6248561,15.3834373,11.5096033,14.5806570,10.7648690,5.3407430,7.7535042,7.1942866,9.8867927,12.7413156,10.8127809,8.1726772,8.3965665) .. Chciałbym określić najbardziej odpowiedni rozkład prawdopodobieństwa (gamma, beta, normalny, wykładniczy, Poissona, chi-kwadrat itp.) Z oszacowaniem parametrów. Jestem już świadomy pytania pod następującym linkiem, w którym rozwiązanie jest dostarczane za pomocą R: /programming/2661402/given-a-set-of-random-numbers-drawn-from-a- ciągła-jednoczynnikowa-dystrybucja-f najlepiej zaproponowane rozwiązanie jest następujące: > library(MASS) > fitdistr(x, 't')$loglik …

12 r  matlab  distributions 

Niedawno przeczytałem o empirycznym Bayesie (Casella, 1985, Wprowadzenie do empirycznej analizy danych Bayesa) i wyglądało to bardzo podobnie do modelu efektów losowych; w tym, że oba szacunki skurczyły się do średniej globalnej. Ale nie przeczytałem go do końca ... Czy ktoś ma wgląd w podobieństwo i różnice między nimi?

12 bayesian  estimation  random-effects-model  steins-phenomenon  empirical-bayes 

Obserwuję czasy przetwarzania procesu przed i po zmianie, aby dowiedzieć się, czy proces poprawił się przez zmianę. Proces poprawił się, jeśli czas przetwarzania został skrócony. Rozkład czasu przetwarzania jest gruby, dlatego porównanie na podstawie średniej nie jest rozsądne. Zamiast tego chciałbym wiedzieć, czy prawdopodobieństwo zaobserwowania krótszego czasu przetwarzania po zmianie …

12 sampling  nonparametric 

Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi lmezastanawiałem się, dlaczego. Zacznij od …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Czy istnieje rozkład tylko dodatni, tak że różnica dwóch niezależnych próbek od tego rozkładu jest zwykle rozkładana? Jeśli tak, to czy ma prostą formę?

12 distributions  probability 

Pewnego dnia miałem konsultację z epidemiologiem. Jest doktorem medycyny ze stopniem zdrowia publicznego w dziedzinie epidemiologii i ma dużą wiedzę statystyczną. Doradza swoim pracownikom badawczym i rezydentom oraz pomaga im w kwestiach statystycznych. Całkiem dobrze rozumie testowanie hipotez. Miała typowy problem z porównaniem dwóch grup, aby sprawdzić, czy istnieje różnica …

12 relative-risk  absolute-risk  rare-events 

Chciałbym obliczyć dywergencję Jensen-Shannon dla 3 następujących rozkładów. Czy poniższe obliczenia są prawidłowe? (Postępowałem zgodnie ze wzorem JSD z wikipedii ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6, 1/6, 0) + (0, 1/30, …

12 distance-functions  information-theory 

Dlaczego w ogóle mają nieinformacyjne priory? Nie podają informacji o . Po co więc z nich korzystać? Dlaczego nie tylko korzystać z informacyjnych priorów? Załóżmy na przykład θ ∈ [ 0 , 1 ] . Czy zatem θ ∼ U ( 0 , 1 ) nie ma charakteru informacyjnego przed …

12 bayesian  uninformative-prior  jeffreys-prior 

Tradycyjne podejście do wyboru zmiennych polega na znalezieniu zmiennych, które najbardziej przyczyniają się do przewidywania nowej odpowiedzi. Ostatnio dowiedziałem się o alternatywie. W modelowaniu zmiennych, które określają efekt leczenia - jak na przykład w badaniu klinicznym farmaceutyka - mówi się, że zmienna oddziałuje jakościowoz leczeniem, jeśli pozostawiając inne rzeczy naprawione, …

12 regression  feature-selection 

Obecnie analizuję dane z serii eksperymentów behawioralnych, które wykorzystują następującą miarę. Uczestnicy tego eksperymentu proszeni są o wybranie wskazówek, które (fikcyjne) inne osoby mogłyby wykorzystać do rozwiązania serii 10 anagramów. Uczestnicy są przekonani, że ci inni ludzie albo zyskają, albo stracą pieniądze, w zależności od ich wyników w rozwiązywaniu anagramów. …

12 poisson-distribution  count-data 

Ogromnym problemem w przekazywaniu wyników obliczeń statystycznych mediom i opinii publicznej jest sposób komunikowania niepewności. Z pewnością większość środków masowego przekazu wydaje się lubić twardą i szybką liczbę, chociaż z wyjątkiem stosunkowo niewielkiej liczby przypadków liczby zawsze mają pewną niepewność. Jak więc my, jako statystycy (lub naukowcy opisujący pracę statystyczną), …

12 uncertainty  communication 

Rysujemy próbek, każda o rozmiarze , niezależnie od rozkładu Normal .NNNnnn(μ,σ2)(μ,σ2)(\mu,\sigma^2) Z próbek wybieramy następnie 2 próbki, które mają najwyższą (absolutną) korelację Pearsona ze sobą.NNN Jaka jest oczekiwana wartość tej korelacji? Dzięki [PS To nie zadanie domowe]

12 correlation  normal-distribution  expected-value  maximum 

Rozważ następujący wykres: Czerwona linia (lewa oś) opisuje wolumen obrotu pewnymi akcjami. Niebieska linia (prawa oś) opisuje głośność wiadomości na Twitterze dla tego towaru. Na przykład 9 maja (05-09) dokonano około 1.100 milionów transakcji i 4.000 tweetów. Chciałbym obliczyć, czy istnieje korelacja między przedziałami czasowymi, tego samego dnia lub z …

12 time-series  correlation  lags 

W poprzednim poście zastanawiałem się, jak radzić sobie z wynikami EQ-5D . Ostatnio natknąłem się na logistyczną regresję kwantyli zaproponowaną przez Bottai i McKeown, która wprowadza elegancki sposób radzenia sobie z ograniczonymi rezultatami. Formuła jest prosta: l o gi t ( y) = l o g( y- ym i nym …

12 r  logistic  data-visualization  logit  quantile-regression