Pytania otagowane jako metropolis-hastings

Próbowałem nauczyć się metod MCMC i natknąłem się na próbkowanie Metropolis Hastings, Gibbs, Ważność i Odrzucenie. Chociaż niektóre z tych różnic są oczywiste, tj. Jak Gibbs jest szczególnym przypadkiem Metropolis Hastings, gdy mamy pełne warunki warunkowe, inne są mniej oczywiste, na przykład gdy chcemy użyć MH w próbniku Gibbs itp. …

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Kiedy koduję symulację Monte Carlo dla jakiegoś problemu, a model jest dość prosty, używam bardzo prostego podręcznika Gibbs. Kiedy nie jest możliwe użycie próbkowania Gibbsa, koduję podręcznik Metropolis-Hastings, którego nauczyłem się wiele lat temu. Zastanawiam się nad wyborem rozkładu skoków lub jego parametrów. Wiem, że istnieją setki specjalistycznych metod, które …

21 bayesian  mcmc  gibbs  metropolis-hastings 

Czytam o adaptacyjnej MCMC (patrz np. Rozdział 4 Podręcznika Markov Chain Monte Carlo , red. Brooks i in., 2011; a także Andrieu i Thoms, 2008 ). Głównym rezultatem Robertsa i Rosenthala (2007) jest to, że jeśli schemat adaptacji spełnia znikający warunek adaptacji (plus pewna inna technika), adaptacyjna MCMC jest ergodyczna …

20 simulation  mcmc  random-generation  metropolis-hastings 

Właśnie czytałem trochę na temat próbkowania Gibbsa i algorytmu Metropolis Hastings i mam kilka pytań. Jak rozumiem, w przypadku próbkowania Gibbsa, jeśli mamy duży problem wielowymiarowy, próbkujemy z rozkładu warunkowego, tj. Próbkujemy jedną zmienną, utrzymując wszystkie pozostałe w stałym, podczas gdy w MH próbkujemy z pełnego wspólnego rozkładu. Jedną rzeczą, …

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

Czytałem dziś blog Christiana Roberta i całkiem podobał mi się nowy algorytm Metropolis-Hastings, o którym rozmawiał. Wydawało się proste i łatwe do wdrożenia. Ilekroć koduję MCMC, mam tendencję do trzymania się bardzo podstawowych algorytmów MH, takich jak niezależne ruchy lub losowe spacery na skali dziennika. Z jakich algorytmów MH ludzie …

20 mcmc  metropolis-hastings 

Istnieją różne rodzaje algorytmów MCMC: Metropolis-Hastings Gibbs Próbkowanie pod kątem ważności / odrzucenia (powiązane). Dlaczego warto korzystać z próbkowania Gibbs zamiast Metropolis-Hastings? Podejrzewam, że zdarzają się przypadki, w których wnioskowanie jest łatwiejsze w przypadku próbkowania Gibbsa niż w przypadku Metropolis-Hastings, ale nie mam jasności co do szczegółów.

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

Załóżmy, że mam funkcję , którą chcę zintegrować Oczywiście przy założeniu, że osiąga zero w punktach końcowych, brak wybuchów, fajna funkcja. Jednym ze sposobów, w jakie się bawiłem, jest użycie algorytmu Metropolis-Hastings do wygenerowania listy próbek z rozkładu proporcjonalnego do , w którym brakuje stałej normalizacyjnej który , a następnie …

16 simulation  monte-carlo  metropolis-hastings  numerical-integration 

Przeglądałem dokumentację Stana, którą można pobrać stąd . Byłem szczególnie zainteresowany ich wdrożeniem diagnostyki Gelmana-Rubina. Oryginalny artykuł Gelman i Rubin (1992) definiuje potencjalny współczynnik redukcji skali (PSRF) w następujący sposób: Niech Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N} będą iii -tym łańcuchem Markowa, z którego pobrano próbkę, i niech będzie próbka z całych …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

W ciągu ostatnich kilku tygodni starałem się zrozumieć MCMC i algorytm (y) Metropolis-Hastings. Za każdym razem, gdy myślę, że to rozumiem, zdaję sobie sprawę, że się mylę. Większość przykładów kodu, które znajduję w Internecie, implementuje coś, co nie jest zgodne z opisem. tj.: Mówią, że wdrażają Metropolis-Hastings, ale w rzeczywistości …

15 mcmc  metropolis-hastings 

Losowy spacer Metropolis-Hasitings z symetryczną propozycją q(x|y)=g(|y−x|)q(x|y)=g(|y−x|)q(x|y)= g(|y-x|) ma tę właściwość, że prawdopodobieństwo przyjęcia P(accept y)=min{1,f(y)/f(x)}P(accept y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} nie zależy od propozycji .g(⋅)g(⋅)g(\cdot) Czy to oznacza, że ​​mogę zmienić g(⋅)g(⋅)g(\cdot) w zależności od poprzedniego działania łańcucha, bez wpływu na markovianity łańcucha? Szczególnie interesujące jest dla mnie dostosowanie …

14 mcmc  metropolis-hastings 

Próbowałem zrozumieć algorytm Metropolis-Hastings, aby napisać kod do oszacowania parametrów modelu (tj. ). Według bibliografii algorytm Metropolis-Hastings ma następujące kroki:f(x)=a∗xf(x)=a∗xf(x)=a*x WygenerujYt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with probability1−ρ(xt,Yt),Xt+1={Yt,with probabilityρ(xt,Yt),xt,with probability1−ρ(xt,Yt),X^{t+1}=\begin{cases} Y^t, & \text{with probability} \quad \rho(x^t,Y_t), \\ x^t, & \text{with probability} \quad 1-\rho(x^t,Y_t), \end{cases} gdzieρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)\rho(x,y)=\min \left( \frac{f(y)}{f(x)}*\frac{q(x|y)}{q(y|x)},1 \right) Jak chciałbym zadać kilka …

14 mcmc  metropolis-hastings 

W ciągu ostatnich kilku dni starałem się zrozumieć, jak działa Markov Chain Monte Carlo (MCMC). W szczególności starałem się zrozumieć i wdrożyć algorytm Metropolis-Hastings. Do tej pory myślę, że mam ogólne zrozumienie algorytmu, ale jest kilka rzeczy, które nie są dla mnie jeszcze jasne. Chcę użyć MCMC, aby dopasować niektóre …

13 mcmc  metropolis-hastings 

Muszę wykonać symulację, aby ocenić całkę funkcji 3-parametrowej, mówimy , która ma bardzo skomplikowaną formułę. Poproszono o użycie metody MCMC w celu jej obliczenia i zaimplementowania algorytmu Metropolis-Hastings w celu wygenerowania wartości rozłożonych jako , i zasugerowano użycie 3 różnych normalnych jako rozkładu propozycji. Czytając kilka przykładów na ten temat, …

13 mcmc  metropolis-hastings 

mgcvOpakowanie Rposiada dwie funkcje montowania interakcji produktów napinacz: te()i ti(). Rozumiem podstawowy podział pracy między nimi (dopasowanie interakcji nieliniowej vs. rozkładanie tej interakcji na główne efekty i interakcję). To, czego nie rozumiem, to dlaczego te(x1, x2)i ti(x1) + ti(x2) + ti(x1, x2)może powodować (nieznacznie) różne wyniki. MWE (dostosowany z ?ti): …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Natknąłem się na następujący problem z symulacją: biorąc pod uwagę zestaw {ω1, ... ,ωre}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\} znanych liczb rzeczywistych, rozkład na { - 1 , 1}re{−1,1}d\{-1,1\}^d jest zdefiniowany przez P (X= (x1, ... ,xre) ) ∝ (x1ω1+ … +xreωre)+P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+ gdzie ( z)+(z)+(z)_+ oznacza pozytywną część zzz. Chociaż mogę wymyślić próbnik Metropolis-Hastings …

9 simulation  algorithms  random-generation  computational-statistics  metropolis-hastings