Wyniki szacunków Monte Carlo uzyskane na podstawie próbkowania istotności

Przez ostatni rok pracowałem nad dość istotnym pobieraniem próbek i mam kilka otwartych pytań, z którymi miałem nadzieję uzyskać pomoc.

Moje praktyczne doświadczenie z ważnymi schematami pobierania próbek było takie, że czasami mogą one generować fantastyczne oszacowania niskiej wariancji i niskiego obciążenia. Częściej jednak mają tendencję do generowania szacunkowych błędów, które mają niską wariancję próbki, ale bardzo wysoką stronniczość.

Zastanawiam się, czy ktokolwiek może dokładnie wyjaśnić, jakie rodzaje czynników wpływają na ważność szacunkowych prób doboru? W szczególności zastanawiam się:

1) Czy gwarantowane ważność oszacowań próbkowania jest zbieżne z prawidłowym wynikiem, gdy rozkład odchylania ma takie samo wsparcie jak rozkład pierwotny? Jeśli tak, dlaczego wydaje się, że zajmuje to tak dużo czasu w praktyce?

2) Czy istnieje wymierny związek między błędem w oszacowaniu uzyskanym w wyniku próbkowania istotności a „jakością” rozkładu odchylenia (tj. W jakim stopniu odpowiada rozkładowi wariancji zerowej)

3) Częściowo oparty na 1) i 2) - czy istnieje sposób na określenie ilościowe „ile” trzeba wiedzieć o rozkładzie, zanim lepiej było użyć ważnego projektu próbkowania niż prostej metody Monte Carlo.

monte-carlo information-theory importance-sampling

— Berk U.
źródło

Odpowiedzi:

Ważność próbkowania ma dokładnie taką samą walidację jak podstawowe podejście Monte Carlo. U jego podstaw leży Monte Carlo . Rzeczywiście, jest to po prostu zmiana miary odniesienia, przejście od do Zatem zbieżność jest gwarantowana przez prawo wielkich liczb w obu przypadkach, tj. czy symulujesz czy z . Ponadto, jeśli termin jest skończony, obowiązuje również twierdzenie o limicie centralnym i prędkość konwergencji to

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$ . Jeśli „trwa to tak długo w praktyce”, to dlatego, że powyższy współczynnik wariancji w CLT może być dość duży. Ale, i nalegam, prędkość jest taka sama, jak w przypadku zwykłego Monte Carlo, .

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

Jakość ważnego rozkładu próbkowania jest zatem bezpośrednio związana z powyższym współczynnikiem wariancji, który wynosi zero dla „rozkładu zerowej wariancji” proporcjonalnego do . $|h(x)|f(x)$

— Xi'an
źródło

Podejrzewam, biorąc pod uwagę, że OP zgłasza estymatory małej wariancji, które są stronnicze, ale wydają się mieć małą wariancję, że może on pytać o samonormalizowaną próbkę ważności. Zobacz rant Radforda Neala dotyczący estymatora średniej harmonicznej dla dobrego przykładu, który bierze wartość, która byłaby istotnym oszacowaniem próbkowania z wariancją 0, i zwraca bzdury. Nie jestem pewien, czy tak się nie dzieje w przypadku próbkowania o regularnym znaczeniu, ale z pewnością jest to rzadkie.

— deinst

Nawet jeśli nie byłby to zamiarem PO, byłbym zainteresowany kilkoma wskazówkami, jak dowiedzieć się, kiedy samonormalizacja pójdzie strasznie źle.

— deinst

@deinst Nie wiedziałem o procedurze samonormalizacji i jej pułapkach, więc dziękuję za to! W każdym razie myślę, że problemy mogą mieć związek z właściwościami mojego schematu SI, dlatego chciałbym zbadać ten pomysł, jeśli ktoś z was ma pomysły.

— Berk U.

@deinst Schemat IS, którego używam, jest zaprojektowany do pracy bez dostępnego rozkładu próbkowania . Schemat najpierw wykorzystuje procedurę MCMC do symulacji punktów z zerowego rozkładu wariancji . Następnie używa szacowania gęstości jądra na aby utworzyć . Mając w dłoni, mogę następnie próbkować nowych punktów mojego oszacowania IS jako $ \ sum {h (y_i) f (y_i) / hat {g (y_i)} $

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

— Berk U.

Korzystanie z oszacowania nieparametrycznego wprowadza zmienność wyższego rzędu niż zmienność Monte Carlo, więc nie radziłbym jej.

— Xi'an

$f$ $g$

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

$\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— deinst
źródło

X / Y

$X/Y$

G

$G$

@BerkUstun Wielka litera G to literówka dla małej, którą natychmiast naprawię. X / Y to tylko ogólny stosunek zmiennych losowych. IIRC to wszystko jest wyjaśnione w Monte Carlo książki Liu (coś z naukowego w tytule.)

— deinst

@deinst: Great point! Rzeczywiście, właściwości samonormalizowanych wersji są całkiem różne od właściwości obiektywnego estymatora prób istotności. Teoretycznie do oszacowania mianownika potrzebny byłby osobny próbnik ważności.

— Xi'an