Bootstrapping kontra Bayesian Bootstrapping koncepcyjnie?

Mam problem ze zrozumieniem, czym jest proces ładowania bayesowskiego i czym różni się on od normalnego ładowania początkowego. A gdyby ktoś mógł zaoferować intuicyjny / konceptualny przegląd i porównanie obu, byłoby świetnie.

Weźmy przykład.

Powiedzmy, że mamy zestaw danych X, który jest [1,2,5,7,3].

Jeśli próbujemy z zamianą wiele razy, aby utworzyć próbki o wielkości równej wielkości X (więc [7,7,2,5,7], [3,5,2,2,7] itd.), A następnie obliczyć średnie dla każdego z nich, czy rozkład bootstrapu próbki oznacza?

Jaka byłaby to bayesowska dystrybucja bootstrap?

I w jaki sposób bayesowski rozkład ładowania innych parametrów (wariancji itp.) Odbywa się w ten sam sposób?

(Częstotliwość) bootstrap przyjmuje dane jako rozsądne przybliżenie do nieznanego rozkładu populacji. Dlatego rozkład próbkowania statystyki (funkcja danych) można aproksymować poprzez wielokrotne ponowne próbkowanie obserwacji z zamianą i obliczanie statystyki dla każdej próbki.

Niech oznacza oryginalne dane. (W podanym przykładzie ). Niech oznacza próbkę ładowania początkowego. W takiej próbce prawdopodobnie niektóre obserwacje zostaną powtórzone jeden lub więcej razy, a inne obserwacje będą nieobecne. próbkę ładowania początkowego podajeJest to rozkład na wiele replik ładowania początkowego, który służy do przybliżenia rozkładu próbkowania z nieznanej populacji.$y = (y_1,\ldots,y_n)$y b = ( y b 1 , … , y b n ) m b = $n=5$$y^b = (y_1^b, \ldots, y_n^b)$m

$$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$$ $m_b$

Aby zrozumieć związek między częstym bootstrapem a bayesowskim bootstrapem, warto zobaczyć, jak obliczyć z innej perspektywy.$m_b$

W każdej próbce ładowania początkowego każda obserwacja występuje od 0 do razy. Niech oznacza liczbę przypadków, w których występuje w , i niech . Zatem i . Biorąc pod uwagę , możemy zbudować zbiór nieujemnych wag, które sumują się do jednego: , gdzie . Za pomocą tej notacji możemy ponownie wyrazić średnią próbki bootstrap jako y i n h b i y i y b h b = ( h b 1 , … , h b n ) h b i ∈ { 0 , 1 , … , n - 1 , n } ∑ n i = 1 h b i = n h b w b = h b $y^b$$y_i$$n$$h_i^b$$y_i$$y^b$$h^b = (h_1^b, \ldots, h_n^b)$$h_i^b \in \{0, 1, \ldots, n-1,n\}$$\sum_{i=1}^n h_i^b = n$$h^b$w b i = h b i / n m b = n ∑ i = 1 w b $w^b = h^b/n$$w_i^b = h_i^b/n$

$$m_b = \sum_{i=1}^n w_i^b\, y_i.$$

Sposób wyboru obserwacji dla próbki bootstrap określa rozkład połączeń dla . W szczególności ma rozkład wielomianowy, a zatemDlatego możemy obliczyć , rysując z jego rozkładu i obliczając iloczyn iloczynu za pomocą . Z tej nowej perspektywy wydaje się, że obserwacje są ustalone, a wagi są różne.h b ( $w^b$$h^b$m b w b

$$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$$ $m_b$$w^b$$y$

W wnioskowaniu bayesowskim obserwacje są rzeczywiście uważane za ustalone, więc ta nowa perspektywa wydaje się być zgodna z podejściem bayesowskim. Rzeczywiście, obliczenie średniej zgodnie z bayesowskim bootstrapem różni się tylko rozkładem ciężarów. (Niemniej jednak, z konceptualnego punktu widzenia, bayesowski bootstrap różni się znacznie od wersji częstej.) Dane są stałe, a wagi są nieznanymi parametrami. Możemy być zainteresowani jakąś funkcją danych, która zależy od nieznanych parametrów: w μ = n ∑ i = 1 w $y$$w$

$$\mu = \sum_{i=1}^n w_i\, y_i.$$

Oto szkic miniatury modelu za bayesowskim bootstrapem: Rozkład próbkowania dla obserwacji jest wielomianowy, a pierwszeństwo dla wag jest ograniczającym rozkładem Dirichleta, który kładzie całą swoją wagę na wierzchołkach simpleksu. (Niektórzy autorzy odnoszą się do tego modelu jako modelu prawdopodobieństwa wielomianowego ).

Model ten wytwarza następujący rozkład boczny dla wag: (Rozkład ten jest płaski w stosunku do simpleksu.) Dwa rozkłady wag (częste i bayesowskie) są dość podobne: mają te same środki i podobne kowariancje. Rozkład Dirichleta jest „gładszy” niż rozkład wielomianowy, więc bayesowski bootstrap można nazwać wygładzonym bootstrapem. Możemy interpretować częsty bootstrap jako przybliżenie do bayesowskiego bootstrapu.

$$w \sim \textsf{Dirichlet}(1,\ldots,1).$$

Biorąc pod uwagę rozkład tylny dla wag, możemy aproksymować rozkład tylny funkcjonalnego przez powtarzanie próbkowania z jego rozkładu Dirichleta i obliczanie iloczynu .$\mu$$w$$y$

Możemy przyjąć strukturę szacowania równań gdzie jest wektorem funkcji szacunkowych zależnym od nieznany parametr (wektor) i to wektor zer. Jeśli ten układ równań ma unikalne rozwiązanie dla podanym i , wówczas możemy obliczyć jego rozkład tylny, wyciągając z jego rozkładu tylnego i oceniając to rozwiązanie. (Ramy szacowania równań stosuje się z prawdopodobieństwem empirycznym i uogólnioną metodą momentów (GMM).)

$$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$$ $g(y_i,\theta)$$\theta$$\underline 0$$\theta$$y$$w$$w$

Najprostszym przypadkiem jest ten, z którym już mieliśmy do czynienia: Dla średniej i wariancji we mieć Konfiguracja jest nieco bardziej zaangażowana niż w przypadku ładowania częstego, dlatego Bayesian może przyjąć ten częsty ładunek jako szybkie przybliżenie.

$$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$$ $\theta = (\mu,v)$ $$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$$