Średnia próbki bootstrap a statystyki próbki

Powiedzmy, że mam próbkę i próbkę bootstrap z tej próbki dla stastitic (np. Średnia). Jak wszyscy wiemy, że ta próbka bootstrap szacuje się podział próbkowania estymatora statystyki. $\chi$

Czy średnia dla tej próby ładowania początkowego jest lepszym oszacowaniem statystyki populacji niż statystyka oryginalnej próbki ? Na jakich warunkach tak by było?

estimation bootstrap

— Amelio Vazquez-Reina
źródło

Średnia próbki bootstrap jest średnią próbki i w tym przypadku nie potrzebujesz próbki bootstrap.

— Xi'an

Dzięki @ Xi'an Nie jestem pewien, czy śledzę. Średnia próbki bootstrap może różnić się liczbowo od średniej próbki. Czy próbujesz powiedzieć, że te dwa są nadal teoretycznie równoważne? Czy możesz potwierdzić na obu końcach?

— Amelio Vazquez-Reina

Wyjaśnijmy naszą terminologię: „próbka ładowania początkowego” może odnosić się do konkretnej próbki z zamiennikiem z danych lub może odnosić się do losowej zmiennej (wielowymiarowej), której taka próbka byłaby uważana za jedną realizację. Masz rację, że średnia realizacji może różnić się od średniej danych, ale @ Xi'an zapewnia bardziej odpowiednie spostrzeżenie, że średnia zmiennej losowej (która z definicji jest oszacowaniem wartości początkowej średniej populacji ) musi się pokrywać ze średnią danych.

— whuber

Twoje pytanie jest prawie identyczne jak stats.stackexchange.com/questions/126633/… ; jedyną różnicą jest to, że przykładowe realizacje bootstrap mogą się pokrywać, ale analiza podana w tamtej odpowiedzi łatwo przenosi się do sytuacji bootstrap, z tym samym rezultatem.

— whuber

Widzę połączenie @ whuber, chociaż w bootstrapie ma się „podzbiory z zamiennikiem”, a realizacje mogą się nakładać, tak jak powiedziałeś. Wyobrażam sobie, że rozkład (np. Pseudolosowość) użyty do uzyskania powtórnych próbek w bootstrapie może również wpływać na błąd szacunku z próbki bootstrap. Być może odpowiedź jest taka, że we wszystkich kwestiach praktycznych różnica jest znikoma. Oto pytanie: warunki, subtelności i różnica w praktyce.

— Amelio Vazquez-Reina

Odpowiedzi:

Uogólnijmy, aby skupić się na istocie sprawy. Sprecyzuję najdrobniejsze szczegóły, aby nie pozostawiać wątpliwości. Analiza wymaga tylko następujących czynności:

Średnią arytmetyczną z zestawu liczb określa się $z_1, \ldots, z_m$

$\frac{1}{m} (z_{1} + \dots + z_{m}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
Oczekiwanie jest operatorem liniowym. Oznacza to, że gdy są zmiennymi losowymi, a są liczbami, to oczekiwanie kombinacji liniowej jest kombinacją liniową oczekiwań, $Z_i, i=1,\ldots,m$ $\alpha_i$

$mi (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} mi (Z_{1}) + \dots + α_{m} mi (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

Niech będzie próbką uzyskaną z zestawu danych poprzez pobranie elementów równomiernie z zamianą. Niech jest średnią arytmetyczną z . To jest zmienna losowa. Następnie $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

mi (m (b)) = mi (\frac{1}{k} (b_{1} + \dots + b_{k})) = \frac{1}{k} (mi (b_{1}) + \dots + mi (b_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

następuje liniowość oczekiwań. Ponieważ wszystkie elementy są otrzymywane w ten sam sposób, wszystkie mają takie same oczekiwania, powiedzmy: $B$ $b$

E (b_{1}) = \dots = mi (b_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

Upraszcza to powyższe

mi (m (b)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

Z definicji oczekiwanie jest sumą wartości ważoną prawdopodobieństwem. Ponieważ zakłada się, że każda wartość ma jednakową szansę na wybranie , $X$ $1/n$

mi (m (b)) = b = mi (b_{1}) = \frac{1}{n} x_{1} + \dots + \frac{1}{n} x_{n} = \frac{1}{n} (x_{1} + \dots + x_{n}) = \bar{x},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

średnia arytmetyczna danych.

Aby odpowiedzieć na pytanie, jeśli używa się średniej danych do oszacowania średniej populacji, to średnia ładowania początkowego (tak jest w przypadku ) również równa się , a zatem jest identyczna jak estymator średniej populacji . $\bar x$ $k=n$ $\bar x$

W przypadku statystyk, które nie są liniowymi funkcjami danych, ten sam wynik niekoniecznie się utrzymuje. Jednak błędem byłoby po prostu zastąpienie średniej wartości ładowania początkowego wartością statystyki w danych: nie tak działa ładowanie początkowe. Zamiast tego, porównując średnią ładowania początkowego ze statystyką danych , uzyskujemy informacje na temat błędu statystycznego statystyki. Można to wykorzystać do dostosowania oryginalnej statystyki w celu usunięcia błędu. W związku z tym oszacowanie skorygowane o błąd systematyczny staje się w ten sposób algebraiczną kombinacją oryginalnej statystyki i średniej początkowej. Aby uzyskać więcej informacji, wyszukaj „BCa” (bootstrap z korekcją błędów i przyspieszeniem) i „ABC”. Wikipedia zawiera pewne odniesienia.

— Whuber
źródło

Masz na myśli, że oczekiwanie na średnią bootstrap jest równe średniej danych, nie? Sposób ładowania nie jest determinowany przez (oryginalną) próbkę danych.

— capybaralet

@ user2429920 Średnia ładowania początkowego to statystyka określona przez próbkę. W tym sensie jest on identyczny ze średnią próbki. Oczekiwany jest w sensie rozkładu próbkowania. Podejrzewam, że używasz „oczekiwania” w innym znaczeniu w stosunku do procesu obliczania średniej ładowania poprzez powtarzanie podpróbkowania z zastępowaniem.

— whuber

Myślę, że ostatni akapit jest faktyczną odpowiedzią na to pytanie, ponieważ jest on ogólny i nie koncentruje się wyłącznie na średniej statystycznej. Miałem te same wątpliwości co OP i nie byłem świadomy istnienia BCa. Chociaż wykazanie w tej odpowiedzi niewiele mi pomogło (nie używam średniej jako mojej statystyki), ostatni akapit był bardzo jasny na temat sedna sprawy. Wierzę, że odpowiedź Xi'ana dotyczy również przypadku, w którym stosowana jest średnia statystyka, więc ten sam problem. Dziękuję Ci!

— Gabriel

@Gabriel dobre punkty. Sprawdziłem zapis: przed edycją pytanie to pierwotnie zadawało tylko średnią. Właśnie dlatego odpowiedzi wydają się tak skoncentrowane na tej statystyce.

— whuber

Ponieważ rozkład ładowania początkowego jest zdefiniowany jako średnia dystrybucja bootstrap to Gdy (jeśli musisz) zaimplementujesz wersję symulacyjną tego oczekiwania, tj. średnią losowych losowań, występuje zmienność Monte Carlo w to przybliżenie , ale jego średnia (obliczenie średniej empirycznej) i jego limit, gdy liczba symulacji ładowania początkowego rośnie do nieskończoności, są dokładnie .

{\hat{fa}}_{n} (x) = \frac{1}{n} \sum_{ja = 1}^{n} {ja}_{X_{ja} \leq x} X_{ja} \overset{iid}{\sim} fa (x),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

{mi}_{{\hat{fa}}_{n}} [X] = \frac{1}{n} \sum_{ja = 1}^{n} X_{ja} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

— Xi'an
źródło

+1 To jest odpowiedź, którą pierwotnie chciałem napisać, ale obawiałem się, że może być zbyt nieprzejrzysta dla niektórych czytelników. Niemniej jednak cieszę się, że jest tak elegancko zaprezentowany. Nie jestem jednak pewien, co masz na myśli w ostatnim zdaniu, gdy wydaje się, że odróżniasz „oczekiwanie” symulowanego przybliżenia od średniej od jego „granicy”: ponieważ oczekiwanie jest stałe (nie zmienia się w zależności od wielkości symulacji ), naprawdę nie ma żadnych ograniczeń.

— whuber

@whuber: Dziękuję za komentarz i przepraszam za napisanie mojej zwięzłej odpowiedzi dokładnie w tym samym czasie, co wasza! Twoje wyjaśnienia są z pewnością bardziej czytelne dla nowicjuszy w bootstrapie. Poprawiłem ostatnie zdanie, którego ograniczeniem jest prawo wielkich liczb.

— Xi'an

Twoje użycie „wrednego” w ostatnim zdaniu jest dość dwuznaczne! Zrozumiałem to na podstawie twojej wskazówki LLN. Dla każdej skończonej symulacji rozkładu ładowania początkowego każda próbka w symulacji wytwarza własną wartość średnią (istnieje jedno znaczenie „średnia”). Średnia wszystkich tych próbek w danej symulacji daje średnią symulacji (jest inne znaczenie). Średnia symulacji zbiega się ze stałą, gdy rozmiar symulacji rośnie, co jest średnią z początkowego poziomu (trzecie znaczenie), a to równa się średniej z próby (czwarte znaczenie). (A to szacuje średnią populacji - piąte znaczenie!)

— whuber