Jak dobrze ładowanie początkowe przybliża rozkład próbkowania estymatora?

Studiując ostatnio bootstrap, wpadłem na pytanie koncepcyjne, które wciąż mnie zastanawia:

Masz populację i chcesz poznać atrybut populacji, tj. , gdzie używam do reprezentowania populacji. Ta może być średnia populacja np. Zwykle nie można uzyskać wszystkich danych z populacji. Narysuj więc próbkę o rozmiarze z populacji. Załóżmy, że masz próbkę idącą dla uproszczenia. Następnie otrzymujesz swój estymator . Chcesz użyć do wyciągania wniosków na temat , więc chciałbyś poznać zmienność . $\theta=g(P)$ $P$ $\theta$ $X$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\theta$ $\hat{\theta}$

Po pierwsze, istnieje prawdziwa dystrybucja próbkowania . Koncepcyjnie można pobrać wiele próbek (każda z nich ma rozmiar ) z populacji. Za każdym razem będziesz rozumieć ponieważ za każdym razem będziesz mieć inną próbkę. W końcu będziesz w stanie odzyskać prawdziwą dystrybucję . Ok, to przynajmniej koncepcyjny punkt odniesienia dla oszacowania rozkładu . Pozwól mi to powtórzyć: ostatecznym celem jest użycie różnych metod do oszacowania lub przybliżenia prawdziwego rozkładu . $\hat{\theta}$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\hat{\theta}$ $\hat{\theta}$

Teraz pojawia się pytanie. Zwykle masz tylko jedną próbkę która zawiera punktów danych. Następnie próbujesz wiele razy z tej próbki i pojawi się dystrybucja bootstrap . Moje pytanie brzmi: jak blisko jest ta dystrybucja ładowania początkowego do prawdziwej dystrybucji próbkowania ? Czy istnieje sposób, aby to skwantyfikować? $X$ $N$ $\hat{\theta}$ $\hat{\theta}$

bootstrap simulation resampling

— KevinKim
źródło

To ściśle powiązane pytanie zawiera wiele dodatkowych informacji, do tego stopnia, że pytanie to może być duplikatem.

— Xi'an,

Po pierwsze, dziękuję wszystkim za szybką odpowiedź na moje pytania. Po raz pierwszy korzystam z tej strony. Nigdy nie spodziewałem się, że moje pytanie szczerze zwróci na siebie uwagę. Mam tutaj małe pytanie, co to jest „OP”? @ Silverfish

— KevinKim

@Chen Jin: „OP” = oryginalny plakat (tj. Ty!). Przepraszamy za użycie skrótu, który akceptuję, może być mylący.

— Silverfish,

Mam edytowany tytuł, tak aby w większym stopniu pasuje do oświadczenia, że „moje pytanie brzmi: jak blisko jest to do prawdziwego podziału

? Czy jest jakiś sposób, żeby to obliczyć?” Możesz przywrócić go, jeśli uważasz, że moja edycja nie odzwierciedla Twojego zamiaru.

\hat{θ}

$\hat\theta$

— Silverfish,

@Silverfish Dziękuję bardzo. Kiedy zaczynam ten plakat, nie jestem do końca pewny co do mojego pytania. Ten nowy tytuł jest dobry.

— KevinKim

Odpowiedzi:

W teorii informacji typowym sposobem kwantyfikacji tego, jak „zamknąć” jeden rozkład względem drugiego, jest użycie rozbieżności KL

Spróbujmy to zilustrować za pomocą mocno wypaczonego zestawu danych z długim ogonem - opóźnień przylotów samolotów na lotnisko w Houston (z pakietu lotów ). Niech być średni Estymator. Po pierwsze, możemy znaleźć rozkład pobierania próbek z , a następnie rozkład bootstrap z $\hat \theta$ $\hat \theta$ $\hat \theta$

Oto zestaw danych:

wprowadź opis zdjęcia tutaj

Prawdziwa średnia to 7,09 min.

Po pierwsze, mamy pewną liczbę próbek, aby uzyskać rozkład próbkowania , wtedy bierzemy jedną próbkę i podejmuje wiele prób bootstrap od niego. $\hat \theta$

Na przykład przyjrzyjmy się dwóm rozkładom o wielkości próby 100 i 5000 powtórzeń. Widzimy wizualnie, że te rozkłady są dość osobne, a rozbieżność KL wynosi 0,48.

wprowadź opis zdjęcia tutaj

Ale gdy zwiększymy wielkość próbki do 1000, zaczynają się one zbieżne (rozbieżność KL wynosi 0,11)

wprowadź opis zdjęcia tutaj

A gdy wielkość próby wynosi 5000, są one bardzo bliskie (rozbieżność KL wynosi 0,01)

wprowadź opis zdjęcia tutaj

To, oczywiście, zależy od bootstrap próbkę można dostać, ale wierzę, że można zobaczyć, że rozbieżność KL idzie w dół jak zwiększyć wielkość próbki, a zatem bootstrap dystrybucja metod próbkowania dystrybucji w zakresie KL rozbieżności. Dla pewności możesz spróbować wykonać kilka bootstrapów i wziąć średnią dywergencję KL. $\hat \theta$ $\hat \theta$

Oto kod R tego eksperymentu: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

— Aleksiej Grigoriew
źródło

+1, co pokazuje również, że dla dowolnej wielkości próbki (np. 100) odchylenie początkowe może być duże i nieuniknione.

— ameba mówi Przywróć Monikę

Ten jest niesamowity! Tak aby pozwolić dystrybucję

z bootstrap być zbliżony do rzeczywistego rozkładu

, musimy duża wielkość próby

prawo? Dla każdej ustalonej wielkości próbki rozkład generowany z paska startowego może bardzo różnić się od rozkładu PRAWDA, jak wspomniano w @amoeba.

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat{\theta}$

N

$N$

— KevinKim

Moje następne pytanie brzmi: jeśli naprawiłem

wystarczająco duży, to zrobiłem 2 bootstrapy, jeden po prostu próbowałem

razy, a drugi próbowałem

. Jaka jest różnica między dystrybucją

wychodzi z tych 2 siłach? To pytanie zmierza zasadniczo do ustalenia, kiedy naprawimy

, jaka jest rola odgrywana przez

w tworzeniu dystrybucji

. @Grigorev

N

$N$

B = 10

$B=10$

B = 10000

$B=10000$

\hat{θ}

$\hat{\theta}$

N

$N$

B

$B$

\hat{θ}

$\hat{\theta}$

— KevinKim

@Chen, ale dystrybucja od

jest coś, co można uzyskać, wykonując resamples, prawda? Różnica między

polega na tym, że w jednym przypadku otrzymujesz

liczb, aby zbudować rozkład (niewiele informacji

niezbyt wiarygodne oszacowanie jego odchylenia standardowego), aw innym przypadku otrzymujesz

liczb (znacznie więcej niezawodny).

\hat{θ}

$\hat \theta$

B = 10

$B=10$

B = 10000

$B=10000$

10

$10$

\Rightarrow

$\Rightarrow$

10000

$10000$

— ameba mówi Przywróć Monikę

@Chen, myślę, że jesteś trochę zdezorientowany lub nie masz jasności co do tego, jaki powinien być

w twoim komentarzu. Jeśli ponownie spróbujesz

razy, otrzymasz zestaw

liczb. Jak to jest dystrybucja? To jest zestaw liczb! Liczby te pochodzą z tego, co nazywa się

dystrybucji. Im więcej numerów masz, tym lepiej można oszacować

F_{5}

$F_5$

5

$5$

5

$5$

F_{B}

$F_B$

F_{B}

$F_B$

— ameba mówi Przywróć Monikę

Bootstrap oparty jest na zbieżność empirycznym CDF prawdziwego to znaczy jest zbieżna(jak dąży do nieskończoności),do dla każdego . Stąd zbieżności rozkładu ładowanie początkowe jest napędzany za pomocą tej zbieżności, który występuje w ilości

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x)

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$ $n$

F (x)

$F(x)$

x

$x$

\hat{θ} (X_{1}, \dots, X_{n}) = g ({\hat{F}}_{n})

$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$

dlakażdego

, ponieważ

\sqrt{n}

$\sqrt{n}$

x

$x$

, mimo tej szybkości i ograniczenie dystrybucji nie automatycznie przekazać

. W praktyce, w celu oceny zmienności przybliżeniu, można wytwarzać oceny startowej rozkładu

\sqrt{n} {{\hat{F}}_{n} (x) - F (x)} \overset{dist}{⟶} N (0, F (x) [1 - F (x)])

$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

przez podwójne ładowanie, tj. przez oceny ładowania początkowego.

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

Jako aktualizacji tutaj stanowi ilustrację używać w klasie: wprowadź opis zdjęcia tutaj gdzie lewa porównuje rzeczywistą cdf z empiryczną CDF o obserwacje i wykresy prawa oś repliki LHS, do 250 różnych próbek, w celu do pomiaru zmienności aproksymacji cdf. W tym przykładzie znam prawdę i dlatego mogę symulować z prawdy, aby ocenić zmienność. W realistycznej sytuacji, nie wiem, , a więc muszę zacząć od zamiast produkować podobny wykres. $F$ $\hat{F}_n$ $n=100$ $250$ $F$ $\hat{F}_n$

Dalsza aktualizacja: Oto jak wygląda obraz z rurki, zaczynając od empirycznego cdf: enter image description here

— Xi'an
źródło

Sedno tej odpowiedzi polega na tym, że bootstrap działa, ponieważ jest przybliżeniem dużej próbki . Nie sądzę, aby ten punkt został wystarczająco podkreślony

— Shadowtalker

Mam na myśli „ogólnie dość często podkreślane”

— Shadowtalker 13.01.15

\hat{F}

$\hat{F}$

n = 100

$n=100$

F

$F$

n

$n$

F

$F$

@ Xi'an Very nice! byłoby jeszcze ładniej, gdyby 2. i 3. postać można było połączyć razem w jedną postać

— KevinKim