Założenia dotyczące szacunkowych wartości początkowych niepewności


62

Doceniam przydatność bootstrapu w uzyskiwaniu oszacowań niepewności, ale jedna rzecz, która zawsze mnie martwiła, to to, że rozkład odpowiadający tym oszacowaniom jest rozkładem zdefiniowanym przez próbkę. Ogólnie rzecz biorąc, wydaje się złym pomysłem, aby wierzyć, że nasze częstotliwości próbkowania wyglądają dokładnie jak rozkład leżący u podstaw, więc dlaczego rozsądne / akceptowalne jest uzyskiwanie oszacowań niepewności na podstawie rozkładu, w którym częstotliwości próbkowania określają rozkład leżący u podstaw?

Z drugiej strony może to nie być gorsze (być może lepsze) niż inne przyjęte przez nas założenia dystrybucyjne, ale nadal chciałbym lepiej zrozumieć uzasadnienie.


3
Istnieje kilka powiązanych pytań, które możesz chcieć przejrzeć. Niektóre są wymienione na marginesie bocznym tej strony. Oto jedna sprawa dotycząca tego, kiedy ładowanie się nie powiedzie i co to znaczy, że się nie powiedzie.
kardynał

Odpowiedzi:


55

Istnieje kilka sposobów na zastosowanie bootstrapu. Dwa najbardziej podstawowe podejścia to tzw. Bootstrap „nieparametryczny” i „parametryczny”. Drugi zakłada, że ​​używany model jest (zasadniczo) poprawny.

Skupmy się na pierwszym. Będziemy zakładać, że masz losowej próbie rozprowadzany zgodnie z funkcji rozkładu . (Zakładając, że inaczej wymaga zmodyfikowanych podejść.) Niech będzie empirycznym rozkładem skumulowanym funkcjonować. Wiele motywacji do bootstrap pochodzi z kilku faktów.X1,X2,,XnFF^n(x)=n1i=1n1(Xix)

Nierówności Dvoretzky – Kiefer – Wolfowitz

P(supxR|F^n(x)F(x)|>ε)2e2nε2.

To pokazuje, że empiryczna funkcja rozkładu zrównuje się równomiernie z prawdziwą funkcją rozkładu z wykładniczym prawdopodobieństwem. Rzeczywiście, ta nierówność w połączeniu z lematem Borela – Cantellego pokazuje natychmiast, że prawie na pewno.supxR|F^n(x)F(x)|0

Nie ma żadnych dodatkowych warunków na formularzu w celu zagwarantowania tej konwergencji.F

Heurystycznie zatem, jeśli interesuje nas jakaś funkcjonalna funkcji rozkładu, która jest gładka , oczekujemy, że będzie zbliżone do .T(F)T(F^n)T(F)

(Pointwise) BezstronnośćF^n(x)

Prostą liniowością oczekiwań i definicją , dla każdego ,F^n(x)xR

EFF^n(x)=F(x).

Załóżmy, że interesuje nas średnia . Wtedy bezstronność miary empirycznej rozciąga się na bezstronność liniowych funkcjonałów miary empirycznej. Tak więc μ=T(F)

EFT(F^n)=EFX¯n=μ=T(F).

Więc jest poprawne średnio, a ponieważ szybko zbliża się do , to (heurystycznie), szybko zbliża się do .T(F^n)Fn^FT(F^n)T(F)

Aby skonstruować przedział ufności ( czyli w gruncie rzeczy chodzi o bootstrap ), możemy użyć centralnego twierdzenia granicznego, spójności kwantyli empirycznych i metody delta jako narzędzi do przejścia od prostych funkcjonałów liniowych do bardziej skomplikowanych interesujących statystyk .

Dobre referencje są

  1. B. Efron, metody Bootstrap: kolejne spojrzenie na scyzoryk , Ann. Stat. , vol. 7, nr 1, 1–26.
  2. B. Efron i R. Tibshirani, An Introduction to Bootstrap , Chapman – Hall, 1994.
  3. GA Young i RL Smith, Essentials of Statistics Inference , Cambridge University Press, 2005, rozdział 11 .
  4. AW van der Vaart, Asymptotic Statistics , Cambridge University Press, 1998, rozdział 23 .
  5. P. Bickel i D. Freedman, Niektóre asymptotyczne teorie dotyczące bootstrapu . Ann. Stat. , vol. 9, nr 6 (1981) 1196–1217.

Bardzo fajnie, @cardinal (+1).

Jasne wyjaśnienie, podane odniesienia, doskonała odpowiedź.
vesszabo

12

Oto inne podejście do myślenia o tym:

Zacznij od teorii, w której znamy rozkład rzeczywisty, możemy odkryć właściwości przykładowej statystyki, symulując rozkład rzeczywisty. W ten sposób Gosset opracował rozkład t i test t, próbkując ze znanych normalnych i obliczając statystyki. Jest to właściwie forma parametrycznego bootstrapu. Zauważ, że symulujemy, aby odkryć zachowanie statystyk (czasami w stosunku do parametrów).

A co, jeśli nie znamy rozkładu populacji, mamy oszacowanie rozkładu w rozkładzie empirycznym i możemy z tego próbkować. Próbkując z rozkładu empirycznego (który jest znany) możemy zobaczyć związek między próbkami bootstrap a rozkładem empirycznym (populacja dla próbki bootstrap). Teraz wnioskujemy, że związek między próbkami ładowania początkowego a rozkładem empirycznym jest taki sam, jak w próbce do nieznanej populacji. Oczywiście, jak dobrze przekłada się ta zależność, będzie zależeć od tego, jak reprezentatywna jest próba populacji.

Pamiętaj, że nie używamy średnich próbek próby początkowej do oszacowania średniej populacji, używamy do tego średniej próbki (lub jakiejkolwiek statystyki, która jest przedmiotem zainteresowania). Ale używamy próbek bootstrap do oszacowania właściwości (rozprzestrzeniania się, stronniczości) procesu próbkowania. A używanie próbkowania ze znanej populacji (która, jak mamy nadzieję, jest reprezentatywna dla populacji, której dotyczy zainteresowanie), do poznania efektów próbkowania ma sens i jest znacznie mniej cykliczne.


8

Główną sztuczką (i żądłem) ładowania początkowego jest to, że jest to teoria asymptotyczna: jeśli masz nieskończoną próbkę na początek, rozkład empiryczny będzie tak bliski rzeczywistemu rozkładowi, że różnica jest znikoma.

Niestety, ładowanie początkowe jest często stosowane w małych próbkach. Powszechnie uważa się, że ładowanie początkowe sprawdziło się w niektórych bardzo niesymptotycznych sytuacjach, ale bądź ostrożny. Jeśli twój rozmiar próbki jest zbyt mały, faktycznie pracujesz warunkowo, aby twoja próbka była „dobrą reprezentacją” prawdziwego rozkładu, co bardzo łatwo prowadzi do rozumowania w kręgach :-)


tak myślałem, ale w tym rozumowaniu jest coś okrągłego. Nie jestem statystykiem, ale miałem wrażenie, że wnioskowanie statystyczne działa, gdy estymatory szybko się zbiegają, więc nawet jeśli twoja próbka nie jest zbieżna w rozkładzie, twoje wnioski są prawidłowe. W tym przypadku opieramy się na całym rozkładzie dystrybucji, który jest zbieżny z rzeczywistym rozkładem. Być może istnieją twierdzenia mówiące, że niektóre szacunki ładowania początkowego szybko się zbiegają, ale ogólnie widzę, że ładowanie początkowe jest stosowane bez odwoływania się do takich twierdzeń.
user4733

4
Pozorne okrągłe rozumowanie mówi, dlaczego nazywano go bootstrap. Wydawało się, że ludzie próbują się podnieść za własne pasy startowe. Później Efron pokazał, że to naprawdę zadziałało.
Greg Snow

Jeśli wielkość próbki jest naprawdę niewielka, potrzebujesz dużo zaufania, niezależnie od metod, jakie używasz ...
kjetil b halvorsen

5

Nie argumentowałbym z punktu widzenia „asymptotycznie, rozkład empiryczny będzie zbliżony do rozkładu rzeczywistego” (co oczywiście jest bardzo prawdziwe), ale z „perspektywy długoterminowej”. Innymi słowy, w każdym konkretnym przypadku rozkład empiryczny uzyskany przez ładowanie początkowe będzie wyłączony (czasami przesunięty zbyt daleko w ten sposób, czasami przesunięty zbyt daleko w ten sposób, czasami zbyt przekrzywiony w ten sposób, czasami zbyt przekrzywiony w ten sposób), ale średnio to będzie dobrym przybliżeniem do faktycznego rozkładu. Podobnie, twoje szacunki niepewności uzyskane z rozkładu bootstrap będą wyłączone w każdym konkretnym przypadku, ale znowu, średnio będą (w przybliżeniu) prawidłowe.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.