Czy istnieje wynik, który zapewnia, że bootstrap jest prawidłowy tylko wtedy, gdy statystyki są płynne?

W całym założeniu nasza statystyka jest funkcją niektórych danych która jest pobierana z funkcji dystrybucyjnej ; funkcja rozkładu empirycznego naszej próbki to . Więc to statystyka postrzegana jako zmienna losowa, a to wersja statystyki ładowania początkowego. Używamy jako odległości KS $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Istnieją wyniki „tylko i tylko wtedy” dotyczące ważności bootstrapu, jeśli statystyka jest prostą statystyką liniową. Na przykład Twierdzenie 1 z Mammen „Kiedy działa bootstrap?”

Jeśli dla dowolnej dowolnej funkcji wówczas bootstrap działa w tym sensie, że jeśli i tylko jeśli istnieje i taki, że Gdzie możemy zdefiniować jako funkcję naszej próbki, a $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{t}}_{n}), L (θ (F) - t_{n})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ $d_{\infty} [L (θ (F) - t_{n}), N (0, σ_{n}^{2})] \underset{p}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

Istnieją również bardziej ogólne wyniki, według których bootstrap działa dla statystyk ogólnych, na przykład Twierdzenie 1.6.3 z podpróbkowania autorstwa Politisa Romano i Wolfa:

Załóżmy, że jest pobierane z klasy wszystkich dystrybucji ze skończonym wsparciem. Załóżmy, że statystyka jest zmienna Frecheta w w odniesieniu do normy supremum, a pochodna spełnia . Wtedy jest asymptotycznie normalny, a bootstrap działa w sensie poprzedniego twierdzenia. $F$ $\theta(\cdot)$ $F$ $g_F$ $0 < \textrm{Var}_F[g_F(x)] < \infty$ $\theta(F)$

Chciałbym wersję drugiego twierdzenia „jeśli i tylko jeśli”. Będzie to wymagało pojęcia gładkości innej niż różnicowanie Frecheta, ponieważ Politis, Romano i Wolf (1999) pokazują, że mediana próbki nie jest różnicowalna Frecheta, ale bootstrap nadal działa. Jednak mediana próbki nadal jest płynną funkcją danych.

W Mammen jest kilka nieformalnych komentarzy, że płynność jest konieczna:

Zazwyczaj lokalna asymptotyczna liniowość wydaje się być konieczna dla spójności bootstrapu

Cytat ma na celu:

van Zwet, W (1989). Dyskusja wygłoszona na konferencji „Metody asymptotyczne w komputerowych procedurach intensywnych w statystyce” w Olberwolfach.

Ale nie mogę znaleźć śladu tej rozmowy poza garstką cytatów.

— orizon
źródło

Doskonały temat. Czy to prawda, że wszystkie cytowane wyniki są asymptotyczne w przypadku wielkości próby zmierzającej do nieskończoności?

— Michael M.

@Michael Dziękuję i tak, wszystko jest asymptotyczne jak

. Nawiasem mówiąc, ostatnio przeprowadzono prace nad wynikami dla próbek skończonych (np. Arxiv.org/pdf/1212.6906.pdf ), ale są one bardzo techniczne.

n \to \infty

$n \rightarrow \infty$

— orizon

Skomplikowany temat. Niektórzy twierdzą, że bootstrap ogólnie nie działa . van Zwer i in. mówi, że trzeba uważać na to, co jest ładowane . Myślę, że najpierw trzeba ustalić, co należy ładować, a czego nie, zanim dalsze testy będą uzasadnione.

— Carl

Teraz zaktualizowałem odpowiedź w odpowiedzi na komentarz Mammen, mam nadzieję, że wyjaśnię to jeszcze bardziej. A jeśli chcesz, możesz wyjaśnić nieco aplikację, która motywuje Cię do pytania o konieczność. Pomoże mi to poprawić odpowiedź.

— Henry.L,

$\blacksquare$

Potrzebujesz różniczkowości Hadamarda (lub kompaktowej różniczkowości w zależności od źródła odniesienia) jako wystarczającego warunku, aby bootstrap działał w takim przypadku, mediana i każdy kwantyl Hadamarda są zróżnicowalne. Różnorodność Frecheta jest zbyt silna w większości zastosowań.

Ponieważ zwykle wystarczy omówić polską przestrzeń, tam lokalnie liniowa funkcja powinna zastosować typowy argument zwięzłości, aby rozszerzyć wynik spójności na sytuację globalną. Zobacz także komentarz dotyczący linearyzacji poniżej.

$\rho$ $T_{n}$ $n$

$\blacksquare$

[Shao & Tu] s. 85–86 ilustrują sytuacje, w których może wystąpić niespójność estymatorów ładowania początkowego.

$F$ $H_{BOOT}$ $H_0$

$T_{n}$

(3) Zachowanie estymatora ładowania początkowego zależy czasem od metody zastosowanej do uzyskania danych ładowania początkowego.

$K$

$\blacksquare$

Jeśli chodzi o komentarz „Zazwyczaj lokalna asymptotyczna liniowość wydaje się być konieczna dla spójności bootstrapu” autorstwa Mammen, jak wspomniałeś. Komentarz z [Shao i Tu] s. 78 jest następujący, ponieważ skomentowali (globalną) linearyzację to tylko technika, która ułatwia potwierdzenie spójności i nie wskazuje na żadną konieczność:

$\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ $T_n^{*}$ $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ W ten sposób zredukowaliśmy problem do problemu obejmującego „próbkę średnią” , której estymator rozkładu ładowania początkowego może być spójny przy użyciu metod opisanych w sekcjach 3.1.2-3.1.4. $\bar{Z_n}$

Podali przykład 3.3 dotyczący uzyskania spójności ładowania początkowego dla ładowania początkowego typu MLE. Jednak jeśli globalna liniowość jest w ten sposób skuteczna, trudno sobie wyobrazić, jak można udowodnić spójność bez lokalnej liniowości. Myślę, że to właśnie chciał powiedzieć Mammen.

$\blacksquare$ (4) Dalsze komentarze

Poza dyskusją podaną przez [Shao i Tu] powyżej, myślę, że to, czego chcesz, to warunek charakteryzujący spójność estymatorów ładowania początkowego.

Niestety, nie znam jednej charakterystyki spójności estymatora ładowania początkowego dla bardzo ogólnej klasy dystrybucji w . $M(X)$ Nawet jeśli jest jedna czuję to wymaga nie tylko gładkość. Ale istnieje pewna charakterystyka dla pewnej klasy modeli statystycznych, takich jakklasaw [Gine i Zinn]; lub powszechnie wspierana klasa (bezpośrednio z powyższej dyskusji) zdefiniowana w polskiej przestrzeni. $T$ $CLT$

Ponadto odległość Kołmogorowa-Smirnowa, według mojego gustu, jest niewłaściwa, jeśli skupiamy się na klasycznych asymptotycznych (w przeciwieństwie do „jednolitych” asymptotycznych dla procesów empirycznych). Ponieważ odległość KS nie indukuje słabej topologii, która jest naturalną podstawą do badania zachowań asymptotycznych, słaba topologia przestrzeni jest indukowana przez ograniczoną odległość Lipschitza (OR Prohorov-Levy) przyjętą przez [Huber] i wielu innych autorów, gdy celem nie jest proces empiryczny. Czasami dyskusja na temat ograniczania zachowania procesu empirycznego obejmuje również odległość BL, jak [Gine i Zinn]. $M(X)$

Nienawidzę być cyniczny, ale wciąż uważam, że nie jest to jedyne pismo statystyczne, które „cytuje z pustki”. Mówiąc to, po prostu uważam, że cytat z wypowiedzi van Zweta jest bardzo nieodpowiedzialny, chociaż van Zwet jest wielkim uczonym.

$\blacksquare$ Odniesienie

[Wasserman] Wasserman, Larry. Wszystkie statystyki nieparametryczne, Springer, 2010.

[Shao i Tu] Shao, Jun i Dongsheng Tu. Scyzoryk i pasek startowy. Springer, 1995.

[Gine & Zinn] Giné, Evarist i Joel Zinn. „Bootstrapping ogólne miary empiryczne”. The Annals of Prawdopodobieństwo (1990): 851–869.

[Huber] Huber, Peter J. Robust statystyki. Wiley, 1985.

— Henry.L
źródło

Czy istnieje wynik, który zapewnia, że ​​bootstrap jest prawidłowy tylko wtedy, gdy statystyki są płynne?

Czy istnieje wynik, który zapewnia, że bootstrap jest prawidłowy tylko wtedy, gdy statystyki są płynne?