Symulowanie zbieżności prawdopodobieństwa do stałej

Wyniki asymptotyczne nie mogą być udowodnione za pomocą symulacji komputerowej, ponieważ są to stwierdzenia obejmujące pojęcie nieskończoności. Ale powinniśmy być w stanie uzyskać poczucie, że rzeczy rzeczywiście idą tak, jak mówi teoria.

Rozważ teoretyczny wynik

lim_{n \to \infty} P (| X_{n} | > ϵ) = 0, ϵ > 0

$\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0$

gdzie $X_n$ jest funkcją $n$ zmiennych losowych, powiedzmy identycznie i niezależnie rozmieszczonych. To mówi, że $X_n$ zbiega się w prawdopodobieństwie do zera. Wydaje mi się, że archetypowym przykładem jest przypadek, w którym $X_n$ jest średnią próbki minus wspólna oczekiwana wartość iidrv próbki,

X_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - E [Y_{1}]

$X_n = \frac 1n\sum_{i=1}^nY_i - E[Y_1]$

PYTANIE: Jak moglibyśmy przekonująco pokazać komuś, że powyższa relacja „materializuje się w prawdziwym świecie”, wykorzystując wyniki symulacji komputerowej z koniecznie skończonych próbek?

Pamiętaj, że konkretnie wybrałem konwergencję na stałą .

Podaję poniżej moje podejście jako odpowiedź i mam nadzieję na lepsze.

AKTUALIZACJA: Niepokoiło mnie coś z tyłu głowy - i dowiedziałem się, co. Odkopałem starsze pytanie, w którym w komentarzach do jednej z odpowiedzi toczyła się najciekawsza dyskusja . Tam @Cardinal podał przykład estymatora, że jest spójny, ale jego wariancja pozostaje niezerowa i skończona asymptotycznie. Tak więc trudniejszym wariantem mojego pytania jest: w jaki sposób wykazujemy poprzez symulację, że statystyka zbiega się w prawdopodobieństwie do stałej, kiedy ta statystyka zachowuje niezerową i skończoną wariancję asymptotycznie?

— Alecos Papadopoulos
źródło

@Glen_b Pochodzący od ciebie jest to odpowiednik odznaki. Dzięki.

— Alecos Papadopoulos

Zastanawiałem się nad tym od czasu do czasu i wszystko, co wymyśliłem, to ta „koncentracja wokół średniego” argumentu; Mam nadzieję, że niektórzy sprytni ludzie będą mieli czas na napisanie czegoś ciekawego! (+1 oczywiście!)

— ekvall

Myślę o jako funkcji dystrybucji (komplementarnej w konkretnym przypadku). Ponieważ chcę użyć symulacji komputerowej, aby wykazać, że rzeczy mają tendencję taką, jak mówi wynik teoretyczny, muszę zbudować funkcję rozkładu empirycznego, lub empiryczny względny rozkład częstotliwości, a następnie w jakiś sposób pokazują, że wraz ze wzrostem liczby wartości skoncentruj się „coraz bardziej” do zera. $P()$ $|X_n|$ $n$ $|X_n|$

Aby uzyskać empiryczną funkcję częstotliwości względnej, potrzebuję (znacznie) więcej niż jednej próbki o rosnącym rozmiarze, ponieważ wraz ze wzrostem wielkości próbki rozkładzmiany dla każdego innego . $|X_n|$ $n$

Muszę więc wygenerować z rozkładu , próbek „równolegle”, powiedzmy w tysiącach, każda o początkowej wielkości , powiedzmy w dziesiątkach tysięcy. Muszę wtedy obliczyć wartośćz każdej próbki (i dla tego samego ), tj. uzyskaj zestaw wartości . $Y_i$ $m$ $m$ $n$ $n$ $|X_n|$ $n$ $\{|x_{1n}|, |x_{2n}|,...,|x_{mn}|\}$

Wartości tych można użyć do skonstruowania empirycznego względnego rozkładu częstotliwości. Wierząc w wynik teoretyczny, spodziewam się, że „dużo” wartościbędzie „bardzo blisko” do zera, ale oczywiście nie wszystkie. $|X_n|$

Aby pokazać, że wartościrzeczywiście maszerują w kierunku zera w coraz większej liczbie, musiałbym powtórzyć ten proces, zwiększając wielkość próbki do powiedzenia , i pokazać, że teraz stężenie do zera „wzrosło”. Oczywiście, aby pokazać, że wzrosła, należy podać wartość empiryczną dla . $|X_n|$ $2n$ $\epsilon$

Czy to wystarczy? Czy moglibyśmy w jakiś sposób sformalizować ten „wzrost koncentracji”? Czy ta procedura, jeśli jest wykonywana w większej liczbie etapów „zwiększania wielkości próby”, a jeden z nich jest bliższy drugiemu, może dostarczyć nam pewnych szacunków dotyczących faktycznego tempa konwergencji , tj. Czegoś w rodzaju „empirycznej masy prawdopodobieństwa, która porusza się poniżej progu na każdy krok "powiedzmy, tysiąc? $n$

Lub sprawdź wartość progu, dla którego, powiedzmy, % prawdopodobieństwa leży poniżej, i zobacz, jak ta wartość zmniejsza się w wartości? $90$ $\epsilon$

PRZYKŁAD

Rozważmy jako i tak $Y_i$ $U(0,1)$

| X_{n} | = | \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - \frac{1}{2} |

$|X_n| = \left|\frac 1n\sum_{i=1}^nY_i - \frac 12\right|$

Najpierw generujemy próbek o wielkości każda. Empiryczny względny rozkład częstotliwościwygląda jak $m=1,000$ $n=10,000$ $|X_{10,000}|$ wprowadź opis zdjęcia tutaj

i zauważamy, że % wartościsą mniejsze niż . $90.10$ $|X_{10,000}|$ $0.0046155$

Następnie zwiększam wielkość próbki do . Teraz empiryczny względny rozkład częstotliwościwygląda i zauważamy, że % wartościsą poniżej . Alternatywnie, teraz % wartości spada poniżej . $n=20,000$ $|X_{20,000}|$ wprowadź opis zdjęcia tutaj $91.80$ $|X_{20,000}|$ $0.0037101$ $98.00$ $0.0045217$

Czy byłbyś przekonany taką demonstracją?

— Alecos Papadopoulos
źródło

Nie, żadna taka demonstracja nie przekonałaby mnie, gdyby to wszystko, co zostało zaoferowane. Nie jest w stanie odróżnić zadeklarowanego wyniku od wyniku, w którym występuje bardzo mała ilość zanieczyszczenia z niezerowego rozkładu. Każdej symulacji komputerowej, aby być naprawdę przekonującym, musi towarzyszyć rozumowanie wykluczające takie zjawiska. (Niedawno przeprowadziłem serię symulacji, które objęły próbkę wielkości - to nie jest literówka - ale wyniki nadal mnie nie przekonały, chociaż były bardzo sugestywne!)

10^{1000}

$10^{1000}$

— whuber

@whuber To, co piszesz, brzmi bardzo interesująco. Czy te symulacje, o których wspomniałeś, opierały się na niektórych początkowych rzeczywistych danych, z których dystrybucji oszacowano, a następnie wygenerowano dodatkowe sztuczne dane? Czy to było sztuczne od samego początku? Jeśli poufność nie jest problemem, a czas na to pozwala, osobiście bardzo chciałbym zobaczyć twoją odpowiedź, która dałaby wgląd w to, jak ewoluowały te symulacje i dlaczego pozostały wątpliwości.

— Alecos Papadopoulos

To były sztuczne dane. Przeprowadziłem te symulacje, aby wesprzeć komentarz na stronie stats.stackexchange.com/questions/104875/… . Natychmiast zobaczysz, jak można przeprowadzić tak dużą symulację: aby wygenerować próbkę z rozkładu Bernoulliego , wystarczy narysować pojedynczą wartość z rozkładu Dwumianowego . Gdy jest wystarczająco duże, równie dobrze możesz wyciągnąć wartość z rozkładu Normal . Główną sztuczką jest robienie tego z cyfrową precyzją :-).

N

$N$

(1 / 2)

$(1/2)$

(N, 1 / 2)

$(N,1/2)$

N

$N$

(N / 2, \sqrt{N} / 2)

$(N/2, \sqrt{N}/2)$

1000

$1000$

— whuber

@Whuber Dzięki, popracuję nad tym. Nawiasem mówiąc, pytanie, które wspominasz, odpowiedź w nim i twoje komentarze, skłoniły mnie do głębszego zbadania zarówno asymptotycznego rozkładu wariancji próbki z próbek nienormalnych, jak i możliwości zastosowania twierdzenia Słuckiego w taki sposób użyte w odpowiedzi. Mam nadzieję, że w końcu będę mógł podzielić się wynikami.

— Alecos Papadopoulos