Test na skończoną wariancję?

Czy możliwe jest sprawdzenie skończoności (lub istnienia) wariancji zmiennej losowej na podstawie próbki? Jako zero, albo {wariancja istnieje i jest skończona}, albo {wariancja nie istnieje / jest nieskończona} byłoby dopuszczalne. Filozoficznie (i obliczeniowo) wydaje się to bardzo dziwne, ponieważ nie powinno być różnicy między populacją bez wariancji skończonej, a populacją o bardzo dużej wariancji (powiedzmy> ), więc nie mam nadziei, że problem ten można rozwiązać.$10^{400}$

Jedno podejście, które mi zasugerowano, polegało na zastosowaniu centralnego twierdzenia granicznego: zakładając, że próbki mają tę samą wartość, a populacja ma średnią skończoną, można w jakiś sposób sprawdzić, czy średnia próbki ma odpowiedni błąd standardowy wraz ze wzrostem wielkości próby. Nie jestem jednak pewien, czy ta metoda zadziała. (W szczególności nie widzę, jak zrobić z tego odpowiedni test.)

Nie, nie jest to możliwe, ponieważ skończona próbka wielkości nie może wiarygodnie rozróżnić, powiedzmy, normalną populację od normalnej populacji skażonej 1 / N ilością rozkładu Cauchy'ego, gdzie N >> n . (Oczywiście pierwsza z nich ma wariancję skończoną, a druga nieskończoną wariancję.) Zatem każdy w pełni nieparametryczny test będzie miał arbitralnie niską moc przeciwko takim alternatywom.$n$$1/N$$N$$n$

Nie możesz być pewien, nie znając dystrybucji. Ale są pewne rzeczy, które możesz zrobić, na przykład patrząc na to, co można nazwać „wariancją częściową”, tj. Jeśli masz próbkę o rozmiarze , rysujesz wariancję oszacowaną na podstawie pierwszych n wyrazów, przy czym n wynosi od 2 do N .$N$$n$$n$$N$

Przy skończonej wariancji populacyjnej masz nadzieję, że wariancja częściowa wkrótce ustabilizuje się blisko wariancji populacyjnej.

W przypadku nieskończonej wariancji populacji widać skok w częściowej wariancji, a następnie powolne spadki, aż do pojawienia się następnej bardzo dużej wartości w próbce.

To jest ilustracja losowych zmiennych Normalnych i Cauchy'ego (i skali logarytmicznej)

Może to nie pomóc, jeśli kształt twojego rozkładu jest taki, że potrzebna jest znacznie większa próbka niż masz do zidentyfikowania go z wystarczającą pewnością, tj. Gdy bardzo duże wartości są dość (ale nie niezwykle) rzadkie dla rozkładu o skończonej wariancji, lub są niezwykle rzadkie w przypadku dystrybucji z nieskończoną wariancją. Dla danego rozkładu będą wielkości próbek, które najprawdopodobniej nie ujawnią jego natury; i odwrotnie, dla danej wielkości próbki istnieją rozkłady, które raczej nie ukrywają swojej natury dla tej wielkości próbki.

Oto kolejna odpowiedź. Załóżmy, że możesz sparametryzować problem, coś takiego:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

$H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

$-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

$\approx 12.8842$$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

$H_{0}$$H_{1}$$\alpha$

Zastrzeżenia: jest to zabawkowy przykład. Nie mam żadnej rzeczywistej sytuacji, w której byłbym ciekawy, czy moje dane pochodzą z Cauchy, w przeciwieństwie do t Studenta z 3 df. I pierwotne pytanie nie mówiło nic o sparametryzowanych problemach, wydawało się, że szuka ono bardziej nieparametrycznego podejścia, które moim zdaniem dobrze zajęli inni. Ta odpowiedź jest przeznaczona dla przyszłych czytelników, którzy natrafią na tytuł pytania i szukają klasycznego, zakurzonego podręcznika.

$H_{1}:\nu \leq 1$

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Jedna hipoteza ma wariancję skończoną, jedna ma wariancję nieskończoną. Wystarczy obliczyć szanse:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

A teraz, biorąc ten stosunek, stwierdzamy, że ważne części stałych normalizujących anulują się i otrzymujemy:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Wszystkie całki są nadal prawidłowe w limicie, dzięki czemu możemy uzyskać:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

I otrzymujemy jako ostateczną formę analityczną dla szans na pracę numeryczną:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Można to zatem traktować jako swoisty test wariancji skończonej kontra nieskończonej. Możemy również wykonać rozkład T do tego szkieletu, aby uzyskać kolejny test (przetestować hipotezę, że stopnie swobody są większe niż 2).

Kontrprzykład nie dotyczy zadanego pytania. Chcesz przetestować wartość zerową hipotezę że próbka zmiennych losowych iid jest pobierana z rozkładu o wariancji skończonej na danym poziomie istotności . Polecam dobry tekst referencyjny, taki jak „Wnioskowanie statystyczne” Caselli, aby zrozumieć zastosowanie i granicę testowania hipotez. Jeśli chodzi o ht na wariancję skończoną, nie mam przydatnego odniesienia, ale poniższy artykuł dotyczy podobnej, ale silniejszej wersji problemu, tj. Czy ogony dystrybucji są zgodne z prawem mocy.

DYSTRYBUCJE PRAWODAWSTWA W DANYCH EMPIRYCZNYCH SIAM Review 51 (2009): 661--703.

Jednym z zaproponowanych mi podejść było zastosowanie centralnego twierdzenia granicznego.

To stare pytanie, ale chcę zaproponować sposób użycia CLT do testowania dużych ogonów.

$X = \{X_1,\ldots,X_n\}$$Y = \{Y_1,\ldots,Y_n\}$$X$

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

jest również zbliżony do funkcji rozkładu N (0,1).

Teraz wszystko, co musimy zrobić, to wykonać dużą liczbę bootstrapów i porównać empiryczną funkcję rozkładu obserwowanych Z z edf N (0,1). Naturalnym sposobem na dokonanie tego porównania jest test Kołmogorowa – Smirnowa .

Poniższe zdjęcia ilustrują główny pomysł. Na obu obrazach każda kolorowa linia jest skonstruowana na podstawie 1000 obserwacji z określonego rozkładu, a następnie 200 próbek z paska startowego o wielkości 500 dla przybliżenia Z ecdf. Czarna linia ciągła to N (0,1) cdf.