Jaki rozkład ma odwrotny normalny CDF zmiennej losowej beta?

Załóżmy, że definiujesz:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

gdzie jest odwrotnością CDF standardowego rozkładu normalnego .$\Phi^{-1}$

Moje pytanie brzmi: czy istnieje prosty rozkład, za którym podąża , czy może przybliżać ? $Y$$Y$Pytam, ponieważ mam silne podejrzenie oparte na wynikach symulacji (pokazanych poniżej), że zbiega się do rozkładu normalnego, gdy i są wysokie, ale nie wiem, dlaczego miałoby to być matematyczne. (Oczywiście, gdy , byłby jednolity, a byłby standardową normą, ale dlaczego miałoby to być prawdą dla wyższych wartości?).$Y$$\alpha$$\beta$$\alpha=1;\beta=1$$X$$Y$

Jeśli to zbiegnie się do normalnej, jakie byłyby parametry tej normalnej pod względem i ? (Spodziewam się, że średnia to \ Phi ^ {- 1} (\ frac {\ alpha} {\ alpha + \ beta}), ponieważ taka jest transformacja trybu, ale nie znam odchylenia standardowego).$\alpha$$\beta$$\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$

(Innymi słowy, może to być pytanie „czy $\Phi(\mbox{Norm}(\mu, \sigma))$ zbiega się w rozkładzie beta, dla pewnego kierunku $\mu$ i $\sigma$ ”? Nie jestem pewien, czy łatwiej odpowiedzieć).

Wyniki symulacji

Tutaj pokazuję, dlaczego podejrzewam, że wynik jest normalny (ponieważ nie mogę poprzeć go matematyką). Symulację można wykonać w R za pomocą i . Na przykład wybierając wysokie parametry i :α = 3000 β = $Y$qnormrnorm$\alpha=3000$$\beta=7000$

hist(qnorm(rbeta(5000, 3000, 7000)))

To nie wygląda normalnie, qqnorma testu Shapiro-Wilka (w których normalność jest hipoteza zerowa) sugerują, tak dobrze:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Aby zbadać normalność nieco głębiej, wykonuję 2000 symulacji, za każdym razem symulując 5000 wartości z , a następnie wykonuję test, aby porównać go z normalnym. (Wybrałem wartości 5K, ponieważ to maksimum może obsłużyć i maksymalizuje moc do wykrywania odchyleń od normy).$Y$shapiro.test

Gdyby rozkład był naprawdę normalny, spodziewalibyśmy się, że wartości p byłyby jednorodne (ponieważ prawda jest zerowa). Są rzeczywiście zbliżone do munduru, co sugeruje, że rozkład jest bardzo zbliżony do normalnego:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Niektóre eksperymenty pokazują, że im wyższe i , tym bliski jest rozkład normalny (np. Jest dość daleki od normalnego, ale spróbuj i wydaje się, że jest gdzieś pośrodku).$\alpha$$\beta$rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

Streszczenie

Odkryłeś na nowo część konstrukcji opisanej w Central Limit Theorem for Sample Medians , która ilustruje analizę mediany próbki. (Analiza oczywiście dotyczy, mutatis mutandis , każdego kwantyla, nie tylko mediany). Dlatego nie jest zaskoczeniem, że dla dużych parametrów Beta (odpowiadających dużym próbkom) rozkład normalny powstaje w wyniku transformacji opisanej w pytaniu. Interesujące jest to, jak bliski jest rozkład normalny nawet dla małych parametrów Beta. To zasługuje na wyjaśnienie.

Naszkicuję analizę poniżej. Aby utrzymać ten post na rozsądnej długości, wymaga wiele sugestywnych machań ręką: staram się tylko wskazać kluczowe pomysły. Pozwolę sobie zatem streścić tutaj wyniki:

1. Kiedy jest bliskie β , wszystko jest symetryczne. Powoduje to, że przekształcony rozkład już wygląda normalnie.$\alpha$$\beta$

2. Funkcje postaci wyglądają dość normalnie, nawet dla małych wartości α i β (pod warunkiem, że oba przekraczają 1, a ich stosunek nie jest zbyt duży blisko 0 lub 1 ).$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. Pozorna normalność rozkładu transformowanego wynika z faktu, że jego gęstość składa się z gęstości normalnej pomnożonej przez funkcję w (2).

4. Gdy i β wzrosną, odstępstwo od normalności można zmierzyć w pozostałych kategoriach w szeregu Taylora dla gęstości logarytmicznej. Pojęcie rzędu n maleje proporcjonalnie do ( n - 2 ) / 2 mocy α i β . To implikuje, że ostatecznie, dla wystarczająco dużych α i β , wszystkie warunki mocy n = 3 lub większe stały się stosunkowo małe, pozostawiając jedynie kwadrat: to właśnie gęstość logarytmiczna rozkładu normalnego.$\alpha$$\beta$$n$$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

Podsumowując, te zachowania ładnie wyjaśniają, dlaczego nawet dla małych i β nietradycyjne kwantyle z tej samej próbki Normalnej wyglądają w przybliżeniu Normalnie.$\alpha$$\beta$

---

Analiza

Ponieważ uogólnienie może być przydatne, niech będzie dowolną funkcją rozkładu, chociaż mamy na myśli F = Φ .$F$$F=\Phi$

Funkcja gęstości z beta ( α , β ) zmienna z definicji jest proporcjonalna do$g(y)$$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

Jeśli pozwolimy być całką prawdopodobieństwa przekształcenia x i zapisujemy f dla pochodnej F , to natychmiast, że x ma gęstość proporcjonalną do$y=F(x)$$x$$f$$F$$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

Ponieważ jest to monotoniczna transformacja silnie nieimodalnego rozkładu (Beta), chyba że jest dość dziwny, transformowany rozkład również będzie unimodalny. Aby zbadać, jak blisko może być Normalny, przyjrzyjmy się logarytmowi jego gęstości,$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

gdzie jest nieistotną stałą normalizacji.$C$

Rozwiń składowe w szeregu Taylora, aby uporządkować trzy wokół wartości x 0 (która będzie zbliżona do trybu). Na przykład możemy zapisać rozszerzenie dziennika F jako$\log G(x;\alpha,\beta)$$x_0$$\log F$

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

jakiegoś z | h | ≤ | x - x 0 | . Użyj podobnej notacji dla log ( 1 - F ) i log f . $h$$|h| \le |x-x_0|$$\log(1-F)$$\log f$

Warunki liniowe

W ten sposób staje się pojęcie liniowe w $(1)$

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

Gdy jest trybem G $x_0$ , to wyrażenie wynosi zero. Zauważ, że ponieważ współczynniki są ciągłymi funkcjami x 0 , ponieważ α i β są zmienne, tryb x 0 będzie się również zmieniał w sposób ciągły. Ponadto, gdy α i β są wystarczająco duże, człon c f 1 staje się stosunkowo nieistotny. Jeśli chcemy zbadać granicę jako α → ∞ i β → ∞, dla których α : β pozostaje w stałym stosunku γ$G(\,;\alpha,\beta)$$x_0$$\alpha$$\beta$$x_0$$\alpha$$\beta$$c^{f}_1$$\alpha\to\infty$$\beta\to\infty$ $\alpha:\beta$$\gamma$, możemy zatem raz na zawsze wybrać punkt bazowy dla którego$x_0$

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

Dobrym przykładem jest przypadek, w którym , gdzie α = β , a F jest symetryczny około 0 . W tym przypadku jest oczywiste, x 0 = C ( 0 ) = 1 / 2 .$\gamma=1$$\alpha=\beta$$F$$0$$x_0=F(0)=1/2$

Osiągnęliśmy metodę, w której (a) w limicie zanika termin pierwszego rzędu w serii Taylora i (b) w opisanym szczególnym przypadku, termin pierwszego rzędu jest zawsze równy zero.

Warunki kwadratowe

To jest suma

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

Porównując z normalnym rozkładzie, który kwadratowej jest , można oszacować, że - 1 / ( 2 g 2 ( α , β ) ) wynosi około wariancja G . Standaryzujmy G poprzez przeskalowanie x o pierwiastek kwadratowy. tak naprawdę nie potrzebujemy szczegółów; wystarczy zrozumieć, że to przeskalowanie pomnoży współczynnik ( $-(1/2)(x-x_0)^2/\sigma^2$$-1/(2g_2(\alpha,\beta))$$G$$G$$x$ we rozszerzeniu Taylora o ( - 1 / ( 2 g 2 ( α , β ) ) ) n / 2$(x-x_0)^n$$(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Termin pozostały

Oto punkt zwrotny: zgodnie z naszym zapisem termin porządkowy w rozwinięciu Taylora jest następujący:$n$

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

Po standaryzacji staje się

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Obu są afiniczne połączeniem alfa i beta . Podnosząc mianownik do potęgi n / 2 , zachowanie netto jest rzędu - ( n - 2 ) / 2 w każdym z α i β . Ponieważ parametry te rosną, każdy składnik w ekspansji Taylora po drugim spada asymptotycznie do zera. W szczególności pozostały termin trzeciego rzędu staje się arbitralnie mały.$g_i$$\alpha$$\beta$$n/2$$-(n-2)/2$$\alpha$$\beta$

Przypadek, gdy jest normalny$F$

Zniknięcie pozostałej części jest szczególnie szybkie, gdy jest standardową Normalną, ponieważ w tym przypadku f ( x ) jest czysto kwadratowe: nie przyczynia się do pozostałych reszt. W związku z tym odchylenie G od normalności zależy wyłącznie od odchylenia między F α - 1 ( 1 - F ) β - 1 a normalnością.$F$$f(x)$$G$$F^{\alpha-1}(1-F)^{\beta-1}$

This deviation is fairly small even for small $\alpha$ and $\beta$. To illustrate, consider the case $\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

Wartość zaczyna się od dla α = β = 1 , ponieważ wówczas rozkład jest oczywiście Normalny ( Φ - 1 zastosowany do rozkładu równomiernego, którym jest Beta ( 1 , 1 ) , daje standardowy rozkład Normalny). Chociaż szybko rośnie, osiąga wartość poniżej 0,008 - co praktycznie jest nie do odróżnienia od zera. Następnie rozpoczyna się asymptotyczny rozpad wzajemny, dzięki czemu rozkład jest coraz bliższy wartości normalnej, gdy α wzrasta powyżej 2 .$0$$\alpha=\beta=1$$\Phi^{-1}$$(1,1)$$0.008$$\alpha$$2$

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.