Wariancja funkcji jednej zmiennej losowej

Powiedzmy, że mamy losową zmienną $X$ o znanej wariancji i średniej. Pytanie brzmi: jaka jest wariancja $f(X)$ dla danej funkcji f. Jedyną ogólną metodą, o której wiem, jest metoda delta, ale daje ona jedynie przybliżenie. Teraz interesuje mnie $f(x)=\sqrt{x}$ , ale byłoby miło poznać kilka ogólnych metod.

Edytuj 29.12.2010
Przeprowadziłem kilka obliczeń przy użyciu serii Taylora, ale nie jestem pewien, czy są one poprawne, więc byłbym szczęśliwy, gdyby ktoś mógł je potwierdzić .

$E[f(X)]$
$E[f(X)] \approx E[f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2]=f(\mu)+\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Teraz możemy w przybliżeniu $D^2 [f(X)]$
$E[(f(X)-E[f(X)])^2] \approx E[(f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2 -E[f(X)])^2]$

Korzystając z aproksymacji wiemy, że $E[f(X)]$ $f(\mu)-Ef(x) \approx -\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Za pomocą tego otrzymujemy:
$D^2[f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2\cdot Var[X]^2-\frac{1}{2}\cdot f''(\mu)^2\cdot Var[X]^2 + f'(\mu)^2\cdot Var[X]+\frac{1}{4}f''(\mu)^2\cdot E[(X-\mu)^4] +\frac{1}{2}f'(\mu)f''(\mu)E[(X-\mu)^3]$
$D^2 [f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2 \cdot [D^4 X-(D^2 X)^2]+f'(\mu)\cdot D^2 X +\frac{1}{2}f'(\mu)f''(\mu)D^3 X$

variance random-variable delta-method

— Tomek Tarczyński
źródło

Metoda delta jest stosowana do rozkładów asymptotycznych. Nie możesz użyć, jeśli masz tylko jedną zmienną losową.

— mpiktas

@mpiktas: Właściwie nie wiem dużo o metodzie Delta, właśnie przeczytałem coś na wikipedii. Cytat z wiki: „Metoda delta wykorzystuje rozszerzenia Taylora drugiego rzędu do przybliżenia wariancji funkcji jednej lub więcej zmiennych losowych”.

— Tomek Tarczyński

wygląda na to, że wikipedia ma dokładnie to, czego chcesz: en.wikipedia.org/wiki/… . Ponownie zredaguję swoją odpowiedź, wygląda na to, że nie doceniłem rozszerzenia Taylora.

— mpiktas

Tomku, jeśli nie zgadzasz się z wprowadzonymi zmianami (nie przeze mnie), zawsze możesz je zmienić ponownie, wycofać lub po prostu wskazać różnice i poprosić o wyjaśnienia.

— Glen_b

@Glen_b: Zgadzam się z nimi E (X-mu) = 0 nie oznacza, że E [(X-mu) ^ 3] = 0.

— Tomek Tarczyński

Odpowiedzi:

Aktualizacja

Nie doceniłem rozszerzeń Taylora. Oni faktycznie działają. Zakładałem, że całka pozostałego terminu może być nieograniczona, ale przy odrobinie pracy można wykazać, że tak nie jest.

Rozszerzenie Taylora działa dla funkcji w ograniczonym zamkniętym przedziale. Dla zmiennych losowych o skończonej wariancji daje nierówność Czebyszewa

P (| X - E X | > c) \leq \frac{V a r (X)}{c}

$P(|X-EX|>c)\le \frac{Var(X)}{c}$

Tak więc dla każdego możemy znaleźć wystarczająco duże , aby $\varepsilon>0$ $c$

P (X \in [E X - c, E X + c]) = P (| X - E X | \leq c) < 1 - ε

$P(X\in [EX-c,EX+c])=P(|X-EX|\le c)<1-\varepsilon$

Najpierw oszacujmy . Mamy gdzie jest funkcją rozkładu dla $Ef(X)$

\begin{aligned} E f (X) = \int_{| x - E X | \leq c} f (x) d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)=\int_{|x-EX|\le c}f(x)dF(x)+\int_{|x-EX|>c}f(x)dF(x) \end{align}$

F (x)

$F(x)$

X

$X$

Ponieważ domeną pierwszej całki jest przedział który jest ograniczonym przedziałem zamkniętym, możemy zastosować rozszerzenie Taylora: $[EX-c,EX+c]$ gdzie, a równość obowiązuje dla wszystkich

\begin{aligned} f (x) = f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + \frac{f^{‴} (α)}{3} (x - E X)^{3} \end{aligned}

$\begin{align} f(x)=f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+\frac{f'''(\alpha)}{3}(x-EX)^3 \end{align}$

α \in [E X - c, E X + c]

$\alpha\in [EX-c,EX+c]$

x \in [E X - c, E X + c]

$x\in[EX-c,EX+c]$ . W rozszerzeniu Taylora wziąłem tylko 4 terminy, ale ogólnie możemy wziąć tyle, ile chcemy, pod warunkiem, że funkcja

jest wystarczająco płynna.

f

$f$

Zastępując tę formułę poprzednią otrzymujemy

Teraz możemy zwiększyć domenę integracji, aby uzyskać następującą formułę

\begin{aligned} E f (X) & = \int_{| x - E X | \leq c} f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} d F (x) \\ + \int_{| x - E X | \leq c} \frac{f^{‴} (α)}{3} (x - E X)^{3} d F (x) + \int_{| x - E X | > c} f (x) d F (x) \end{aligned}

$\begin{align} Ef(X)&=\int_{|x-EX|\le c}f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2dF(x)\\\\ &+\int_{|x-EX|\le c}\frac{f'''(\alpha)}{3}(x-EX)^3dF(x) +\int_{|x-EX|>c}f(x)dF(x) \end{align}$

\begin{aligned} E f (X) & = f (E X) + \frac{f^{″} (E X)}{2} E (X - E X)^{2} + R_{3} \end{aligned}

$\begin{align} Ef(X)&=f(EX)+\frac{f''(EX)}{2}E(X-EX)^2+R_3\\\\ \end{align}$ gdzie

\begin{aligned} R_{3} & = \frac{f^{‴} (α)}{3} E (X - E X)^{3} + \\ + \int_{| x - E X | > c} (f (E X) + f^{'} (E X) (x - E X) + \frac{f^{″} (E X)}{2} (x - E X)^{2} + f (X)) d F (x) \end{aligned}

$\begin{align} R_3&=\frac{f'''(\alpha)}{3}E(X-EX)^3+\\\\ &+\int_{|x-EX|>c}\left(f(EX)+f'(EX)(x-EX)+\frac{f''(EX)}{2}(x-EX)^2+f(X)\right)dF(x) \end{align}$

P (| X - E X | > c)

$P(|X-EX|>c)$

E (X - E X)^{3}

$E(X-EX)^3$

f

$f$

E (X - E X)^{3} = 0

$E(X-EX)^3=0$

$f(x)$ $Ef(x)$

$E(f(x)-Ef(x))^2=(f'(EX))^2Var(X)+T_3$

$T_3$ $E(X-EX)^k$ $k=4,5,6$

$f^2(x)$

\begin{aligned} f^{2} (x) & = f^{2} (E X) + 2 f (E X) f^{'} (E X) (x - E X) \\ + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] (X - E X)^{2} + \frac{(f^{2} (β))^{‴}}{3} (X - E X)^{3} \end{aligned}

$\begin{align} f^2(x)&=f^2(EX)+2f(EX)f'(EX)(x-EX)\\\\ &+[(f'(EX))^2+f(EX)f''(EX)](X-EX)^2+\frac{(f^2(\beta))'''}{3}(X-EX)^3 \end{align}$

\begin{aligned} E f^{2} (x) = f^{2} (E X) + [(f^{'} (E X))^{2} + f (E X) f^{″} (E X)] V a r (X) + {\tilde{R}}_{3} \end{aligned}

$\begin{align*} Ef^2(x)=f^2(EX)+[(f'(EX))^2+f(EX)f''(EX)]Var(X)+\tilde{R}_3 \end{align*}$

{\tilde{R}}_{3}

$\tilde{R}_3$

R_{3}

$R_3$

\begin{aligned} V a r (f (X)) = [f^{'} (E X)]^{2} V a r (X) - \frac{[f^{″} (E X)]^{2}}{4} V a r^{2} (X) + {\tilde{T}}_{3} \end{aligned}

$\begin{align} Var(f(X))=[f'(EX)]^2Var(X)-\frac{[f''(EX)]^2}{4}Var^2(X)+\tilde{T}_3 \end{align}$

{\tilde{T}}_{3}

$\tilde{T}_3$

— mpiktas
źródło

Nie muszę znać dokładnej wartości wariancji, przybliżenie powinno dla mnie działać.

— Tomek Tarczyński

Rzeczywiście, przybliżona formuła dla

E [f (X)]

$\mathbb{E}[f(X)]$ w PO jest często stosowany w analizie ryzyka w ekonomii, finansach i ubezpieczeniach.

— Raskolnikov

@Raskolnikov, tak, ale jest to sprzeczne z moją, jak się zdaje, złą znajomością ekspansji Taylora. Oczywiście należy wziąć pod uwagę pozostałą część terminu. Jeśli zmienna losowa jest ograniczona, nie ma problemu, ponieważ wielomiany aproksymują funkcje ciągłe w ograniczonym przedziale równomiernie. Ale mamy do czynienia z nieograniczonymi losowymi zmiennymi. Oczywiście dla losowej normalnej możemy powiedzieć, że jest skutecznie ograniczona, ale nadal w ogólnym przypadku mogą pojawić się jakieś nieprzyjemne niespodzianki, lub nie. Naprawię swoją odpowiedź, kiedy będę miał jasną odpowiedź.

— mpiktas

@Tomek Tarczyński, trzecia pochodna

\sqrt{x}

$\sqrt{x}$ dla dużych dość szybko spada do zera

x

$x$ , ale jest nieograniczona w pobliżu zera. Jeśli więc wybierzesz rozkład równomierny ze wsparciem bliskim zera, pozostały okres może stać się duży.

— mpiktas,

Pamiętaj, że w twoim linku równość jest przybliżona. W tej odpowiedzi wszystkie równania są dokładne. Ponadto w odniesieniu do wariancji należy zauważyć, że pierwszą pochodną szacuje się na poziomie

E X

$EX$ , nie

x

$x$ . Nigdy też nie powiedziałem, że to nie zadziała

\sqrt{x}

$\sqrt{x}$ , tylko to dla

\sqrt{x}

$\sqrt{x}$ przybliżona formuła może mieć ogromny błąd, jeśli

X

$X$ domena jest bliska zeru.

— mpiktas

Znajomość pierwszych dwóch momentów X (średnia i wariancja) nie wystarczy, jeśli funkcja f (x) jest dowolna (nieliniowa). Nie tylko do obliczania wariancji transformowanej zmiennej Y, ale także dla jej średniej. Aby to zobaczyć - i być może zaatakować twój problem - możesz założyć, że twoja funkcja transformacji ma rozszerzenie Taylora wokół średniej X i działa od tego momentu.

— leonbloy
źródło