Wariancja ograniczonej zmiennej losowej

22

Załóżmy, że zmienna losowa ma dolną i górną granicę [0,1]. Jak obliczyć wariancję takiej zmiennej?

variance standard-deviation measurement-error

— Piotr
źródło

8

Taki sam sposób, jak w przypadku zmiennej nieograniczonej - odpowiednie ustawienie limitów integracji lub sumowania.

— Scortchi - Przywróć Monikę

2

Jak powiedział @Scortchi. Ale jestem ciekawy, dlaczego myślałeś, że może być inaczej?

— Peter Flom - Przywróć Monikę

3

Jeśli nie wiesz nic o zmiennej (w takim przypadku górna granica wariancji może być obliczona na podstawie istnienia granic), dlaczego fakt, że jest ona ograniczona, miałby zostać uwzględniony w obliczeniach?

— Glen_b

6

Przydatny górną granicę odchylenia losowej zmiennej przybiera wartości w z prawdopodobieństwem jest i osiąga się przez dyskretną zmienną losową, która przybiera wartości i z równym prawdopodobieństwem . Inną kwestią, o której należy pamiętać, jest to, że istnieje wariancja, podczas gdy nieograniczona zmienna losowa może nie mieć wariancji (niektóre, takie jak zmienne losowe Cauchy'ego, nawet nie mają wartości średniej).

[a, b]

$[a,b]$

1

$1$

(b - a)^{2} / 4

$(b-a)^2/4$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

— Dilip Sarwate,

7

Nie jest dyskretną zmienną losową którego odchylenie równe dokładnie: zmienną losową, która przyjmuje wartości i z równym prawdopodobieństwem . Przynajmniej wiemy, że uniwersalna górna granica wariancji nie może być mniejsza niż .

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

a

$a$

b

$b$

\frac{1}{2}

$\frac{1}{2}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Dilip Sarwate

46

Możesz udowodnić nierówność Popoviciu w następujący sposób. Za pomocą notacji i . Zdefiniuj funkcję pomocą Obliczając pochodną i rozwiązując stwierdzamy, że osiąga minimum przy ( zauważ, że ). $m=\inf X$ $M=\sup X$ $g$

g (t) = E [{(X - t)}^{2}] .

$g(t)=\mathbb{E}\left[\left(X-t\right)^2\right] \, .$

g^{'}

$g'$

g^{'} (t) = - 2 E [X] + 2 t = 0,

$g'(t) = -2\mathbb{E}[X] +2t=0 \, ,$

g

$g$

t = E [X]

$t=\mathbb{E}[X]$

g^{″} > 0

$g''>0$

Teraz rozważ wartość funkcji w punkcie specjalnym . Musi być tak, że Ale Od i mamy co oznacza, że $g$ $t=\frac{M+m}{2}$

V a r [X] = g (E [X]) \leq g (\frac{M + m}{2}) .

$\mathbb{Var}[X]=g(\mathbb{E}[X])\leq g\left(\frac{M+m}{2}\right) \, .$

sol (\frac{M. + m}{2)}) = mi [{(X - \frac{M. + m}{2)})}^{2)}] = \frac{1}{4} mi [{((X - m) + (X - M.))}^{2)}] .

$g\left(\frac{M+m}{2}\right) = \mathbb{E}\left[\left(X - \frac{M+m}{2}\right)^2 \right] = \frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \, .$

X - m \geq 0

$X-m\geq 0$

X - M \leq 0

$X-M\leq 0$

{((X - m) + (X - M.))}^{2)} \leq {((X - m) - (X - M.))}^{2)} = {(M. - m)}^{2)},

$\left((X-m)+(X-M)\right)^2\leq\left((X-m)-(X-M)\right)^2=\left(M-m\right)^2 \, ,$

\frac{1}{4} mi [{((X - m) + (X - M.))}^{2)}] \leq \frac{1}{4} mi [{((X - m) - (X - M.))}^{2)}] = \frac{(M. - m)^{2)}}{4} .

$\frac{1}{4}\mathbb{E}\left[\left((X-m) + (X-M)\right)^2 \right] \leq \frac{1}{4}\mathbb{E}\left[\left((X-m) - (X-M)\right)^2 \right] = \frac{(M-m)^2}{4} \, .$

Dlatego udowodniliśmy nierówność Popoviciu

V. za r [X] \leq \frac{(M. - m)^{2)}}{4} .

$\mathbb{Var}[X]\leq \frac{(M-m)^2}{4} \, .$

— Zen
źródło

3

Ładne podejście: dobrze jest oglądać rygorystyczne pokazy tego rodzaju rzeczy.

— whuber

22

+1 fajnie! Nauczyłem się statystyki na długo przed pojawieniem się komputerów, a jednym z pomysłów, które zostały w nas wywiercone, było to, że które pozwoliło na obliczenie wariancji poprzez znalezienie sumy kwadratów odchyleń od dowolnego dogodnego punktu a następnie dostosowanie do odchylenia. Tutaj oczywiście ta tożsamość daje prosty dowód na to, że ma minimalną wartość przy bez konieczności pochodnych itp.

E [(X - t)^{2}] = E [((X - μ) - (t - μ))^{2}] = E [(X - μ)^{2}] + (t - μ)^{2}

$E[(X-t)^2] = E[((X-\mu)-(t-\mu))^2] = E[(X-\mu)^2]+(t-\mu)^2$

t

$t$

g (t)

$g(t)$

t = μ

$t=\mu$

— Dilip Sarwate

18

Niech będzie rozkładem na . Pokażemy, że jeśli wariancja jest maksymalna, wówczas może nie mieć żadnego wsparcia we wnętrzu, z czego wynika, że to Bernoulli, a reszta jest trywialna. $F$ $[0,1]$ $F$ $F$ $F$

W ramach notacji niech będzie tym nieprzetworzonym momentem (i, jak zwykle, piszemy i dla wariancji). $\mu_k = \int_0^1 x^k dF(x)$ $k$ $F$ $\mu = \mu_1$ $\sigma^2 = \mu_2 - \mu^2$

Wiemy, że nie ma pełnego wsparcia w jednym punkcie ( w tym przypadku wariancja jest minimalna ). Oznacza to między innymi, że leży dokładnie między a . Aby argumentować sprzecznością, załóżmy, że istnieje jakiś mierzalny podzbiór we wnętrzu dla którego . Bez utraty ogólności możemy założyć (zmieniając na jeśli to konieczne), że : innymi słowy, uzyskuje się przez odcięcie dowolnego część powyżej średniej i $F$ $\mu$ $0$ $1$ $I$ $(0,1)$ $F(I)\gt 0$ $X$ $1-X$ $F(J = I \cap (0, \mu]) \gt 0$ $J$ $I$ $J$ ma dodatnie prawdopodobieństwo.

Zmieńmy na , biorąc całe prawdopodobieństwo z i ustawiając je na . $F$ $F'$ $J$ $0$ W ten sposób zmienia się na $\mu_k$

μ_{k}^{'} = μ_{k} - \int_{J} x^{k} re fa (x) .

$\mu'_k = \mu_k - \int_J x^k dF(x).$

W ramach zapisu dla takich całek, skąd $[g(x)] = \int_J g(x) dF(x)$

μ_{2)}^{'} = μ_{2)} - [x^{2)}], μ^{'} = μ - [x] .

$\mu'_2 = \mu_2 - [x^2], \quad \mu' = \mu - [x].$

Obliczać

σ^{' 2)} = μ_{2)}^{'} - μ^{' 2)} = μ_{2)} - [x^{2)}] - (μ - [x])^{2)} = σ^{2)} + ((μ [x] - [x^{2)}]) + (μ [x] - [x]^{2)})) .

$\sigma'^2 = \mu'_2 - \mu'^2 = \mu_2 - [x^2] - (\mu - [x])^2 = \sigma^2 + \left((\mu[x] - [x^2]) + (\mu[x] - [x]^2)\right).$

Drugi składnik po prawej stronie , nie jest negatywny, ponieważ wszędzie . Pierwszy termin po prawej stronie można przepisać $(\mu[x] - [x]^2)$ $\mu \ge x$ $J$

μ [x] - [x^{2)}] = μ (1 - [1]) + ([μ] [x] - [x^{2)}]) .

$\mu[x] - [x^2] = \mu(1 - [1]) + ([\mu][x] - [x^2]).$

Pierwszy wyraz po prawej stronie jest ściśle dodatni, ponieważ (a) i (b) ponieważ zakładamy, że nie jest skoncentrowany w jednym punkcie. Drugi termin jest nieujemny, ponieważ można go przepisać jako a ten integrand jest nieujemny z założeń na i . Wynika z tego, że . $\mu \gt 0$ $[1] = F(J) \lt 1$ $F$ $[(\mu-x)(x)]$ $\mu \ge x$ $J$ $0 \le x \le 1$ $\sigma'^2 - \sigma^2 \gt 0$

Właśnie pokazaliśmy, że zgodnie z naszymi założeniami zmiana na ściśle zwiększa jego wariancję. Jedynym sposobem, w jaki to nie może się zdarzyć, jest wówczas, gdy całe prawdopodobieństwo jest skoncentrowane w punktach końcowych i , przy (powiedzmy) wartościach odpowiednio i . Jego wariancję można łatwo obliczyć jako równą która jest maksymalna, gdy i wynosi tam . $F$ $F'$ $F'$ $0$ $1$ $1-p$ $p$ $p(1-p)$ $p=1/2$ $1/4$

Teraz, gdy jest rozkładem na , recentrujemy i przeskalowujemy go do rozkładu na . Ponowne wyśrodkowanie nie zmienia wariancji, natomiast przeskalowanie dzieli ją przez . Zatem z maksymalną wariancją na odpowiada rozkładowi z maksymalną wariancją na : dlatego jest to rozkład Bernoulliego przeskalowany i przetłumaczony na mający wariancję 2/4 , QED . $F$ $[a,b]$ $[0,1]$ $(b-a)^2$ $F$ $[a,b]$ $[0,1]$ $(1/2)$ $[a,b]$ $(b-a)^2/4$

— Whuber
źródło

Ciekawe, kurwa. Nie znałem tego dowodu.

— Zen

6

@Zen To wcale nie jest tak eleganckie jak twoje. Zaoferowałem to, ponieważ przez lata myślałem w ten sposób w obliczu znacznie bardziej skomplikowanych nierówności dystrybucyjnych: pytam, w jaki sposób można zmienić prawdopodobieństwo, aby nierówności stały się bardziej ekstremalne. Jako intuicyjna heurystyka jest przydatna. Podejrzewam, że stosując podejścia takie jak przedstawione tutaj, podejrzewam ogólną teorię dowodzenia, że można wyprowadzić dużą klasę takich nierówności, z rodzajem hybrydowego smaku Rachunku Zmienności i technik mnożnikowych Lagrange'a (skończonych wymiarów).

— whuber

Idealne: twoja odpowiedź jest ważna, ponieważ opisuje bardziej ogólną technikę, której można użyć do obsługi wielu innych przypadków.

— Zen

@whuber powiedział - „Pytam, w jaki sposób można zmienić prawdopodobieństwo, aby nierówności stały się bardziej ekstremalne”. - wydaje się to naturalny sposób myślenia o takich problemach.

— Glen_b

Wydaje się, że jest kilka błędów w wyprowadzeniu. Powinno to byćPonadto nie jest równe ponieważ to nie to samo co

μ [x] - [x^{2}] = μ (1 - [1]) [x] + ([μ] [x] - [x^{2}]) .

$\mu[x] - [x^2] = \mu(1 - [1])[x] + ([\mu][x] - [x^2]).$

[(μ - x) (x)]

$[(\mu-x)(x)]$

[μ] [x] - [x^{2}]

$[\mu][x] - [x^2]$

[μ] [x]

$[\mu][x]$

μ [x]

$\mu[x]$

— Leo

13

Jeśli zmienna losowa jest ograniczona do i znamy średnią , wariancja jest ograniczona przez . $[a,b]$ $\mu=E[X]$ $(b-\mu)(\mu-a)$

Rozważmy najpierw przypadek . Zauważ, że dla wszystkich , , dlatego też . Korzystając z tego wyniku, $a=0, b=1$ $x\in [0,1]$ $x^2\leq x$ $E[X^2]\leq E[X]$

σ^{2} = E [X^{2}] - (E [X]^{2}) = E [X^{2}] - μ^{2} \leq μ - μ^{2} = μ (1 - μ) .

$\begin{equation} \sigma^2 = E[X^2] - (E[X]^2) = E[X^2] - \mu^2 \leq \mu - \mu^2 = \mu(1-\mu). \end{equation}$

Aby uogólnić na przedziały pomocą , rozważ ograniczone do . Zdefiniuj , który jest ograniczony w . Równolegle , a zatem gdzie nierówność jest oparta na pierwszym wyniku. Teraz, podstawiając , granica jest równa który jest pożądanym wynikiem. $[a,b]$ $b>a$ $Y$ $[a,b]$ $X=\frac{Y-a}{b-a}$ $[0,1]$ $Y = (b-a)X + a$

V a r [Y] = (b - a)^{2} V a r [X] \leq (b - a)^{2} μ_{X} (1 - μ_{X}) .

$\begin{equation} Var[Y] = (b-a)^2Var[X] \leq (b-a)^2\mu_X (1-\mu_X). \end{equation}$

μ_{X} = \frac{μ_{Y} - a}{b - a}

$\mu_X = \frac{\mu_Y - a}{b-a}$

(b - a)^{2} \frac{μ_{Y} - a}{b - a} (1 - \frac{μ_{Y} - a}{b - a}) = (b - a)^{2} \frac{μ_{Y} - a}{b - a} \frac{b - μ_{Y}}{b - a} = (μ_{Y} - a) (b - μ_{Y}),

$\begin{equation} (b-a)^2\, \frac{\mu_Y - a}{b-a}\,\left(1- \frac{\mu_Y - a}{b-a}\right) = (b-a)^2 \frac{\mu_Y -a}{b-a}\,\frac{b - \mu_Y}{b-a} = (\mu_Y - a)(b- \mu_Y), \end{equation}$

— Juho Kokkala
źródło

8

Na żądanie @ user603 ....

Przydatną górną granicą wariancji zmiennej losowej, która przyjmuje wartości w z prawdopodobieństwem jest . Dowód na specjalny przypadek (o co poprosił PO) można znaleźć tutaj na stronie matematycznej. Można go łatwo dostosować do bardziej ogólnego przypadku. Jak zauważono w moim komentarz powyżej, a także w odpowiedzi podane w niniejszym dokumencie, dyskretną zmienną losową, która przyjmuje wartości i z równym prawdopodobieństwem jest wariancja a zatem nie można znaleźć ściślejszej ogólnej granicy. $\sigma^2$ $[a,b]$ $1$ $\sigma^2 \leq \frac{(b−a)^2}{4}$ $a=0, b=1$ $a$ $b$ $\frac{1}{2}$ $\frac{(b−a)^2}{4}$

Inną kwestią, o której należy pamiętać, jest to, że zmienna losowa ograniczona ma wariancję skończoną, podczas gdy w przypadku nieograniczonej zmiennej losowej wariancja może nie być skończona, aw niektórych przypadkach nawet niemożliwa do zdefiniowania. Na przykład, średniej nie można zdefiniować dla zmiennych losowych Cauchy'ego , a więc nie można zdefiniować wariancji (jako oczekiwania kwadratowego odchylenia od średniej).

— Dilip Sarwate
źródło

jest to szczególny przypadek odpowiedzi @ Juho

— Aksakal

To był tylko komentarz, ale mógłbym również dodać, że ta odpowiedź nie odpowiada na zadane pytanie.

— Aksakal

@Aksakal So ??? Juho odpowiadał na nieco inne i znacznie niedawno zadane pytanie. To nowe pytanie zostało połączone z powyższym, na które odpowiedziałem dziesięć miesięcy temu.

— Dilip Sarwate

0

czy jesteś pewien, że ogólnie tak jest - zarówno w przypadku dystrybucji ciągłej, jak i dyskretnej? Czy możesz podać link do innych stron? Dla ogólnego rozróżnienia na banalne jest wykazanie, że Mogę sobie wyobrazić, że istnieją ostrzejsze nierówności ... Czy potrzebujesz współczynnika dla swojego wyniku? $[a,b]$

V. za r (X) = mi [(X - mi [X])^{2)}] \leq mi [(b - za)^{2)}] = (b - za)^{2)} .

$Var(X) = E[(X-E[X])^2] \le E[(b-a)^2] = (b-a)^2.$

1 / 4

$1/4$

Z drugiej strony można go znaleźć ze współczynnikiem pod nazwą Popoviciu's_inequality na wikipedii. $1/4$

Ten artykuł wygląda lepiej niż artykuł w Wikipedii ...

Dla jednolitego rozkładu utrzymuje, że

V. za r (X) = \frac{(b - za)^{2)}}{12} .

$Var(X) = \frac{(b-a)^2}{12}.$

— Ric
źródło

Ta strona podaje wynik wraz z początkiem dowodu, który trochę mnie angażuje, ponieważ wydaje się, że wymaga zrozumienia „Podstawowego twierdzenia programowania liniowego”. sci.tech-archive.net/Archive/sci.math/2008-06/msg01239.html

— Adam Russell

Dziękujemy za nadanie nazwy temu! „Nierówność Popoviciu” jest właśnie tym, czego potrzebowałem.

— Adam Russell

2

Ta odpowiedź zawiera kilka niepoprawnych sugestii: ma rzeczywiście rację. Odniesienie do nierówności Popoviciu będzie działało, ale ściśle mówiąc, odnosi się tylko do dystrybucji ze skończonym wsparciem (w szczególności, które nie obejmuje ciągłych dystrybucji). Argument ograniczający załatwi sprawę, ale tutaj potrzebne jest coś dodatkowego.

1 / 4

$1/4$

— whuber

2

Rozkład ciągły może zbliżyć się do dyskretnego (w kategoriach cdf) arbitralnie ściśle (np. Skonstruować ciągłą gęstość z danego dyskretnego poprzez umieszczenie małego jądra w kształcie Beta (4,4) wyśrodkowanego w każdym punkcie masy - odpowiedniego obszaru - i pozwól standardowemu odchyleniu każdego takiego jądra skurczyć się do zera, utrzymując stałą powierzchnię. Omawiane tutaj dyskretne granice będą również działać jako granice ciągłych rozkładów. Oczekuję, że myślisz o ciągłych unimodalnych rozkładach ... które rzeczywiście mają różne górne granice.

— Glen_b

2

Cóż ... moja odpowiedź była najmniej pomocna, ale zostawiłbym ją tutaj z powodu miłych komentarzy. Na zdrowie, R

— Ric