Prawdopodobieństwo warunkowe zmiennej ciągłej

Załóżmy, że zmienna losowa ma ciągły rozkład jednolity o parametrach 0 i 10 (tj. ) $U$ $U \sim \rm{U}(0,10)$

Teraz oznaczmy A zdarzenie, które = 5, a B zdarzenie, które jest równe albo albo 6. Według mojego zrozumienia, oba zdarzenia mają zerowe prawdopodobieństwo wystąpienia. $U$ $U$ $5$

Teraz, jeśli rozważymy obliczenie , nie możemy użyć prawa warunkowego , ponieważ jest równe zero. Jednak moja intuicja mówi mi, że . $P(A|B)$ $P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}}$ $P(B)$ $P(A|B) = 1/2$

conditional-probability continuous-data uniform

— Nowicjusz
źródło

Co twoja intuicja powie ci, jeśli miał niejednorodnej gęstości ?

U

$U$

0.02 u, u \in (0, 10)

$0.02u, u \in (0,10)$

— Dilip Sarwate

@DilipSarwate Moja intuicja powie mi, że odpowiedź jest liczbą nieco niższą niż 0,5

— Noob

Odpowiedzi:

„Pojęcie warunkowego prawdopodobieństwa w odniesieniu do pojedynczej hipotezy, której prawdopodobieństwo wynosi 0, jest niedopuszczalne”. A. Kołmogorow

Dla ciągłych zmiennych losowych, i powiedzmy, rozkłady warunkowe są zdefiniowane przez właściwość, że odzyskują pierwotną miarę prawdopodobieństwa, to znaczy dla wszystkich mierzalnych zbiorów , , $X$ $Y$ $A\in\mathcal{B}(\mathbf{X})$ $B\in\mathcal{B}(\mathbf{Y})$ Oznacza to, że gęstość warunkowa jest definiowana arbitralnie na zbiorach miary zero lub, innymi słowy, że gęstość warunkowa jest zdefiniowaneprawie wszędzie. Ponieważ zbiór ma miarę zerową w stosunku do miary Lebesgue'a, oznacza to, że można zdefiniować zarówno i w absolutnie dowolny sposób, a zatem prawdopodobieństwo

P (X \in A, Y \in B) = \int_{B} d P_{Y} (y) \int_{B} d P_{X | Y} (x | y)

$\mathbb{P}(X\in A,Y\in B)=\int_B \text{d}P_Y(y) \int_B \text{d}P_{X|Y}(x|y)$

p_{X | Y} (x | y)

$p_{X|Y}(x|y)$

{5, 6}

$\{5,6\}$

p (5)

$p(5)$

p (6)

$p(6)$

może przyjąć dowolną wartość.

P (U = 5 | U \in {5, 6})

$\mathbb{P}(U=5|U\in\{5,6\})$

Nie oznacza to, że nie można zdefiniować gęstości warunkowej za pomocą wzoru stosunku jak w przypadku normalnym dwuwymiarowym, ale po prostu, że gęstość jest zdefiniowana prawie wszędzie dla obu i .

f (y | x) = f (x, y) / f (x)

$f(y|x)=f(x,y)\big/f(x)$

x

$x$

y

$y$

„Szaleje wiele dość bezcelowych argumentów - między innymi kompetentnymi probabilistami - które z tych wyników są„ poprawne ”.” ET Jaynes

Fakt, że argument ograniczający (gdy idzie do zera) w powyższej odpowiedzi wydaje się dawać naturalną i intuicyjną odpowiedź, jest związany z paradoksem Borela . Wybór parametryzacji w limicie ma znaczenie, jak pokazano w poniższym przykładzie, którego używam w swoich klasach licencjackich. $\epsilon$

Weź dwuwymiarową normalną Jaka jest gęstość warunkowa biorąc pod uwagę, że ?

X, Y \overset{i.i.d.}{\sim} N (0, 1)

$X,Y\stackrel{\text{i.i.d.}}{\sim}\mathcal{N}(0,1)$ $X$ $X=Y$

Jeśli zaczniemy od gęstości połączenia , odpowiedź „intuicyjna” jest [proporcjonalna do] . Można to uzyskać, biorąc pod uwagę zmianę zmiennej gdzie ma gęstość $\varphi(x)\varphi(y)$ $\varphi(x)^2$

(x, t) = (x, y - x) \sim φ (x) φ (t + x)

$(x,t)=(x,y-x) \sim \varphi(x)\varphi(t+x)$

T = Y - X

$T=Y-X$

. Stąd

φ (t / \sqrt{2}) / \sqrt{2}

$\varphi(t/\sqrt{2})/\sqrt{2}$

f (x | t) = \frac{φ (x) φ (t + x)}{φ (t / \sqrt{2}) / \sqrt{2}}

$f(x|t)=\dfrac{\varphi(x)\varphi(t+x)}{\varphi(t/\sqrt{2})/\sqrt{2}}$

dane

f (x | t = 0) = \frac{φ (x) φ (x)}{φ (0 / \sqrt{2}) / \sqrt{2}} = φ (x)^{2} \sqrt{2}

$f(x|t=0)=\dfrac{\varphi(x)\varphi(x)}{\varphi(0/\sqrt{2})/\sqrt{2}}=\varphi(x)^2\sqrt{2}$ Jeśli jednak zamiast tego rozważymy zmianę zmiennej

gęstość krańcowa

jest gęstością Cauchy'ego

a gęstość warunkowa

(x, r) = (x, y / x) \sim φ (x) φ (r x) | x |

$(x,r)=(x,y/x) \sim \varphi(x)\varphi(rx)|x|$

R = Y / X

$R=Y/X$

ψ (r) = 1 / π {1 + r^{2}}

$\psi(r)=1/\pi\{1+r^2\}$

X

$X$

jest

Dlatego

R

$R$

f (x | r) = φ (x) φ (r x) | x | \times π {1 + r^{2}}

$f(x|r)=\varphi(x)\varphi(rx)|x| \times \pi \{1+r^2\}$

I tu leży „paradoks”: wydarzenia

są takie same jak

, ale prowadzą one do różnych gęstościach warunkowych na

f (x | r = 1) = π φ (x)^{2} | x | / 2 .

$f(x|r=1)= \pi\varphi(x)^2|x|/2\,.$

R = 1

$R=1$

T = 0

$T=0$

X = Y

$X=Y$

X

$X$

— Xi'an
źródło

To jest po prostu źle. Jeśli podejmiesz rygorystyczny kurs teorii prawdopodobieństwa, zobaczysz, że uzależnienie od zdarzeń o wartości zerowej jest możliwe i praktyczne. Rozważmy dwuwymiarową gaussowską. Wszyscy wiedzą, że możesz uzależnić pierwszą zmienną przyjmującą wartość zero, chociaż to zdarzenie ma zerowe prawdopodobieństwo. Zobacz wikipedia. en.wikipedia.org/wiki/…

— Yair Daon

Oto kontrowersyjna odpowiedź:

Xi'an ma rację, że nie można warunkować zdarzeń z zerowym prawdopodobieństwem. Jednak Yair ma również rację, że gdy zdecydujesz się na proces ograniczający , możesz ocenić prawdopodobieństwo. Problem polega na tym, że istnieje wiele procesów ograniczających, które osiągają pożądany stan.

$(1, 11)$ $p$ $1-p$

Zauważ, że wielu statystyk nie akceptuje zasady obojętności. Podoba mi się, ponieważ odzwierciedla moje intuicje. Chociaż nie zawsze jestem pewien, jak go zastosować, może za 50 lat będzie to bardziej powszechne?

— Neil G.
źródło

[0, 10]

$[0,10]$

5

$5$

0

$0$

6

$6$

\sqrt{1 - \frac{2}{\sqrt{5}}}

$\sqrt{1-\frac{2}{\sqrt{5}}}$

@ whuber: Argument przełączania nie działałby dla dystrybucji Cauchy'ego, chyba że zmieniłeś tryb.

— Neil G

Jasne, że tak: istnieje wiele sposobów na przekształcenie jednego ciągłego rozkładu w drugi, który zamienia dwie wartości. W rzeczywistości twoje „odwracanie” nawet nie zachowało oryginalnej dystrybucji. (Całkowicie zmieniło to wsparcie). Wygląda więc na to, że wszystko, co robisz, to zastępujesz jedną dystrybucję inną. Wydaje się, że nie ma tu żadnej zasady.

— whuber

@ whuber: zastąpił jedną dystrybucję inną, przez co jednolite obszary wokół 5 i 6 pozostały niezmienione - w ten sam sposób myślę, że pomniejszenie próbuje pozostawić niezmienione gęstości w pierwotnych kręgach w paradoksie Bertranda .

— Neil G

@whuber: Masz rację. Naprawdę podobała mi się odpowiedź Potato na jedno z moich pytań. Osobiście uważam, że jeśli istnieje rozbieżność między teorią a intuicją, powinniśmy szukać nowych, pełniejszych teorii. Może „zasada obojętności” nie jest całkiem słuszna lub ogólnie nie jest wykonalna, ale naturalnie pragnę, aby teoria prawdopodobieństwa odpowiadała na pytania, na które rozumiemy intuicyjnie. Może Lebesgue miał taki sam niepokój związany z integracją Riemanna, kiedy stworzył swoją całkę?

— Neil G

$A = [5 - \frac{\epsilon}{2} , 5 + \frac{\epsilon}{2}]$ $B = [5 - \frac{\epsilon}{4} , 5 + \frac{\epsilon}{4}] \cup [6 - \frac{\epsilon}{4} , 6 + \frac{\epsilon}{4}]$ $\epsilon \to 0$

Pozwolę sobie raz jeszcze podkreślić (i znowu), że powyższa metoda służy intuicji. Uzależnienie od zdarzeń o zerowym prawdopodobieństwie odbywa się bardzo często bez większego przemyślenia. Najlepszym przykładem, jaki mogę wymyślić, jest to, czy $(X_1, X_2) \sim \mathcal{N}(0, \Sigma)$ $X_1$ $X_2 = 0$ $P(\xi = a) = 0$

Tak, możesz nadać sens warunkowaniu na zdarzeniach o wartości zero.

— Yair Daon
źródło

U \sim U [0, 10]

$U\sim \text{U}[0,10]$

0

$0$

10

$10$

A = {0}

$A=\{0\}$

B = {0, 6}

$B=\{0,6\}$

P (A | B) = 1 / 2

$P(A|B)=1/2$

[0, 10]

$[0,10]$

1 / 3

$1/3$

5

$5$

0

$0$

0

$0$

ε

$\varepsilon$

P (A | B) = \frac{P (A \cap B)}{P (B)} = \frac{\int_{5 - \frac{ε}{4}}^{5 + \frac{ε}{4}} f (u) d u}{\int_{5 - \frac{ε}{4}}^{5 + \frac{ε}{4}} f (u) d u + \int_{6 - \frac{ε}{4}}^{6 + \frac{ε}{4}} f (u) d u} = \frac{\frac{ε}{2}}{\frac{ε}{2} + \frac{ε}{2}} = 0.5

$P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}} = \frac{{\int\limits_{5 - \frac{\varepsilon }{4}}^{5 + \frac{\varepsilon }{4}} {f\left( u \right)du} }}{{\int\limits_{5 - \frac{\varepsilon }{4}}^{5 + \frac{\varepsilon }{4}} {f\left( u \right)du} + \int\limits_{6 - \frac{\varepsilon }{4}}^{6 + \frac{\varepsilon }{4}} {f\left( u \right)du} }} = \frac{{\frac{\varepsilon }{2}}}{{\frac{\varepsilon }{2} + \frac{\varepsilon }{2}}} = 0.5$

[5 - \frac{ε}{8}, 5 + \frac{ε}{8}]

$\left[ {5 - \frac{\varepsilon }{8},5 + \frac{\varepsilon }{8}} \right]$

\frac{1}{8}

${\frac{1}{8}}$

Znakomicie intuicyjnie pokazuje, że nie ma unikalnej odpowiedzi: jest to podstawa wypowiedzi Kołmogorowa cytowanej przez @ Xi'ana. Fakt, że musiałeś zmienić procedurę, aby wszystko wyszło na jaw, tak jak myślałeś, że powinny one ostrzec cię o problemach z tym podejściem.

— Whuber

X_{2}

$X_2$

X_{1}

$X_1$

X_{2}

$X_2$

X_{1} = 0

$X_1=0$