Twierdzenie Bayesa Intuicja

22

Próbowałem opracować intuicyjne rozumienie twierdzenia Bayesa w kategoriach wcześniejszego , późniejszego , prawdopodobieństwa i marginalnego prawdopodobieństwa. W tym celu używam następującego równania: gdzie reprezentuje hipotezę lub przekonanie, a reprezentuje dane lub dowody. Zrozumiałem pojęcie a posteriori - jest to jednocząca istota, która łączy wcześniejsze przekonanie i prawdopodobieństwo zdarzenia. Czego nie rozumiem, co oznacza prawdopodobieństwo ? I dlaczego jest marginalny

P (B | A) = \frac{P (A | B) P (B)}{P (A)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
prawdopodobieństwo w mianowniku?
Po przejrzeniu kilku zasobów natknąłem się na ten cytat:

Prawdopodobieństwo jest waga zdarzenia podane przez występowanie ... jest tylny prawdopodobieństwo zdarzenia , biorąc pod uwagę, że wydarzenie wystąpił. $B$ $A$ $P(B|A)$ $B$ $A$

Powyższe 2 stwierdzenia wydają mi się identyczne, napisane na różne sposoby. Czy ktoś może wyjaśnić różnicę między nimi?

bayesian likelihood intuition

— Anas Ayubi
źródło

4

Masz literówkę (lub nieporozumienie). powinno być „hipotezą lub przekonaniem”, a powinno być „danymi lub dowodami” w twoim sformułowaniu.

B

$B$

A

$A$

— gung - Przywróć Monikę

1

zobacz moją odpowiedź na stronie math.stackexchange.com/a/1943255/1505 , w ten sposób zrozumiałem ją intuicyjnie

— Lyndon White,

27

Chociaż w prawie Bayesa wymienione są cztery elementy, wolę myśleć w kategoriach trzech elementów koncepcyjnych:

\underset{2}{\underset{⏟}{P (B | A)}} = \underset{3}{\underset{⏟}{\frac{P (A | B)}{P (A)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

Przed jest to, co uważa o przed napotkały na nowe i istotne części informacji (tj ). $B$ $A$
Posterior to w co wierzysz (lub powinien, jeśli są racjonalne) o po napotkały nowy i odpowiedni fragment informacji. $B$
Iloraz prawdopodobieństwa podzielony przez marginalnej prawdopodobieństwa nowa informacja indeksuje informatywności nowej informacji dla swoich przekonań o . $B$

— gung - Przywróć Monikę
źródło

19

Istnieje już kilka dobrych odpowiedzi, ale być może może to dodać coś nowego ...

Zawsze myślę o regule Bayesa w kategoriach prawdopodobieństw składowych, które można rozumieć geometrycznie w kategoriach zdarzeń i jak pokazano poniżej. $A$ $B$

Marginalny prawdopodobieństwa i podane są w obszarach odpowiadających kół. Wszystkie możliwe wyniki są reprezentowane przez , odpowiadający zestawowi zdarzeń „ lub ”. Te wspólne prawdopodobieństwa odpowiada w przypadku „ i ”. $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

W tych ramach prawdopodobieństwa warunkowe w twierdzeniu Bayesa można rozumieć jako stosunki powierzchni. Prawdopodobieństwo danej jest ułamkiem $A$ $B$ $B$ zajmowanym przez , wyrażonym jako $A \cap B$ Podobnie prawdopodobieństwodlajest ułamkiemzajmowanym przez, tj.

P (A | B) = \frac{P (A \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | A) = \frac{P (A \cap B)}{P (A)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

Twierdzenie Bayesa jest tak naprawdę matematyczną konsekwencją powyższych definicji, które można przekształcić jako Uważam to za symetryczne forma twierdzenia Bayesa, aby była łatwiejsza do zapamiętania. Oznacza to, że tożsamość zachowuje się niezależnie od tego, które lub jest oznaczone jako „przed” a „z tyłu”.

P (B | A) P (A) = P (A \cap B) = P (A | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Inny sposób zrozumienia powyższej dyskusji znajduje się w mojej odpowiedzi na to pytanie , z bardziej „punktu widzenia arkusza kalkulacyjnego”).

— GeoMatt22
źródło

9

@ gung ma świetną odpowiedź. Dodałbym jeden przykład, aby wyjaśnić „inicjację” w przykładzie z prawdziwego świata.

$H$ $A$ $E$ $B$

Formuła jest następująca

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Uwaga: tę samą formułę można zapisać jako

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— Haitao Du
źródło

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

Zauważ, że reguła Bayesa to

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

Zwróć uwagę na stosunek

\frac{P (b, a)}{P (b) P (a)} .

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

Co ciekawe, log tego współczynnika występuje również we wzajemnej informacji:

I (A | B) = \sum_{a, b} P_{} (a, b) \log \frac{P_{} (b, a)}{P (b) P (a)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— użytkownik0
źródło

0

$P(A,B)$

prawdopodobieństwo = proporcje rzędu z tyłu = proporcje kolumny

Poprzedni i marginalny są analogicznie zdefiniowane, ale oparte na „sumach” zamiast określonej kolumny

marginalny = całkowite proporcje wiersza przed = całkowite proporcje kolumny

Uważam, że to mi pomaga.

— prawdopodobieństwo prawdopodobieństwa
źródło