O co chodzi w twierdzeniu Bayesa?

Jakie są główne idee, czyli pojęcia związane z twierdzeniem Bayesa ? Nie proszę o żadne pochodne złożonej notacji matematycznej.

Twierdzenie Bayesa jest stosunkowo prostym, ale fundamentalnym wynikiem teorii prawdopodobieństwa, która pozwala na obliczenie pewnych prawdopodobieństw warunkowych. Prawdopodobieństwa warunkowe to tylko te prawdopodobieństwa, które odzwierciedlają wpływ jednego zdarzenia na prawdopodobieństwo drugiego.

Mówiąc najprościej, w najsłynniejszej formie stwierdza, że ​​prawdopodobieństwo hipotezy przy nowych danych ( P (H | D) ; zwane prawdopodobieństwem a posteriori) jest równe następującemu równaniu: prawdopodobieństwo zaobserwowanych danych przy założeniu hipotezy ( P (D | H) ; zwane prawdopodobieństwem warunkowym), razy prawdopodobieństwo prawdziwości teorii przed nowymi dowodami ( P (H) ; zwane wcześniejszym prawdopodobieństwem H), podzielone przez prawdopodobieństwo zobaczenia tych danych, okres ( P (D ); zwane krańcowym prawdopodobieństwem D).

Formalnie równanie wygląda następująco:

Znaczenie twierdzenia Bayesa wynika w dużej mierze z tego, że jego właściwe użycie jest punktem spornym między szkołami myślenia o prawdopodobieństwie. Subiektywnemu bayesowskiemu (który interpretuje prawdopodobieństwo jako subiektywny stopień przekonania) twierdzenie Bayesa stanowi kamień węgielny do testowania teorii, wyboru teorii i innych praktyk, poprzez włączenie subiektywnych ocen prawdopodobieństwa do równania i postępowanie z nim. Dla częstego (który interpretuje prawdopodobieństwo jako ograniczenie częstotliwości względnych ) takie użycie twierdzenia Bayesa jest nadużyciem i starają się oni zamiast tego używać znaczących (nie subiektywnych) priorów (podobnie jak obiektywni Bayesianie przy jeszcze innej interpretacji prawdopodobieństwa).

Przepraszam, ale wydaje się, że jest tu pewne zamieszanie: twierdzenie Bayesa nie jest przeznaczone do dyskusji na temat niekończącej się debaty Bayesian- Frequentist . Jest to twierdzenie zgodne z obiema szkołami myślenia (biorąc pod uwagę, że jest zgodne z aksjomatami prawdopodobieństwa Kołmogorowa).

Oczywiście, twierdzenie Bayesa jest rdzeniem statystyki bayesowskiej, ale samo twierdzenie jest uniwersalne. Konflikt między częstownikami a Bayesianami dotyczy głównie tego, jak można zdefiniować wcześniejsze rozkłady.

Więc jeśli pytanie dotyczy twierdzenia Bayesa (a nie statystyki bayesowskiej):

Twierdzenie Bayesa określa, w jaki sposób można obliczyć określone prawdopodobieństwa warunkowe. Wyobraź sobie na przykład, że wiesz: prawdopodobieństwo, że ktoś ma objaw A, biorąc pod uwagę, że ma chorobę X p (A | X); prawdopodobieństwo, że ktoś ogólnie choruje X p (X); prawdopodobieństwo, że ktoś ogólnie ma objaw A p (A). za pomocą tych 3 informacji możesz obliczyć prawdopodobieństwo, że ktoś ma chorobę X, biorąc pod uwagę, że ma sympotm A p (X | A).

Twierdzenie Bayesa jest sposobem na obrócenie prawdopodobieństwa warunkowego na inne prawdopodobieństwo warunkowe P ( B | A ) .$P(A|B)$$P(B|A)$

Dla niektórych przeszkodą jest znaczenie . Jest to sposób na zmniejszenie przestrzeni możliwych zdarzeń, biorąc pod uwagę tylko te zdarzenia, w których A zdarza się zdecydowanie (lub jest prawdą). Na przykład prawdopodobieństwo, że rzucona, jasna kostka wyląduje na szóstce, P ( kostka na szóstce ) , wynosi 1/6, jednak prawdopodobieństwo, że kostka wyląduje na szóstce, biorąc pod uwagę, że wylądowała na parzystej liczbie, P ( kostka wyląduje na szóstce | kości lądują nawet ) , wynosi 1/3.$P(B|A)$$A$$P(\mbox{dice lands six})$$P(\mbox{dice lands six}|\mbox{dice lands even})$

Możesz sam wyprowadzić twierdzenie Bayesa w następujący sposób. Zacznij od definicji współczynnika prawdopodobieństwa warunkowego:

$P(B|A) = \frac{P(AB)}{P(A)}$

gdzie jest wspólna prawdopodobieństwo A i B i P ( A ) jest znikomy prawdopodobieństwo A .$P(AB)$$A$$B$$P(A)$$A$

Obecnie formuła nie zawiera odniesienia do , dlatego też zapiszmy definicję tego:$P(A|B)$

$P(A|B) = \frac{P(BA)}{P(B)}$

$P(AB) = P(BA)$$AB = BA$

$P(A|B) = \frac{P(AB)}{P(B)}$

$P(B|A)$$P(AB)$

$P(AB) = P(A|B)P(B)$

i hej presto:

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

Jeśli chodzi o to, w jaki sposób obracać prawdopodobieństwo warunkowe w ten sposób, rozważmy powszechny przykład próby ustalenia prawdopodobieństwa, że ​​ktoś ma chorobę, biorąc pod uwagę, że ma objaw, tj. Wiemy , że ma objaw - możemy po prostu widzę to - ale nie możemy być pewni, czy mają chorobę i musimy ją wywnioskować. Zacznę od formuły i wrócę.

$P(\mbox{disease}|\mbox{symptom}) = \frac{P(\mbox{symptom}|\mbox{disease})P(\mbox{disease})}{P(\mbox{symptom})}$

Aby to ustalić, musisz znać wcześniejsze prawdopodobieństwo objawu, wcześniejsze prawdopodobieństwo choroby (tj. Jak częste lub rzadkie są objawy i choroba), a także prawdopodobieństwo, że ktoś ma objaw, o którym wiemy, że ktoś ma choroba (np. poprzez drogie, czasochłonne testy laboratoryjne).

Może się to znacznie bardziej skomplikować, np. Jeśli masz wiele chorób i objawów, ale idea jest taka sama. Nawet bardziej ogólnie, twierdzenie Bayesa często pojawia się, jeśli masz teorię prawdopodobieństwa związków między przyczynami (np. Choroby) a skutkami (np. Objawy) i musisz uzasadnić wstecz (np. Widzisz pewne objawy, od których chcesz wnioskować o chorobie podstawowej).

Istnieją dwie główne szkoły myślenia: statystyka: częsty i bayesowski .

Twierdzenie Bayesa odnosi się do tego drugiego i może być postrzegane jako sposób na zrozumienie, w jaki sposób nowy dowód ma wpływ na prawdopodobieństwo prawdziwości teorii. Jest to znane jako prawdopodobieństwo warunkowe. Warto spojrzeć na to , aby uzyskać uchwyt na matematyce.

Pozwól, że dam ci bardzo intuicyjny wgląd. Załóżmy, że rzucasz monetą 10 razy i otrzymujesz 8 głów i 2 ogony. Pytanie, które przyjdzie ci na myśl, brzmi, czy ta moneta jest nastawiona na głowy, czy nie.

Teraz, jeśli stosujesz konwencjonalne definicje lub częste podejście prawdopodobieństwa, możesz powiedzieć, że moneta jest obiektywna i jest to wyjątkowe zjawisko. W związku z tym można dojść do wniosku, że możliwość uzyskania następnego rzutu głową również wynosi 50%.

Ale załóżmy, że jesteś Bayesianinem. Można by pomyśleć, że skoro masz wyjątkowo dużą liczbę głów, moneta ma nastawienie w kierunku głowy. Istnieją metody obliczania tego możliwego błędu systematycznego. Policzysz je, a kiedy następnym razem rzucisz monetą, zdecydowanie wezwiesz głowy.

Prawdopodobieństwo Bayesa dotyczy przekonania, że ​​rozwijasz się na podstawie obserwowanych danych. Mam nadzieję, że to było dość proste.

Twierdzenie Bayesa dotyczy dwóch pojęć: prawdopodobieństwa i prawdopodobieństwa. Prawdopodobieństwo mówi: biorąc pod uwagę ten model, są to wyniki. Więc: biorąc pod uwagę uczciwą monetę, dostanę 50% głów. Prawdopodobieństwo mówi: biorąc pod uwagę te wyniki, to właśnie możemy powiedzieć o modelu. Tak więc: jeśli rzucisz monetą 100 razy i zdobędziesz 88 głów (aby podnieść na poprzednim przykładzie i uczynić go bardziej ekstremalnym), prawdopodobieństwo, że uczciwy model monet jest prawidłowy, nie jest tak duże.

Jednym ze standardowych przykładów użytych do zilustrowania twierdzenia Bayesa jest pomysł testowania choroby: jeśli podejmiesz test, który jest w 95% dokładny w przypadku choroby, którą 1 na 10000 populacji ma, i pozytywnie przetestujesz, jakie są szanse że masz chorobę

Naiwna odpowiedź to 95%, ale ignoruje to fakt, że 5% testów na 9999 na 10000 osób da wynik fałszywie pozytywny. Twoje szanse na chorobę są znacznie niższe niż 95%.

Moje użycie niejasnego zdania „jakie są szanse” jest celowe. Aby użyć języka prawdopodobieństwa / prawdopodobieństwa: prawdopodobieństwo, że test jest dokładny, wynosi 95%, ale to, co chcesz wiedzieć, to prawdopodobieństwo choroby.

Nieco poza tematem: Innym klasycznym przykładem, do którego twierdzenie Bayesa stosuje się we wszystkich podręcznikach, jest problem Monty Hall: bierzesz udział w quizie. Za jednymi z trzech drzwi jest nagroda. Ty wybierasz drzwi pierwsze. Gospodarz otwiera drzwi trzecie, nie ujawniając żadnej nagrody. Czy powinieneś zmienić drzwi na drugie?

Podoba mi się przeredagowanie pytania (dzięki uprzejmości odnośnika poniżej): jesteś na quizie. Nagroda za jedno z milionów drzwi. Ty wybierasz drzwi pierwsze. Gospodarz otwiera wszystkie pozostałe drzwi oprócz drzwi 104632, aby nie ujawnić żadnej nagrody. Czy powinieneś przejść do drzwi 104632?

Moją ulubioną książką, która omawia twierdzenie Bayesa, bardzo z perspektywy bayesowskiej, jest „Teoria informacji, wnioskowanie i algorytmy uczenia się” Davida JC MacKaya. To książka Cambridge University Press, ISBN-13: 9780521642989. Moja odpowiedź to (mam nadzieję) destylacja tego rodzaju dyskusji zawartych w książce. (Obowiązują zasady: nie mam żadnych powiązań z autorem, po prostu lubię książkę).

Twierdzenie Bayesa w najbardziej oczywistej formie jest po prostu ponownym stwierdzeniem dwóch rzeczy:

1. $P(HD|I)=P(DH|I)$
2. $P(HD|I)=P(H|I)P(D|HI)$

Korzystając z symetrii:

Teraz jeśli $P(D|I) \neq 0$ możesz podzielić obie strony przez $P(D|I)$ uzyskać:

Więc to jest to? Jak coś tak prostego może być tak niesamowite? Jak w przypadku większości rzeczy „jego podróż jest ważniejsza niż miejsce docelowe”. Twierdzenie Bayesa kołysze się z powodu argumentów, które do niego prowadzą.

Brakuje w tym reguły reguły produktu i reguły sumy $P(H|I)=1-P(\overline{H}|I)$, można wyprowadzić za pomocą logiki dedukcyjnej opartej na aksjomatach spójnego rozumowania.

Otóż ​​„reguła” w logice dedukcyjnej polega na tym, że jeśli masz związek „A implikuje B”, to również masz „Nie B implikuje Nie A”. Mamy więc „konsekwentne rozumowanie implikuje twierdzenie Bayesa”. Oznacza to, że „Twierdzenie Nie Bayesa oznacza niespójne rozumowanie”. tzn. jeśli twój wynik nie jest równoważny z wynikiem bayesowskim z jakiegoś powodu i prawdopodobieństwa, to rozumujesz niekonsekwentnie.

Wynik ten nazywa się twierdzeniem Coxa i został udowodniony w „Algebrze prawdopodobnego wnioskowania” w latach czterdziestych. Nowsze wyprowadzenie podano w teorii Proability: Logika nauki.

Bardzo podoba mi się wprowadzenie Kevina Murphy'ego do twierdzenia Bayesa http://www.cs.ubc.ca/~murphyk/Bayes/bayesrule.html

Cytat tutaj pochodzi z artykułu ekonomisty:

http://www.cs.ubc.ca/~murphyk/Bayes/economist.html

Istotą podejścia bayesowskiego jest zapewnienie reguły matematycznej wyjaśniającej, w jaki sposób powinieneś zmienić swoje dotychczasowe przekonania w świetle nowych dowodów. Innymi słowy, pozwala naukowcom łączyć nowe dane z ich obecną wiedzą lub doświadczeniem. Kanonicznym przykładem jest wyobrażenie sobie, że przedwcześnie urodzony noworodek obserwuje swój pierwszy zachód słońca i zastanawia się, czy słońce wzejdzie ponownie, czy nie. Przypisuje równe wcześniejsze prawdopodobieństwa do obu możliwych wyników i reprezentuje to, umieszczając jeden biały i jeden czarny marmur w torbie. Następnego dnia, gdy wstaje słońce, dziecko umieszcza w torbie kolejny biały marmur. Prawdopodobieństwo, że marmur wyrywany losowo z torby będzie biały (tzn. Stopień wiary dziecka w przyszłe wschody słońca) spadł z połowy do dwóch trzecich. Następnego dnia po wschodzie słońca dziecko dodaje kolejny biały marmur, a prawdopodobieństwo (a tym samym stopień wiary) wzrasta z dwóch trzecich do trzech czwartych. I tak dalej. Stopniowo początkowe przekonanie, że słońce jest tak samo prawdopodobne, aby nie wschodziło każdego ranka, zostaje zmodyfikowane, tak aby stało się niemal pewne, że słońce zawsze wstanie.