Dlaczego ludzie używają terminu „ciężar dowodów” i czym różni się od „punktowej wzajemnej informacji”?


11

W tym przypadku „ciężar dowodów” (WOE) jest powszechnym terminem w opublikowanej literaturze naukowej i politycznej, najczęściej postrzeganym w kontekście oceny ryzyka, definiowanym przez:

w(e:h)=logp(e|h)p(e|h¯)

gdzie jest dowodem, h jest hipotezą.eh

Teraz chcę wiedzieć, jaka jest główna różnica w PMI (punktowe wzajemne informacje)

pmi(e,h)=logp(e,h)p(e)p(h)

Wierzę, że termin został ukuty w tym dokumencie: projecteuclid.org/…
JohnRos

@JohnRos: Chociaż jest to interesujący artykuł, nie został tam nazwany ciężar dowodu . IJ Good opublikował w 1950 r. Książkę i powiedział, że nauczył się tej koncepcji od samego Turinga w Bletchley Park!
kjetil b halvorsen

Zauważ, że biada, jak tu zdefiniowano, jest tylko ilorazem prawdopodobieństwa. Wiele wzmianek o tym na tej stronie to inna koncepcja, patrz stats.stackexchange.com/questions/462052/…
kjetil b halvorsen

Odpowiedzi:


5

Mimo że wyglądają podobnie, są to całkiem różne rzeczy. Zacznijmy od głównych różnic.

  • jest czymś innym w PMI i w WOEh
    Zwróć uwagę na termin w PMI. Oznacza to, że h jest zmienną losową, której prawdopodobieństwo można obliczyć. Dla Bayesian nie stanowi to problemu, ale jeśli nie wierzysz, że hipotezy mogą miećz góryprawdopodobieństwo, nie możesz nawet napisać PMI dla hipotez i dowodów. W WOE h jest parametrem rozkładu, a wyrażenia są zawsze zdefiniowane.p(h)hh

  • PMI jest symetryczny,
    WOE nie jest Trywialnie, . Jednak w ( h : e ) = log p ( h | e ) / p ( h | ˉ e ) nie musi być definiowany z powodu terminu ˉ e . Nawet jeśli tak jest, to na ogół nie jest równy w ( e : hpmi(e,h)=pmi(h,e)w(h:e)=logp(h|e)/p(h|e¯)e¯ .w(e:h)

Poza tym WOE i PMI mają podobieństwa.

Ciężar dowodów mówi, jak bardzo dowody przemawiają za hipotezą. Jeśli wynosi 0, oznacza to, że nie mówi ani za, ani przeciw. Im wyższy, tym bardziej potwierdza hipotezę , a im niższy, tym bardziej potwierdza ˉ h .hh¯

Wzajemne informacje określają, w jaki sposób wystąpienie zdarzenia ( lub h ) mówi coś o wystąpieniu innego zdarzenia. Jeśli wynosi 0, zdarzenia są niezależne, a wystąpienie jednego nie mówi nic o drugim. Im wyższy, tym częściej występują wspólnie, a im niższy, tym bardziej się wykluczają.eh

Co z przypadkami, w których hipoteza jest również zmienną losową i obie opcje są prawidłowe? Na przykład, w communiction na binarnym hałaśliwym kanału hipoteza jest H emitowanego sygnału dekodowania dowody odbieranego sygnału. Powiedzieć, że prawdopodobieństwo odbijania jest 1 / +1.000 , więc jeśli otrzymują 1 The Biada 1 jest log 0,999 / 0,001 = 6,90 . Z drugiej strony PMI zależy od prawdopodobieństwa emitowania 1 . Możesz sprawdzić, czy gdy prawdopodobieństwo emisji 1 zmierza do 0, PMI dąży do 6,90hh1/100011log0.999/0.001=6.90116.90, podczas gdy dąży do gdy prawdopodobieństwo emisji 1 zmierza do 1 .011

To paradoksalne zachowanie ilustruje dwie rzeczy:

  1. Żadne z nich nie nadaje się do zgadywania o emisji. Jeżeli prawdopodobieństwo emitujących kropli poniżej 1 / 1000 , najprawdopodobniej emisja 0 nawet po odebraniu 1 . Jednak dla małych prawdopodobieństw emisji 1 zarówno WOE, jak i PMI są bliskie 6,90 .11/10000116.90

  2. PMI jest zyskiem informacji (Shannona) nad realizacją hipotezy, jeśli hipoteza jest prawie pewna, wówczas nie uzyskuje się żadnych informacji. WOE jest aktualizacją naszych wcześniejszych kursów , które nie zależą od wartości tych kursów.


Może to być kwestia notacyjna, ale w WMI, jak definiujesz bez definiowania p ( h ) ? Nie idziesz z p ( e | h ) = p ( e , h )p(e|h)p(h) ? p(e|h)=p(e,h)p(h)
Mike Battaglia,

1
hp(e|h)p(h)
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.