Łączenie prawdopodobieństwa / informacji z różnych źródeł

26

Powiedzmy, że mam trzy niezależne źródła i każde z nich przewiduje prognozy pogody na jutro. Pierwszy mówi, że prawdopodobieństwo jutra deszczu wynosi 0, następnie drugi mówi, że prawdopodobieństwo wynosi 1, a na koniec ostatni mówi, że prawdopodobieństwo wynosi 50%. Chciałbym poznać całkowite prawdopodobieństwo, biorąc pod uwagę tę informację.

Jeśli zastosuję twierdzenie o mnożeniu dla niezależnych zdarzeń, otrzymam 0, co nie wydaje się poprawne. Dlaczego nie można pomnożyć wszystkich trzech, jeśli wszystkie źródła są niezależne? Czy istnieje jakiś bayesowski sposób na aktualizację przeora, gdy otrzymam nowe informacje?

Uwaga: To nie jest praca domowa, to coś, o czym myślałem.

— Biela Diela
źródło

1

Czy wiesz, jak wiarygodne są niezależne źródła

— Dilip Sarwate

Nie, z góry zakładam, że wszystkie źródła są jednakowo wiarygodne.

— Biela Diela,

3

To też dobre pytanie, o którym myślę. Dodałbym drugie pytanie: Gdyby wszystkie prognozy wynosiły 0,75, jakie byłoby połączone prawdopodobieństwo? Wyższy niż 0,75? Jakie byłyby formalne ramy dla analizy tego rodzaju pytań?

— Karsten W.,

2

Naprawdę nie ma wystarczająco dużo informacji; potrzebujemy jakiegoś modelu tego, w jaki sposób przewidywania mają odnosić się do rzeczywistości.

— Glen_b

Nie jestem do końca pewien, co należy rozumieć przez „wszystkie źródła są jednakowo wiarygodne”, gdy źródła podają stwierdzenia dotyczące prawdopodobieństwa lub poziomów zaufania / zaufania. Jeśli mówimy o prawdopodobieństwie, że pewne prawdopodobieństwo ma określoną wartość, która wydaje się rodzić problemy pojęciowe. BTW, jeśli źródła 1 i 2 są równie niezawodne, oba muszą mieć rację z prawdopodobieństwem 0,50 ... (a prawdopodobieństwo deszczu wynosi 1/2).

— AG

32

Pytasz o trzy rzeczy: (a) jak połączyć kilka prognoz, aby uzyskać pojedynczą prognozę, (b) czy można tu zastosować podejście bayesowskie, oraz (c) jak radzić sobie z zerowymi prawdopodobieństwami.

Łączenie prognoz jest powszechną praktyką . Jeśli masz kilka prognoz, niż jeśli weźmiesz średnią z tych prognoz, wynikowa połączona prognoza powinna być lepsza pod względem dokładności niż jakakolwiek z poszczególnych prognoz. Aby je uśrednić, można użyć średniej ważonej, gdy wagi oparte są na błędach odwrotnych (tj. Precyzji) lub zawartości informacyjnej . Jeśli posiadasz wiedzę na temat niezawodności każdego źródła, możesz przypisać wagi proporcjonalne do niezawodności każdego źródła, więc bardziej niezawodne źródła mają większy wpływ na ostateczną łączną prognozę. W twoim przypadku nie masz żadnej wiedzy na temat ich wiarygodności, więc każda z prognoz ma taką samą wagę i dlatego możesz użyć prostej średniej arytmetycznej z trzech prognoz

0 % \times .33 + 50 % \times .33 + 100 % \times .33 = (0 % + 50 % + 100 %) / 3 = 50 %

$0\%\times.33+50\%\times.33+100\%\times.33 = (0\%+50\%+100\%)/3=50\%$

Jak zasugerowali w komentarzach @AndyW i @ArthurB. , dostępne są inne metody oprócz prostej średniej ważonej. Wiele takich metod jest opisanych w literaturze na temat uśredniania prognoz ekspertów, których wcześniej nie znałem, więc dziękuję. W uśrednianiu prognoz ekspertów czasami chcemy skorygować fakt, że eksperci mają tendencję do regresji do średniej (Baron i in., 2013), lub też czynią swoje prognozy bardziej ekstremalnymi (Ariely i in., 2000; Erev i in., 1994). Aby to osiągnąć, można wykorzystać przekształcenia poszczególnych prognoz , np. Funkcję logit $p_i$

\begin{matrix} (1) & l o g i t (p_{i}) = \log (\frac{p_{i}}{1 - p_{i}}) \end{matrix}

$\mathrm{logit}(p_i) = \log\left( \frac{p_i}{1-p_i} \right) \tag{1}$

szanse na potęgę $a$

\begin{matrix} (2) & g (p_{i}) = {(\frac{p_{i}}{1 - p_{i}})}^{a} \end{matrix}

$g(p_i) = \left( \frac{p_i}{1-p_i} \right)^a \tag{2}$

gdzie lub bardziej ogólna transformacja formy $0 < a < 1$

\begin{matrix} (3) & t (p_{i}) = \frac{p_{i}^{a}}{p_{i}^{a} + (1 - p_{i})^{a}} \end{matrix}

$t(p_i) = \frac{p_i^a}{p_i^a + (1-p_i)^a} \tag{3}$

gdzie jeśli nie transformacja jest stosowana, jeśli poszczególne prognozy są bardziej ekstremalne, jeśli prognozy są mniej ekstremalne, co jest pokazane na rysunku poniżej (patrz Karmarkar, 1978; Baron et al, 2013 ). $a=1$ $a>1$ $0 < a<1$

Po takiej transformacji prognozy są uśredniane (przy użyciu średniej arytmetycznej, mediany, średniej ważonej lub innej metody). Jeśli zastosowano równania (1) lub (2), wyniki należy przekształcić wstecznie za pomocą odwrotnego logitu dla (1) i odwrotnych szans dla (2). Alternatywnie można zastosować średnią geometryczną (patrz Genest i Zidek, 1986; por. Dietrich i List, 2014)

\begin{matrix} (4) & \hat{p} = \frac{\prod_{i = 1}^{N} p_{i}^{w_{i}}}{\prod_{i = 1}^{N} p_{i}^{w_{i}} + \prod_{i = 1}^{N} (1 - p_{i})^{w_{i}}} \end{matrix}

$\hat p = \frac{ \prod_{i=1}^N p_i^{w_i} }{ \prod_{i=1}^N p_i^{w_i} + \prod_{i=1}^N (1 - p_i)^{w_i} } \tag{4}$

lub podejście zaproponowane przez Satopää i in. (2014)

\begin{matrix} (5) & \hat{p} = \frac{{[\prod_{i = 1}^{N} {(\frac{p_{i}}{1 - p_{i}})}^{w_{i}}]}^{a}}{1 + {[\prod_{i = 1}^{N} {(\frac{p_{i}}{1 - p_{i}})}^{w_{i}}]}^{a}} \end{matrix}

$\hat p = \frac{ \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a }{ 1 + \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a } \tag{5}$

gdzie są ciężary. W większości przypadków stosuje się jednakowe wagi chyba że istnieją informacje a priori sugerujące istnienie innego wyboru. Takie metody stosuje się w uśrednianiu prognoz ekspertów, aby skorygować niedostateczną lub nadmierną pewność siebie. W innych przypadkach należy rozważyć, czy przekształcenie prognoz na bardziej lub mniej ekstremalne jest uzasadnione, ponieważ może to spowodować, że wynikowe oszacowania zagregowane wypadną poza granice wyznaczone przez najniższą i największą indywidualną prognozę. $w_i$ $w_i = 1/N$

Jeśli masz wiedzę a priori o prawdopodobieństwie deszczu, możesz zastosować twierdzenie Bayesa, aby zaktualizować prognozy, biorąc pod uwagę prawdopodobieństwo a priori deszczu w podobny sposób, jak opisano tutaj . Istnieje również proste podejście, które można zastosować, tj. Obliczyć średnią ważoną swoich prognoz (jak opisano powyżej), w których wcześniejsze prawdopodobieństwo jest traktowane jako dodatkowy punkt danych z pewną wcześniej określoną wagą jak w tym przykładzie IMDB (patrz także źródło , lub tu i tutaj do dyskusji; por. Genest i Schervish, 1985), tj $p_i$ $\pi$ $w_{\pi}$

\begin{matrix} (6) & \hat{p} = \frac{(\sum_{i = 1}^{N} p_{i} w_{i}) + π w_{π}}{(\sum_{i = 1}^{N} w_{i}) + w_{π}} \end{matrix}

$\hat p = \frac{ \left(\sum_{i=1}^N p_i w_i \right) + \pi w_{\pi} }{ \left(\sum_{i=1}^N w_i \right) + w_{\pi} } \tag{6}$

Z twojego pytania nie wynika jednak, że masz jakąś a priori wiedzę na temat swojego problemu, więc prawdopodobnie użyłbyś jednolitego przeora, tj. Zakładałbyś z góry szansę na deszcz, a to tak naprawdę niewiele się zmienia w przypadku podanego przez ciebie przykładu. $50\%$

Do radzenia sobie z zerami istnieje kilka różnych podejść. Najpierw powinieneś zauważyć, że szansy na deszcz nie jest tak naprawdę wiarygodną wartością, ponieważ mówi, że nie jest możliwe , aby padało. Podobne problemy często występują w przetwarzaniu języka naturalnego, gdy w danych nie obserwuje się niektórych wartości, które mogą wystąpić (np. Liczone są częstotliwości liter, aw danych nie występuje żadna niezwykła litera). W tym przypadku klasyczny estymator prawdopodobieństwa, tj $0\%$

p_{i} = \frac{n_{i}}{\sum_{i} n_{i}}

$p_i = \frac{n_i}{\sum_i n_i}$

gdzie jest liczbą wystąpień tej wartości (spośród kategorii ), daje ci jeśli . Nazywa się to problemem zerowej częstotliwości . W przypadku takich wartości wiadomo, że ich prawdopodobieństwo jest niezerowe (istnieją!), Więc ta ocena jest oczywiście nieprawidłowa. Istnieje również praktyczny problem: mnożenie i dzielenie przez zera prowadzi do zer lub niezdefiniowanych wyników, więc zerowanie jest problematyczne. $n_i$ $i$ $d$ $p_i = 0$ $n_i = 0$

Łatwą i powszechnie stosowaną poprawką jest dodanie do obliczeń stałej wartości , aby to zrobić $\beta$

p_{i} = \frac{n_{i} + β}{(\sum_{i} n_{i}) + d β}

$p_i = \frac{n_i + \beta}{(\sum_i n_i) + d\beta}$

Wspólnym miejscem na jest , to znaczy zastosowanie jednolitych przed oparciu o reguły Laplace'a dziedziczenia , do oszacowania Krichevsky-Trofimov lub do Schurmann-Grassberger (1996) estymatora. Zauważ jednak, że to, co tu robisz, polega na stosowaniu w swoim modelu informacji o braku danych (wcześniejszych), dzięki czemu uzyskuje subiektywny, bayesowski smak. Stosując to podejście, musisz pamiętać o przyjętych założeniach i brać je pod uwagę. Fakt, że mamy silne a priori $\beta$ $1$ $1/2$ $1/d$ wiedza, że w naszych danych nie powinno być żadnych zerowych prawdopodobieństw, bezpośrednio uzasadnia tu podejście bayesowskie. W twoim przypadku nie masz częstotliwości, ale prawdopodobieństwa, więc dodajesz bardzo małą wartość, aby skorygować zera. Zauważ jednak, że w niektórych przypadkach takie podejście może mieć złe konsekwencje (np. Przy logowaniu ), dlatego należy zachować ostrożność.

Schurmann, T. i P. Grassberger. (1996). Oszacowanie entropii sekwencji symboli. Chaos, 6, 41–427.

Ariely, D., Tung Au, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS and Zauberman, G. (2000). Skutki uśrednienia subiektywnych szacunków prawdopodobieństwa między sędziami i wewnątrz nich. Journal of Experimental Psychology: Applied, 6 (2), 130.

Baron, J., Mellers, BA, Tetlock, PE, Stone, E. and Ungar, LH (2014). Dwa powody, dla których zagregowane prognozy prawdopodobieństwa są bardziej ekstremalne. Analiza decyzji, 11 (2), 133-145.

Erev, I., Wallsten, TS i Budescu, DV (1994). Jednoczesna nadmierna i zbytnia pewność siebie: rola błędu w procesach oceny. Przegląd psychologiczny, 101 (3), 519.

Karmarkar, US (1978). Subiektywnie ważona użyteczność: opisowe rozszerzenie oczekiwanego modelu użyteczności. Zachowania organizacyjne i wydajność człowieka, 21 (1), 61–72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV i Wallsten, TS (2014). Agregacja prognoz poprzez rekalibrację. Uczenie maszynowe, 95 (3), 261–289.

Genest, C., i Zidek, JV (1986). Łączenie rozkładów prawdopodobieństwa: krytyka i bibliografia z adnotacjami. Nauki statystyczne, 1 , 114–135.

Satopää, VA, Baron, J., Foster, DP, Mellers, BA, Tetlock, PE i Ungar, LH (2014). Łączenie wielu prognoz prawdopodobieństwa za pomocą prostego modelu logit. International Journal of Forecasting, 30 (2), 344–356.

Genest, C., i Schervish, MJ (1985). Modelowanie osądów ekspertów dla aktualizacji bayesowskiej. The Annals of Statistics , 1198-1212.

Dietrich, F., i List, C. (2014). Probabilistyczne zestawianie opinii. (Niepublikowane)

— Tim
źródło

2

Chciałem dodać do tego, a nie zacząć nową odpowiedź. Inną dobrze znaną metodą jest połączenie tych trzech (lub N) prawdopodobieństw przez wzięcie ich średniej geometrycznej (zamiast średniej arytmetycznej). Hinton zwraca uwagę, że daje to modelowi z bardzo dużym lub niskim prawdopodobieństwem, między innymi siłę „wetowania”, zamiast uśredniać wszystko, co czasami może działać przeciwko tobie.

— Zhubarb,

Więc jeśli wszystkie trzy prognozy wynosiłyby 75%, a żadne informacje dotyczące ich wiarygodności nie byłyby dostępne, ostateczna prognoza wynosiłaby 75%?

— Karsten W.,

@KarstenW. tak, dlaczego miałbyś oczekiwać czegoś innego? Jeśli nie masz informacji a priori, to jest to jedyna informacja, którą masz, więc nie masz powodu, aby uważać, że ostateczny wynik jest inny ...

— Tim

1

Nie czytałem żadnych artykułów naukowych Tetlocka, ale zacznę od tego. Takich jak dwa powody, by zagregowane prognozy prawdopodobieństwa były bardziej ekstremalne . Sprawdzę dokładne sformułowania Phila, być może źle pamiętam słowo ekstremate .

— Andy W

1

Byłem blisko z ekstremistycznymi , ale niezupełnie. Powinienem był użyć ekstremalnych , patrz tutaj . Oprócz Barona i in. wspomniany artykuł, widzę, że Ville Satopää ma trochę pracy na ten temat arxiv.org/abs/1506.06405 .

— Andy W

6

Istnieją dwa sposoby myślenia o tym problemie. Można powiedzieć, że źródła obserwują hałaśliwą wersję ukrytej zmiennej „będzie padać / nie będzie padać”.

$Beta(a+b,a)$ $Beta(a,a+b)$

$a$ $x$ $y$ $z$

p = \frac{1}{1 + {(\frac{1}{x} - 1)}^{b} {(\frac{1}{y} - 1)}^{b} {(\frac{1}{z} - 1)}^{b}}

$p = \frac{1}{1+\left(\frac{1}{x}-1\right)^b\left(\frac{1}{y}-1\right)^b\left(\frac{1}{z}-1\right)^b}$

$b$ $b>1$ $b<1$ $b = 1$

\frac{p}{1 - p} = \frac{x}{1 - x} \frac{y}{1 - y} \frac{z}{1 - z}

$\frac{p}{1-p} = \frac{x}{1-x} \frac{y}{1-y} \frac{z}{1-z}$

$1$ $0$

Ten model działa lepiej, jeśli myślisz o tym, że trzy osoby mówią ci, czy wczoraj padało. W praktyce wiemy, że w pogodzie występuje nieredukowalny komponent losowy, dlatego lepiej założyć, że natura najpierw wybiera prawdopodobieństwo deszczu, które jest głośno obserwowane przez źródła, a następnie rzuca stronniczą monetę, aby zdecydować, czy albo nie będzie padać.

W takim przypadku połączone szacunki wyglądałyby bardziej jak średnia między różnymi szacunkami.

— Arthur B.
źródło

Czym byłyby x, y, z w tym modelu?

— Karsten W.,

Byłyby to trzy różne prognozy.

— Arthur B.,

x = y = z = \frac{3}{4}

$x = y = z = \frac{3}{4}$

p = \frac{27}{28}

$p = \frac{27}{28}$

\frac{3}{4}

$\frac{3}{4}$

\frac{27}{28}

$\frac{27}{28}$

Przejście z 3/4 do 27/28 jest nieco ekstremalne, to tak, jakby trzy osoby mówiły ci, że niebo jest ciemnoniebieskie i doszedłeś do wniosku, że jest czarne ...

— Tim

To zależy od modelu. Tutaj zakładam, że każde źródło ma hałaśliwy widok na ukrytą zmienną binarną, deszcz lub brak deszczu. To bardziej, jak trzy różne osoby mówią ci, że wczoraj padało. Możesz również modelować system, ponieważ istnieje utajone prawdopodobieństwo deszczu, a źródła prognozy - jak uzyskać głośną wersję tej prognozy.

— Arthur B.

3

W ramach Transferable Belief Model (TBM) możliwe jest łączenie różnych prognoz przy użyciu na przykład „spójnej reguły kombinacji”. Aby zastosować tę regułę, musisz przekształcić prawdopodobieństwa prognoz w podstawowe przypisania przekonań. Można to osiągnąć za pomocą tak zwanej zasady najmniejszego zaangażowania. W R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

W drugim przykładzie z trzech niezależnych prognoz o wartości 0,75 podejście to zwraca wyższą wartość:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Nie jest to bardzo dalekie od podejścia bayesowskiego pokazanego w odpowiedzi Artura B.

— Karsten W.
źródło

2

w_{1} = \frac{σ_{2}^{2} σ_{3}^{2}}{σ_{1}^{2} σ_{2}^{2} + σ_{1}^{2} σ_{3}^{2} + σ_{2}^{2} σ_{3}^{2}}, w_{2} = \frac{σ_{1}^{2} σ_{3}^{2}}{σ_{1}^{2} σ_{2}^{2} + σ_{1}^{2} σ_{3}^{2} + σ_{2}^{2} σ_{3}^{2}}, w_{3} = \frac{σ_{1}^{2} σ_{2}^{2}}{σ_{1}^{2} σ_{2}^{2} + σ_{1}^{2} σ_{3}^{2} + σ_{2}^{2} σ_{3}^{2}} .

$w_1 = {{\sigma_2^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_2 = {{\sigma_1^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_3 ={{\sigma_1^2 \sigma_2^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}}.$

$\frac{1}{3}$

$\sigma_i$ $\sigma_1^2 : \sigma_2^2 : \sigma_3^2 = 1:2:4,$

f = \frac{8}{14} * (0) + \frac{4}{14} * (1) + \frac{2}{14} * (0.5) = 0.3571

$f = { {{8} \over {14}}*(0) + {{4} \over {14}}*(1) + {{2} \over {14}}*(0.5) } = 0.3571$

— soakley
źródło

1

Ich liczba dla prawdopodobieństwa opadów deszczu to tylko połowa historii, ponieważ musielibyśmy ograniczyć ich przewidywania z prawdopodobieństwem, że są trafne podczas zgadywania.

Ponieważ coś takiego jak deszcz wyklucza się wzajemnie (albo pada deszcz, albo nie, w tym układzie), nie wszystkie mogą być jednocześnie poprawne z 75% prawdopodobieństwem, jak sugerowała Karsten (myślę, że trudno powiedzieć z zamieszaniem, słyszę o tym, co to znaczy znaleźć „połączone prawdopodobieństwo”).

Biorąc pod uwagę ich indywidualne zdolności przewidywania pogody, możemy spróbować (a la Thomas Bayes, jak na ogół ślepy strzał w ciemności), jaka jest szansa na jutro.

Stacja 1 ma rację w swoich prognozach w 60% przypadków, w drugich 30% przypadków, a ostatnia stacja w słabych 10% przypadków.

E [deszcz] = Px X + Py Y + Pz * Z to forma, na którą patrzymy tutaj:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [deszcz] = 35% szansy na deszcz z podanymi dokładnościami prognozowania.

— Havok
źródło

1

Ten algorytm może dawać wartości powyżej 1.

— Andy W

1

Istnieje wiele skomplikowanych odpowiedzi na to pytanie, ale co z średnią ważoną wariancją wariancji: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Zamiast n powtarzanych pomiarów za pomocą jednego przyrządu, jeśli eksperymentator wykonuje n tej samej ilości za pomocą n różnych przyrządów o różnej jakości pomiarów ...

Każda zmienna losowa jest ważona odwrotnie proporcjonalnie do jej wariancji.

Średnia ważona wariancją odwrotną wydaje się bardzo łatwa do obliczenia, a jako bonus ma najmniejszą wariancję spośród wszystkich średnich ważonych.

— Loterie
źródło

-1

Aby połączyć niezawodność, moja formuła przejścia to r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3). Tak więc dla 3 źródeł niezawodności 75% wszystkich mówi to samo, miałbym .75 ^ 3 ÷ (.75 ^ 3 + .25 ^ 3) => 96% niezawodności połączonej odpowiedzi

— użytkownik3902302
źródło

1

To nie wydaje się być właściwą odpowiedzią na pytanie.

— Michael R. Chernick,

Trzeba przyznać, że była to raczej odpowiedź na komentarze KarstenW niż bezpośrednia odpowiedź na pytanie.

— user3902302