Czy wartość wzajemnej informacji może być większa niż 1


11

Mam bardzo podstawowe wątpliwości. Przepraszam, jeśli to trochę irytuje. Wiem, że wartość wzajemnych informacji powinna być większa niż 0, ale czy powinna być mniejsza niż 1? Czy jest ograniczona jakąkolwiek górną wartością?

Dzięki, Amit.

Odpowiedzi:


18

Tak, ma górną granicę, ale nie 1.

Informacja wzajemna (w bitach) wynosi 1, gdy dwie strony (statystycznie) dzielą jeden bit informacji. Mogą jednak udostępniać dowolne duże dane. W szczególności, jeśli dzielą 2 bity, to jest to 2.

ja(X,Y)min[H.(X),H.(Y)]


Jeśli dwie strony są zmiennymi binarnymi, tj. Każda z nich ma tylko dwa możliwe wyniki {0,1} , wówczas entropia maks. Na gdy i . Tak więc maksymalna wzajemna informacja dla dwóch zmiennych binarnych wynosiX,YH.(X),H.(Y)1P.(X)=0,5P.(Y)=0,51
Akseli Palén
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.