Czy wartość wzajemnej informacji może być większa niż 1
11
Mam bardzo podstawowe wątpliwości. Przepraszam, jeśli to trochę irytuje. Wiem, że wartość wzajemnych informacji powinna być większa niż 0, ale czy powinna być mniejsza niż 1? Czy jest ograniczona jakąkolwiek górną wartością?
Informacja wzajemna (w bitach) wynosi 1, gdy dwie strony (statystycznie) dzielą jeden bit informacji. Mogą jednak udostępniać dowolne duże dane. W szczególności, jeśli dzielą 2 bity, to jest to 2.
Jeśli dwie strony są zmiennymi binarnymi, tj. Każda z nich ma tylko dwa możliwe wyniki {0,1} , wówczas entropia maks. Na gdy i . Tak więc maksymalna wzajemna informacja dla dwóch zmiennych binarnych wynosiX,YH.( X), H(Y)1P.(X) = 0,5P.( Y) = 0,51
Używamy plików cookie i innych technologii śledzenia w celu poprawy komfortu przeglądania naszej witryny, aby wyświetlać spersonalizowane treści i ukierunkowane reklamy, analizować ruch w naszej witrynie, i zrozumieć, skąd pochodzą nasi goście.
Kontynuując, wyrażasz zgodę na korzystanie z plików cookie i innych technologii śledzenia oraz potwierdzasz, że masz co najmniej 16 lat lub zgodę rodzica lub opiekuna.