Zdobywanie informacji, wzajemne informacje i powiązane środki

33

Andrew More definiuje zdobywanie informacji jako:

$IG(Y|X) = H(Y) - H(Y|X)$

gdzie jest entropią warunkową . Jednak Wikipedia nazywa powyższą ilość wzajemnymi informacjami . $H(Y|X)$

Z kolei Wikipedia definiuje pozyskiwanie informacji jako rozbieżność Kullbacka-Leiblera (inaczej rozbieżność informacji lub entropia względna) między dwiema zmiennymi losowymi:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

gdzie jest zdefiniowane jako entropia krzyżowa . $H(P,Q)$

Te dwie definicje wydają się ze sobą niespójne.

Widziałem także innych autorów mówiących o dwóch dodatkowych powiązanych pojęciach, mianowicie entropii różnicowej i względnym uzyskiwaniu informacji.

Jaka jest dokładna definicja lub związek między tymi wielkościami? Czy istnieje dobry podręcznik, który obejmuje je wszystkie?

Zysk informacji
Wzajemne informacje
Krzyżowanie entropii
Entropia warunkowa
Entropia różniczkowa
Względny przyrost informacji

information-theory

— Amelio Vazquez-Reina
źródło

2

Aby jeszcze bardziej zwiększyć zamieszanie, zwróć uwagę, że notacja użyta do entropii krzyżowej jest również tą samą notacją, której użyto do entropii wspólnej. Użyłem do entropii krzyżowej, aby uniknąć pomyłek, ale to dla mojej korzyści i nigdy nie widziałem tego zapisu gdzie indziej.

H^{x} (P, Q)

$H^x(P, Q)$

— Michael McGowan

24

Myślę, że nazywanie dywergencji Kullbacka-Leiblera „zyskiem informacji” jest niestandardowe.

Pierwsza definicja jest standardowa.

EDYCJA: Jednak można również nazwać wzajemną informacją. $H(Y)−H(Y|X)$

Zauważ, że nie sądzę, abyś znalazł dyscyplinę naukową, która naprawdę ma ustandaryzowany, precyzyjny i spójny schemat nazewnictwa. Więc zawsze będziesz musiał spojrzeć na formuły, ponieważ zazwyczaj dają ci lepszy pomysł.

Podręczniki: patrz „Dobre wprowadzenie do różnych rodzajów entropii” .

Również: Cosma Shalizi: Metody i techniki nauki o złożonych systemach: Przegląd, rozdział 1 (s. 33-114) w Thomas S. Deisboeck i J. Yasha Kresh (red.), Complex Systems Science in Biomedicine http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Entropia i teoria informacji http://ee.stanford.edu/~gray/it.html

David MacKay: Teoria informacji, wnioskowanie i algorytmy uczenia się http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

także „Co to jest„ entropia i zdobywanie informacji ”?”

— wolf.rauch
źródło

Dzięki @wolf. Jestem skłonny zaakceptować tę odpowiedź. Jeśli pierwsza definicja jest standardowa, jak zdefiniowałbyś wzajemne informacje?

— Amelio Vazquez-Reina,

2

Przepraszam. pierwsza ilość, jest również często nazywana informacją wzajemną. To przypadek niespójnego nazewnictwa. Jak powiedziałem, nie sądzę, aby istniała jakakolwiek spójna, jednoznaczna korespondencja pojęć i nazw. Np. „Wzajemna informacja” lub „zdobywanie informacji” jest szczególnym przypadkiem rozbieżności KL, więc ten artykuł na Wikipedii nie jest tak daleko.

I G (Y | X) = H (Y) - H (Y | X)

$IG(Y|X)=H(Y)−H(Y|X)$

— wolf.rauch

4

Rozbieżność Kullbacka-Leibera między i jest taka sama jak wzajemna informacja, którą można łatwo uzyskać: $p(X,Y)$ $P(X)P(Y)$

\begin{aligned} ja (X; Y) & = H. (Y) - H. (Y ∣ X) \\ = - \sum_{y} p (y) \log p (y) + \sum_{x, y} p (x) p (y ∣ x) \log p (y ∣ x) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{y} (\sum_{x} p (x, y)) \log p (y) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{x, y} p (x, y) \log p (y) \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x)}{p (y)} \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x) p (x)}{p (y) p (x)} \\ = \sum_{x, y} p (x, y) \log \frac{p (x, y)}{p (y) p (x)} \\ = {re}_{K. L.} (P. (X, Y) ∣∣ P. (X) P. (Y)) \end{aligned}

$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$

Uwaga: $p(y) = \sum_x p(x,y)$

— Chris Elgoog
źródło

1

Wzajemne informacje można zdefiniować za pomocą Kullback-Liebler, ponieważ

\begin{aligned} ja (X; Y) = {re}_{K. L.} (p (x, y) | | p (x) p (y)) . \end{aligned}

$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$

— yters
źródło

1

Wydobywanie wzajemnych informacji z zestawów danych tekstowych jako funkcja do szkolenia modelu uczenia maszynowego: (zadaniem było przewidzenie wieku, płci i osobowości blogerów)

— Krebto
źródło

1

Obie definicje są poprawne i spójne. Nie jestem pewien, co wydaje ci się niejasne, gdy wskazujesz wiele punktów, które mogą wymagać wyjaśnienia.

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ są różne nazwy dla tej samej rzeczy. W różnych kontekstach jedna z tych nazw może być lepsza, nazywam ją tutaj Informacje .

$D_{KL}$ $K_{LD}$ $K_{LD}$ niezależny . Nazywamy to ilością informacji .

$\operatorname{H} (X,Y)$

\begin{aligned} ja (X; Y) & \equiv H. (X) - H. (X | Y) \\ \equiv H. (Y) - H. (Y | X) \\ \equiv H. (X) + H. (Y) - H. (X, Y) \\ \equiv H. (X, Y) - H. (X | Y) - H. (Y | X) \end{aligned}

$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$

H (X, Y)

$\operatorname{H}(X,Y)$

D K L (P | | Q) = H (P, Q) - H (P)

$DKL(P||Q)=H(P,Q)−H(P)$

H (P, Q)

$\operatorname{H}(P,Q)$

Wspólne -entropy i Krzyż -entropy to nie to samo.

$H_q(p)$

Mam nadzieję, że notacja ta zostanie zaakceptowana, a strony wiki zaktualizowane.

— אלימלך שרייבר
źródło

zastanawiam się, dlaczego równania nie są wyświetlane poprawnie.

— Shaohua Li