Jaka jest główna różnica między korelacją a wzajemną informacją?

15

moje pytanie dotyczy szczególnie rekonstrukcji sieci

correlation mutual-information

25

Korelacja mierzy relację liniową (korelacja Pearsona) lub relację monotoniczną (korelacja Spearmana) między dwiema zmiennymi, X i Y.

Wzajemne informacje są bardziej ogólne i mierzą zmniejszenie niepewności w Y po obserwacji X. Jest to odległość KL między gęstością połączenia a iloczynem poszczególnych gęstości. Zatem MI może mierzyć relacje niemonotoniczne i inne bardziej skomplikowane relacje.

— Rob Hyndman
źródło

3

Korelacja niekoniecznie jest liniowa - rho Spearmana opiera się na funkcji monotonicznej, a jednak nazywamy ją „współczynnikiem korelacji”, a nie „współczynnikiem wzajemnej informacji”. I nie bez powodu: dostarcza informacji o powiązaniu między dwiema zmiennymi. Wzajemne informacje, zbędne informacje, wzajemna wariancja, korelacja - te terminy są bardzo podobne, a to pytanie dotyczy rekonstrukcji sieci , więc myślę, że znaleźliśmy się w niewłaściwym obszarze z właściwą terminologią. To dość konkretne pytanie ...

— aL3xa

1

Słuszna uwaga. Zredagowałem swoją odpowiedź, aby uwzględnić związki monotoniczne. Nic nie wiem o rekonstrukcji sieci.

— Rob Hyndman

4

Aby dodać do odpowiedzi Roba ... w odniesieniu do inżynierii odwrotnej sieci, MI może być bardziej preferowane niż korelacja, jeśli chcesz wyodrębnić łącza przyczynowe niż asocjacyjne w swojej sieci. Sieci korelacji mają charakter czysto asocjacyjny. Ale w przypadku MI potrzebujesz więcej danych i mocy obliczeniowej.

— ars
źródło