Korelacja odległości a wzajemna informacja

Od pewnego czasu pracuję z wzajemnymi informacjami. Ale znalazłem bardzo niedawną miarę w „świecie korelacji”, którą można również wykorzystać do pomiaru niezależności dystrybucji, tak zwaną „korelację odległości” (zwaną także korelacją Browna): http://en.wikipedia.org/wiki/Brownian_covariance . Sprawdziłem dokumenty, w których wprowadzono ten środek, ale nie znalazłem żadnych aluzji do wzajemnych informacji.

Tak więc moje pytania to:

Czy rozwiązują dokładnie ten sam problem? Jeśli nie, to czym różnią się problemy?
A jeśli na poprzednie pytanie można odpowiedzieć pozytywnie, jakie są zalety korzystania z jednego lub drugiego?

correlation mutual-information distance-covariance

— dsign
źródło

Spróbuj zapisać „korelację odległości” i „wzajemną informację” jako prosty przykład. W drugim przypadku otrzymasz logarytmy, podczas gdy w pierwszym - nie.

— Piotr Migdal,

@PiotrMigdal Tak, zdaję sobie sprawę z tej różnicy. Czy możesz wyjaśnić, dlaczego jest to ważne? Proszę wziąć pod uwagę, że nie jestem statystykiem ...

— dsign

Dla standardowego narzędzia mierzącego wzajemną zależność rozkładów prawdopodobieństwa jest wzajemna informacja. Ma wiele fajnych właściwości, a jego interpretacja jest prosta. Mogą jednak występować specyficzne problemy, w których preferowana jest korelacja odległości (ale nigdy w życiu jej nie używałem). Więc jaki problem próbujesz rozwiązać?

— Piotr Migdal,

Ten komentarz jest spóźniony o kilka lat, ale Departament Statystyki Uniwersytetu Columbia sprawił, że rok akademicki 2013-2014 był rokiem koncentracji na miarach zależności. W kwietniu i maju 2014 r. Odbyły się warsztaty, w których wzięli udział najlepsi naukowcy wykonujący prace w tej dziedzinie, w tym Reshef Brothers (MIC), Gabor Szekely (korelacje odległości), Subhadeep Mukhopadhay, aby wymienić tylko kilka. Oto link do programu, który zawiera wiele plików pdf z prezentacji. dependence2013.wikischolars.columbia.edu/…

— Mike Hunter

Informacja / wzajemna informacja nie zależy od możliwych wartości, zależy tylko od prawdopodobieństw, dlatego jest mniej wrażliwa. Korelacja odległości jest mocniejsza i łatwiejsza do obliczenia. Dla porównania patrz

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf

— gabor J Szekely
źródło

Cześć, dziękuję za odpowiedź! Artykuł, do którego się odwołujesz, dotyczy MIC, co jest, jak sądzę, nieco więcej niż MI. Wdrożyłem miarę korelacji odległości i nie sądzę, aby była prostsza niż MI dla przypadku elementarnego dyskretnych zmiennych kategorialnych. Z drugiej strony nauczyłem się, że DCM jest dobrze zdefiniowany i dobrze zachowuje się dla zmiennych ciągłych, ale w MI musisz robić binowanie lub wymyślne rzeczy, takie jak MIC.

— dsign

Wydaje się jednak, że DCM potrzebuje kwadratowych matryc, których stroną jest liczba próbek. Innymi słowy, złożoność przestrzeni skaluje się kwadratowo. A przynajmniej tak mam wrażenie, chciałbym się pomylić. MIC działa lepiej, ponieważ można go dostroić w pewnym kompromisie między precyzją a wydajnością.

— dsign