Uogólniony jest brak rygoru w używaniu słowa „korelacja” z tego prostego powodu, że może on mieć bardzo różne założenia i znaczenia. Najprostszym, najbardziej luźnym i najczęstszym zastosowaniem jest pewne niejasne powiązanie, związek lub brak niezależności między statyczną parą losowych zmiennych.
W tym przypadku domyślną miarą, o której mowa, jest zwykle korelacja Pearsona , która jest znormalizowaną miarą parowo- liniowego powiązania między dwiema zmiennymi o rozkładzie ciągłym. Jednym z najczęstszych nadużyć Pearsona jest zgłaszanie go w procentach. To zdecydowanie nie jest procent. Pearsona korelacji R mieści się w zakresie między -1,0 a +1,0 gdzie 0 oznacza brak liniowy asocjacji. Inne nie tak powszechnie rozpoznawane problemy z użyciem korelacji Pearsona jako domyślnej to fakt, że w rzeczywistości jest to dość rygorystyczna, niesolidna miara liniowości wymagająca zmiennych wejściowych skalowanych w odstępach czasu (patrz doskonały artykuł Paula Embrechtsa naKorelacja i zależność w zarządzaniu ryzykiem: właściwości i pułapki tutaj: https://people.math.ethz.ch/~embrecht/ftp/pitfalls.pdf ).
Embrechts zauważa, że istnieje wiele błędnych założeń dotyczących zależności, które zaczynają się od założeń o podstawowej strukturze i geometrycznym kształcie tych zależności:
Błędy te wynikają z naiwnego założenia, że właściwości zależności świata eliptycznego zachowują się również w świecie nieeliptycznym
Embrechts wskazuje na kopuły jako znacznie szerszą klasę wskaźników zależności wykorzystywanych w finansach i zarządzaniu ryzykiem, z których korelacja Pearsona jest tylko jednym rodzajem.
Departament Statystyki Kolumbii spędził rok akademicki 2013-2014, koncentrując się na rozwijaniu głębszego zrozumienia struktur zależności: np. Liniowych, nieliniowych, monotonicznych, rangowych, parametrycznych, nieparametrycznych, potencjalnie bardzo złożonych i posiadających duże różnice w skalowaniu. Rok zakończył się 3-dniowymi warsztatami i konferencją, które zgromadziły większość najlepszych autorów w tej dziedzinie ( http://datascience.columbia.edu/workshop-and-conference-nonparametric-measures-dependence-apr-28-may- 2 ).
Wśród nich znaleźli się Bracia Reshef, teraz znani z publikacji naukowej z 2011 r. Wykrywanie nowych skojarzeń w dużych zbiorach danych http://www.uvm.edu/~cdanfort/csc-reading-group/reshef-correlation-science-2011.pdf, która był szeroko krytykowany (patrz AndrewGelman.com dla dobrego przeglądu, opublikowany równocześnie z wydarzeniem Columbia: http://andrewgelman.com/2014/03/14/maximal-information-coefficient ). Reshefs odniósł się do wszystkich tych uwag w swojej prezentacji (dostępnej na stronie konferencji w Kolumbii), a także o znacznie bardziej wydajnym algorytmie MIC.
Wielu innych wiodących statystyk przedstawionych na tym wydarzeniu, w tym Gabor Szekely, teraz na NSF w DC. Szekely rozwinął swoje korelacje odległości i częściowych odległości . Deep Mukhopadhay, Temple U, prezentując swój zunifikowany algorytm statystyczny - ramy dla zunifikowanych algorytmów nauki danych - w oparciu o prace wykonane z Eugene Franzen http://www.fox.temple.edu/mcm_people/subhadeep-mukhopadhyay/ . I wiele innych. Dla mnie jednym z ciekawszych tematów było szerokie wykorzystanie i wykorzystanie Reproducing Kernel Hilbert Space (RKHS) i chi-kwadrat. Jeśli na tej konferencji istniało modalne podejście do struktur zależności, to był to RKHS.
Typowe podręczniki do statystyki wprowadzającej są zręczne w podejściu do zależności, zwykle opierając się na prezentacjach tego samego zestawu wizualizacji relacji kołowych lub parabolicznych. Bardziej wyrafinowane teksty zagłębią się w Kwartet Anscombe , wizualizację czterech różnych zestawów danych posiadających podobne, proste właściwości statystyczne, ale bardzo odmienne relacje: https://en.wikipedia.org/wiki/Anscombe%27s_quartet
Jedną z wielkich zalet tego warsztatu była wizualizacja i prezentacja różnorodnych struktur zależności i relacji, wykraczających daleko poza standardowe, powierzchowne leczenie. Na przykład Reshefs miał dziesiątki miniaturowych grafik, które reprezentowały jedynie próbkę możliwych nieliniowości. Deep Mukhopadhay miał oszałamiającą grafikę bardzo złożonych relacji, które bardziej przypominały satelitarny widok Himalajów. Autorzy podręczników statystyki i danych muszą wziąć pod uwagę.
Wychodząc z konferencji w Kolumbii wraz z opracowaniem i wizualizacją tych bardzo złożonych struktur zależności w parach, pozostawiłem pytanie o zdolność wielowymiarowych modeli statystycznych do uchwycenia tych nieliniowości i złożoności.