Czy związek przyczynowy oznacza korelację?

118

Korelacja nie oznacza związku przyczynowego, ponieważ może istnieć wiele wyjaśnień korelacji. Ale czy związek przyczynowy oznacza korelację? Intuicyjnie sądzę, że obecność związku przyczynowego oznacza, że koniecznie istnieje pewna korelacja. Ale moja intuicja nie zawsze dobrze mi służyła w statystykach. Czy związek przyczynowy oznacza korelację?

correlation causality

— Mateusz
źródło

5

Problem polega na tym, że jeśli spojrzysz w słowniku na słowo „sugeruj”, zobaczysz zarówno „sugeruj”, jak i „koniecznie”.

— rolando2

6

Korelacja nie oznacza związku przyczynowego, ale sugestywnie macha brwiami i gestykuluje ukradkiem, jednocześnie mówiąc „patrz tam”. xkcd.com/552

— jchristie

1

Samo pytanie nie wydaje się szukać konkretnej, opartej na faktach odpowiedzi, na co wskazuje użycie tego słowa. Powyższe odniesienie może być ostateczne. Lub bardziej jak prawdopodobnie, ale nie mogę tego udowodnić.

— jchristie

96

Jak stwierdzono w wielu odpowiedziach powyżej, związek przyczynowy nie implikuje korelacji liniowej . Ponieważ wiele koncepcji korelacji pochodzi z pól, które w dużym stopniu opierają się na statystykach liniowych, zwykle korelację uważa się za równą korelacji liniowej. Artykuł w Wikipedii jest dobrym źródłem tego, bardzo podoba mi się ten obraz:

Spójrz na niektóre liczby w dolnym rzędzie, na przykład kształt paraboli w czwartym przykładzie. Tak dzieje się w odpowiedzi na @StasK (z odrobiną hałasu). X może być całkowicie spowodowane przez X, ale jeśli relacja liczbowa nie jest liniowa i symetryczna, nadal będziesz mieć korelację 0.

Słowo, którego szukasz, to wzajemna informacja : jest to rodzaj ogólnej nieliniowej wersji korelacji. W takim przypadku twoje stwierdzenie byłoby prawdziwe: związek przyczynowy oznacza wysoką wzajemną informację .

— Artem Kaznatcheev
źródło

3

Zazwyczaj, ale nie zawsze, prawdą jest, że wysokie wzajemne informacje towarzyszą przyczynowości. Zobacz odpowiedź @ gung, w której „jeśli przyczyna jest doskonale skorelowana z inną zmienną przyczynową o dokładnie odwrotnym skutku”.

— Neil G,

5

Argument dwóch przyczyn o przeciwnych skutkach, które zawsze wzajemnie się znoszą, nie ma dla mnie sensu jako przyczyny . Zawsze mogę założyć, że przyczyną są jednorożce, a gremliny doskonale odwołują swoje wysiłki; Unikam tego, bo to głupie. Ale może źle rozumiem twój punkt widzenia.

— Artem Kaznatcheev,

11

Jego przykład jest bardziej skrajny, niż powinien. Możliwe jest posiadanie zmiennych boolowskich i tak że i są przyczyną , a (mod 2). Zatem bez znajomości , i nie mają wzajemnych informacji. jest nieodkrytym pomieszaczem - to, co nazywacie „gremlinami”, nawet jeśli jest to coś bardzo powszechnego.

A, B

$A, B$

C

$C$

A

$A$

B

$B$

C

$C$

C = A + B

$C = A + B$

B

$B$

A

$A$

C

$C$

B

$B$

— Neil G

2

@NielG Zgadzam się z twoim pierwszym zdaniem, ale nie drugim. To, że A i B powodują C, nie oznacza, że A powoduje C, a B powoduje C. Nie rozumiem, dlaczego przyczyna musi być rozdzielona na &.

— Artem Kaznatcheev

4

Powodem, dla którego A jest mimo to przyczyną C, jest to, że zmiana A nadal będzie zmieniać C. Zatem C jest zależne od A, nawet jeśli nie obserwujemy B.

— Neil G

41

Ścisła odpowiedź brzmi „nie, związek przyczynowy niekoniecznie oznacza korelację”.

Rozważmy i . Związku przyczynowego nie ma nic silniejsza: określa . Jednak korelacja między i wynosi 0. Dowód: Momenty (wspólne) tych zmiennych to: ; ; przy użyciu właściwość standardowego rozkładu normalnego, że wszystkie nieparzyste momenty są równe zeru (powiedzmy, że można je łatwo wyprowadzić z funkcji generującej moment). Zatem korelacja jest równa zero. $X\sim N(0,1)$ $Y=X^2\sim\chi^2_1$ $X$ $Y$ $X$ $Y$ $E[X]=0$ $E[Y]=E[X^2]=1$

C o v [X, Y] = E [(X - 0) (Y - 1)] = E [X Y] - E [X] 1 = E [X^{3}] - E [X] = 0

${\rm Cov}[X,Y]=E[ (X-0)(Y-1) ] = E[XY]-E[X]1 = E[X^3]-E[X]=0$

Aby odnieść się do niektórych komentarzy: jedynym powodem, dla którego ten argument działa, jest to, że rozkład jest wyśrodkowany na zero i symetryczny wokół 0. W rzeczywistości każdy inny rozkład z tymi właściwościami, który miałby wystarczającą liczbę momentów, działałby w miejsce , np. jednolite na lub Laplace . Uproszczony argument polega na tym, że dla każdej dodatniej wartości istnieje równie prawdopodobna ujemna wartość o tej samej wielkości, więc kiedy wyprostujesz , nie możesz powiedzieć, że większe wartości są powiązane z większymi lub mniejszymi wartościami z $X$ $N(0,1)$ $(-10,10)$ $\sim \exp(-|x|)$ $X$ $X$ $X$ $X$ $Y$ . Jeśli jednak weźmiesz powiedzmy , to , , i . To ma sens: dla każdej wartości poniżej zera, jest o wiele bardziej prawdopodobne wartość co jest powyżej zera, więc większe wartości są związane z większymi wartościami . (Ten ostatni ma pozacentralnych dystrybucję ; można wyciągnąć wariancji ze strony Wikipedia i obliczyć korelację jeśli jesteś zainteresowany). $X\sim N(3,1)$ $E[X]=3$ $E[Y]=E[X^2]=10$ $E[X^3]=36$ ${\rm Cov}[X,Y]=E[XY]-E[X]E[Y]=36-30=6\neq0$ $X$ $-X$ $X$ $Y$ $\chi^2$

— StasK
źródło

2

@DQdlM: Standardowa zmienna losowa zanika nieparzyste momenty centralne z powodu równości gęstości. Matthew: Odpowiedź brzmi „nie”, jak wykazał StasK, ponieważ korelacja nie jest jedynym rodzajem zależności.

— Emre

3

@DQdlM: patrz dolny środkowy wykres na pierwszym obrazie na stronie korelacji Wikipedii . To przypadek StasK. Działa tylko jeśli X jest równo rozmieszczone wokół początku (czyli jeśli , związek będzie dość wysokie)

X \sim N (3, 1)

$X\sim N(3,1)$

— naught101

3

PS Cieszę się, że opublikowałeś tę odpowiedź. Trudno było uwierzyć, że pytanie nie trwało tak długo bez tej odpowiedzi. To był dokładnie ten przykład, który przyszedł mi do głowy, kiedy zobaczyłem to pytanie, ale nie miałem czasu, aby je napisać. Cieszę się, że nie spieszysz się. Twoje zdrowie.

— kardynał

3

@cardinal: tak, myślę, że wszyscy nauczyliśmy się tego rodzaju prostych kontrprzykładów w szkole gradowej ... i tak, z wyprowadzenia kowariancji, potrzebujesz tylko pierwszej i trzeciej chwili, aby wyzerować. Jeśli masz nietrywialny przykład rozkładu asymetrycznego, który ma zerową trzecią chwilę (drobno wyregulowane masy prawdopodobieństwa powyżej pięciu lub sześciu punktów nie liczą się), byłbym bardzo ciekawy, aby to zobaczyć.

— StasK

3

Zakłada się tutaj, że „przyczynowość” można wyrazić jako funkcję. To znaczy, powoduje wtedy i tylko wtedy, gdy istnieje mierzalna funkcja, , taka, że . Wydaje mi się, że moglibyśmy spędzić resztę życia na dyskusjach na temat słuszności tego argumentu.

X

$X$

Y

$Y$

f

$f$

Y = f (X)

$Y=f(X)$

31

Zasadniczo tak.

Korelacja nie oznacza związku przyczynowego, ponieważ mogą istnieć inne wyjaśnienia korelacji poza przyczyną. Ale aby A mogło być przyczyną B , muszą być w jakiś sposób powiązane . Oznacza to, że istnieje między nimi korelacja - chociaż ta korelacja niekoniecznie musi być liniowa.

Jak sugerują niektórzy komentatorzy, bardziej odpowiednie jest użycie terminu takiego jak „zależność” lub „powiązanie” niż korelacja. Chociaż, jak wspomniałem w komentarzach, widziałem, że „korelacja nie oznacza związku przyczynowego” w odpowiedzi na analizę daleko wykraczającą poza prostą korelację liniową, a zatem dla celów tego powiedzenia zasadniczo rozszerzyłem „korelację” na dowolne związek między A i B.

— Fomite
źródło

16

Zazwyczaj rezerwuję słowo korelacja dla korelacji liniowej i używam zależności dla relacji nieliniowych, które mogą mieć korelację liniową lub nie.

— Memming

4

@Memming I też, z wyjątkiem faktu, że ludzie kłusują: „Korelacja nie implikuje związku przyczynowego”: dość złożone skojarzenie nieliniowe.

— Fomite

Zapamiętywanie ma rację. Musisz zdefiniować korelację, jeśli nie masz na myśli korelacji Pearsona.

— Neil G

1

@ NeilG Jeśli o to chodzi, można uzyskać liniową korelację Pearsona, przekształcając jedną zmienną lub drugą. Problem polega na tym, że samo powiedzenie jest nadmiernie uproszczone.

— Fomite,

1

@EpiGrad: Oba dobre punkty. W języku potocznym korelacja jest po prostu bardziej równa A zbiega się z większą liczbą B. Myślę, że twoja odpowiedź przydałaby się, gdybyś użył szerokiej definicji korelacji.

— Neil G

23

Dodanie do odpowiedzi @EpiGrad. Myślę, że dla wielu ludzi „korelacja” implikuje „korelację liniową”. Koncepcja korelacji nieliniowej może nie być intuicyjna.

Powiedziałbym więc „nie, nie muszą być skorelowane, ale muszą być powiązane ”. Zgadzamy się co do istoty, ale nie zgadzamy się co do najlepszego sposobu rozpowszechnienia substancji.

Jednym z przykładów takiego związku przyczynowego (przynajmniej ludzie myślą, że jest to związek przyczynowy) jest to, że istnieje prawdopodobieństwo odebrania telefonu i dochodu. Wiadomo, że ludzie na obu krańcach spektrum dochodów rzadziej odbierają telefony niż ludzie na środku. Uważa się, że wzór przyczynowy jest różny dla biednych (np. Unikaj zbieraczy rachunków) i bogatych (np. Unikaj ludzi proszących o datki).

— Peter Flom
źródło

21

Rzeczy są tutaj zdecydowanie dopracowane. Przyczyna nie implikuje korelacji ani nawet zależności statystycznej, przynajmniej nie w prosty sposób, w jaki zwykle o nich myślimy, lub w sposób sugerowany przez niektóre odpowiedzi (po prostu przekształcenie lub itp.). $X$ $Y$

Rozważ następujący model przyczynowy:

X \to Y \leftarrow U

$X \rightarrow Y \leftarrow U$

Oznacza to, że zarówno i przyczyną . $X$ $U$ $Y$

Teraz pozwól:

X \sim b e r n o u l l i (0.5) U \sim b e r n o u l l i (0.5) Y = 1 - X - U + 2 X U

$X \sim bernoulli(0.5)\\ U \sim bernoulli(0.5) \\ Y = 1- X - U + 2XU$

Załóżmy, że nie obserwujemy . Zauważ, że . Oznacza to, że chociaż powoduje (w sensie nieparametrycznego równania strukturalnego), nie widzisz żadnej zależności! Można to zrobić żadnej nieliniowej transformacji chcesz i że nie ujawni żadnych zależności, ponieważ nie ma żadnego marginalny zależność i tutaj. $U$ $P(Y|X) = P(Y)$ $X$ $Y$ $Y$ $X$

Cała sztuka polega na tym, że chociaż i powodują , to nieznacznie ich średni efekt przyczynowy wynosi zero. Widzisz tylko (dokładną) zależność, gdy uwarunkowanie zarówno i razem (pokazuje to również, że i nie implikuje ). Tak, można argumentować, że pomimo tego, że powoduje , marginalny efekt przyczynowy $X$ $U$ $Y$ $X$ $U$ $X\perp Y$ $U\perp Y$ $\{X, U\} \perp Y$ $X$ $Y$ $X$ $Y$ $X$ $Y$ $X$ $Y$ $U$

Krótko mówiąc, powiedziałbym, że: (i) przyczynowość sugeruje zależność; ale (ii) zależność jest zależnością funkcjonalną / strukturalną i może, ale nie musi, przełożyć się na konkretną zależność statystyczną, o której myślisz.

— Carlos Cinelli
źródło

Carlos, słusznie jest powiedzieć, że jeśli znamy pełny zestaw zmiennych zaangażowanych w model przyczynowy, problem (statystyczna niewidzialność) zniknie?

— markowitz,

@markowitz trzeba obserwować wszystko do poziomu deterministycznego, a więc niezbyt realistyczny scenariusz.

— Carlos Cinelli,

Interpretuję twoją odpowiedź jako „tak”. Masz rację, sytuacja, którą przypuszczałem, jest nierealna; Jestem tego świadomy. Pytanie dotyczyło jednak tylko opisanej przez ciebie logiki, a jej ostatecznym celem było jej zrozumienie. Moim przekonaniem było coś w rodzaju „związek przyczynowy implikuje powiązanie statystyczne”, a inne odpowiedzi na tej stronie brzmią następująco. W końcu również twój przykład jest nieco nierealny, ale nie z tego powodu jest nieciekawy. Wydaje mi się, że także ogólnie związek przyczynowy bez powiązania statystycznego jest nieco nierealny, ale teoretycznie interesujący.

— markowitz

1

@markowitz „statystyczna niewidzialność” ma miejsce, gdy model nie jest wierny wykresowi. W przypadku dokładnego anulowania zależy to od konkretnego wyboru parametryzacji, więc niektórzy twierdzą, że jest to mało prawdopodobne. Jednak bliskie anulowanie może być prawdopodobne, ponieważ zależy od sąsiedztwa parametrów, więc wszystko zależy od kontekstu. Chodzi o to, że musisz jasno określić swoje założenia przyczynowe, ponieważ, logicznie rzecz biorąc, związek przyczynowy nie oznacza samego skojarzenia - potrzebujesz dodatkowych założeń.

— Carlos Cinelli,

13

Przyczyną i utrzymuje się być skorelowane o ile brak jest zmiany w ogóle w częstości występowania i wielkości przyczyny i ma zmiany w ogóle w życie przyczynowego. Jedyną inną możliwością byłoby, gdyby przyczyna była doskonale skorelowana z inną zmienną przyczynową o dokładnie odwrotnym skutku. Zasadniczo są to warunki eksperymentu myślowego. W prawdziwym świecie związek przyczynowy będzie implikował zależność w jakiejś formie (chociaż może nie być korelacją liniową ).

— gung
źródło

3

@NeilG, pozwoliłem sobie na uzależnienie od kursywy .

— gung

1

Niektóre teorie implikują to, np. Wiele modeli teorii gier. Niektóre sytuacje empiryczne, w których nie można dostrzec różnicy (chociaż tak naprawdę byłby jeden „gung-kursywa” :-) obejmują „neutralne” scenariusze braku zmiany genu, gdy ewolucyjna presja selekcyjna na dwóch poziomach wskazuje w różnych kierunkach.

— conjugateprior

1

Podoba mi się pierwszy wyjątek, ale nie drugi wyjątek. Lubię myśleć, że naciśnięcie przełącznika powoduje włączenie światła, ale jeśli zdarzy się, że przerzucę przełącznik tylko w czasie awarii zasilania, nic się nie stanie. Być może nie było tak naprawdę związku przyczynowego.

— emory

1

@ naught101, podnosisz dobry punkt, który został omówiony w innym miejscu na tej stronie. Zredagowałem swoją odpowiedź. Jednak kiedy pracowałem z ludźmi, nie sądzę, aby mieli silną koncepcję korelacji jako koniecznie liniową, mimo że im to mówię. Chociaż nie ujęliby tego w tych kategoriach, myślę, że większość ludzi rozumie „korelację” jako bliższą „funkcji”. Niemniej jednak powinienem być jaśniejszy w używaniu terminów i powinienem był od samego początku.

— gung

2

@emory: przyczyną przychodzącego światła jest w rzeczywistości zamknięcie obwodu elektrycznego (co jest spowodowane poruszeniem przełącznika, z warunkami środowiskowymi, w tym działającą siecią). Podczas awarii zasilania naciśnięcie przełącznika nie powoduje zamknięcia obwodu, ponieważ jest uszkodzony w innym miejscu. W pewnym sensie zaciemnienie to efekt „przeciwny”, o którym mówił Gung (tj. Światło jest włączone, zaciemnienie wyłącza je). Można to również uznać za efekt unieważniający.

— naught101

2

Tutaj są świetne odpowiedzi. Artem Kaznatcheev , Fomite i Peter Flom zwracają uwagę, że związek przyczynowy zwykle sugerowałby zależność, a nie korelację liniową. Carlos Cinelli podaje przykład, w którym nie ma zależności, z powodu konfiguracji funkcji generowania.

Chcę dodać punkt o tym, jak ta zależność może zniknąć w praktyce, w zestawach danych, z którymi możesz dobrze pracować. Sytuacje takie jak przykład Carlosa nie ograniczają się do samych „warunków eksperymentu myślowego”.

Zależności zanikają w procesach samoregulacji . Na przykład homeostaza zapewnia, że wewnętrzna temperatura ciała pozostaje niezależna od temperatury w pomieszczeniu. Ciepło zewnętrzne wpływa bezpośrednio na temperaturę ciała, ale wpływa również na układy chłodzące organizmu (np. Pocenie się), które utrzymują temperaturę ciała na stałym poziomie. Jeśli próbujemy temperaturę w niezwykle szybkich odstępach czasu i stosując niezwykle precyzyjne pomiary, mamy szansę zaobserwować zależności przyczynowe, ale przy normalnych częstotliwościach próbkowania temperatura ciała i temperatura zewnętrzna wydają się niezależne.

Procesy samoregulacji są powszechne w systemach biologicznych; są wytwarzane przez ewolucję. Ssaki, które nie regulują temperatury ciała, są usuwane przez dobór naturalny. Badacze pracujący z danymi biologicznymi powinni mieć świadomość, że zależności przyczynowe mogą zniknąć w ich zestawach danych.

— Lizzie Silver
źródło

-3

Czy przyczyna bez jakiejkolwiek korelacji nie byłaby rng?

O ile, jak sugeruje zaakceptowana odpowiedź, nie używasz niesamowicie ograniczonej interpretacji słowa „korelacja”, to jest głupie pytanie - jeśli jedna rzecz „powoduje” drugą, z definicji ma to jakiś wpływ, czy to wzrost populacji lub po prostu intensywność.

dobrze?

Z drugiej strony, możesz dyskutować o czymś bardziej, o widoczności czegoś, na co wpływa coś innego, co, jak sądzę, wyglądałoby na związek przyczynowy, ale tak naprawdę nie mierzysz tego, co myślisz, że mierzysz ...

Więc tak, myślę, że krótka odpowiedź brzmiałaby: „Tak, dopóki nie możesz stworzyć entropii”.

— użytkownik3363155
źródło