Dlaczego korelacja Pearsona z danymi proporcji jest niewłaściwa?

Moduł online, który badam, stwierdza, że nigdy nie należy używać korelacji Pearsona z danymi proporcjonalnymi. Dlaczego nie?

Lub, jeśli czasami jest OK lub zawsze OK, dlaczego?

Jest tak w przypadku, gdy kilka zmiennych sumuje się razem do 1, w każdej obserwacji. Moja odpowiedź będzie na poziomie intuicji; jest to zamierzone (a także, nie jestem ekspertem od danych dotyczących składu).

Pozwól nam mieć iid (stąd skorelowane z zero) zmienne o wartości dodatniej, które następnie sumujemy i przeliczamy jako proporcje tej sumy. Następnie,

• W przypadku dwóch zmiennych V1 V2 , jeśli mówi się, że V1 zmienia się swobodnie, wówczas V2 nie ma miejsca na swobodę (ponieważ V1 + V2 = stała) i jest w pełni ustalona; im większa jest V1, tym mniejsza jest V2, tym mniejsza jest V1, tym większa jest V2. Ich korelacja wynosi i zawsze tak jest.$-1$
• W przypadku 3 zmiennych V1 V2 V3 , jeśli mówi się, że V1 zmienia się swobodnie, wówczas V2 + V3 jest stałe; to znaczy, że wewnątrz (V2 + V3), każda z tych dwóch zmiennych są nadal częściowo wolne: są one na średnich razy stałych każda pełna ustalone w całości. Tak więc, jeśli ktoś z trzech zmiennych jest traktowane jako wolne (jak wzięliśmy V1), każdy z pozostałych dwóch Oczekuje się 1 / 2 stałe. Tak więc korelacja między nimi wynosi - 0,5 . Jest to oczekiwana korelacja; może różnić się w zależności od próbki.$1/2$$1/2$$-0.5$
• W przypadku 4 zmiennych V1 V2 V3 V4 przez samych podstawach mamy, że jeśli weźmie się w jedno z czterech jak wolne następnie oczekuje się jednego z pozostałych do stałej; Tak więc, oczekuje się korelacja między dowolnymi dwoma z czterech - jeden za wolne drugi jako 1 / 3 stałe - jest - 0,333 .$1/3$$1/3$$-0.333$
• W miarę wzrostu liczby (początkowo iid) zmiennych, oczekiwana korelacja par rośnie od ujemnej do , a jej zmienność między próbkami staje się większa.$0$

Link wideo Twojego komentarza nadaje kontekst kompozycjom, które można również nazwać miksturami. W takich przypadkach suma udziału każdego składnika sumuje się do 1. Na przykład powietrze to 78% azotu, 21% tlenu i 1% innych (suma wynosi 100%). Biorąc pod uwagę, że ilość jednego składnika jest całkowicie określana przez pozostałe, dowolne dwa składniki będą miały idealną relację wieloliniową. Na przykład w powietrzu mamy:

$x_{1} + x_{2} + x_{3} = 1$

więc wtedy:

$x_{1} = 1 - x_{2} - x_{3}$

$x_{2} = 1 - x_{1} - x_{3}$

$x_{3} = 1 - x_{1} - x_{2}$

Więc jeśli znasz jakieś dwa elementy, trzeci jest natychmiast znany.

Zasadniczo ograniczenie dotyczące mieszanin wynosi

$\sum_{i=1}^{q} x_{i} = 1$

$x_{i}$

Można obliczyć korelację między dwoma składnikami, ale nie ma ona charakteru informacyjnego , ponieważ zawsze są one skorelowane. Więcej na temat analizy składu można przeczytać w części Analiza danych mierzonych jako skład proporcjonalny .

Można użyć korelacji, gdy dane proporcji pochodzą z różnych domen. Powiedz, że twoja odpowiedź to ułamek martwych pikseli na ekranie LCD. Możesz spróbować skorelować to z, powiedzmy, frakcją helu użytą na etapie przetwarzania chemicznego ekranu.

To głębokie pytanie, które wymaga pewnych subtelności. Postaram się jak najlepiej, ale mimo że opublikowałem na ten temat ( Proporcjonalność: ważna alternatywa dla korelacji dla danych względnych ), zawsze jestem przygotowany na zaskoczenie nowymi spostrzeżeniami na temat analizy danych zawierających jedynie informacje względne.

Jak zauważyli współautorzy tego wątku, korelacja jest notorycznie (w niektórych kręgach) uznawana za nieistotną, gdy jest stosowana do danych kompozycyjnych, które powstają, gdy zbiór komponentów jest ograniczony do zsumowania do stałej (jak widzimy w proporcjach, procentach, części na milion itp.).

Karl Pearson wymyślił w tym kontekście termin fałszywa korelacja . (Uwaga: popularna witryna Tyler Vigen Spurious Correlation nie tyle chodzi o fałszywą korelację, ile o błąd „ korelacja implikuje przyczynę ”).

Sekcja 1.7 Aitchisona (2003) Zwięzły przewodnik po analizie danych kompozycyjnych stanowi klasyczną ilustrację, dlaczego korelacja jest nieodpowiednią miarą powiązania danych kompozycyjnych (dla wygody, cytowaną w niniejszej informacji uzupełniającej) .

Dane kompozycyjne powstają nie tylko wtedy, gdy zestaw składników nieujemnych jest sumowany do stałej; uważa się, że dane są kompozycyjne, ilekroć zawierają jedynie informacje względne.

Myślę, że głównym problemem związanym z korelacją danych zawierających wyłącznie informacje względne jest interpretacja wyniku. Jest to problem, który możemy zilustrować za pomocą jednej zmiennej; powiedzmy „wyprodukowane pączki na jednego dolara PKB” we wszystkich narodach świata. Jeśli wartość jednego narodu jest wyższa niż innego, to dlatego, że

• ich produkcja pączków jest wyższa?
• ich PKB jest niższy?

...kto może powiedzieć?

Oczywiście, jak zauważają ludzie w tym wątku, można obliczyć korelacje tego rodzaju zmiennych jako zmienną opisową. Ale co oznaczają takie korelacje?

Miałem to samo pytanie. Uznałem to odniesienie w biorxiv za przydatne:

Lovell D., V. Pawlowsky-Glahn, J. Egozcue, S. Marguerat, J. Bähler (2014),
„Proporcjonalność: ważna alternatywa dla korelacji dla danych względnych”

W informacjach uzupełniających tego artykułu (Lovell, David i in.; Doi: dx.doi.org/10.1101/008417) autorzy wspominają, że korelacje między względnymi liczebnościami nie dostarczają żadnych informacji w niektórych przypadkach. Dają przykład względnej obfitości dwóch ekspresji mRNA. Na ryc. S2 względne obfitości dwóch różnych mRNA są doskonale ujemnie skorelowane, nawet jeśli korelacja tych dwóch mRNA w wartościach bezwzględnych nie jest ujemnie powiązana (zielone punkty i fioletowe punkty).

Może to może ci pomóc.