Znaczenie średniego współczynnika korelacji

Zastrzeżenie: jeśli uznasz to pytanie za zbyt podobne do innego, cieszę się, że zostało połączone. Jednak nigdzie indziej nie znalazłem satysfakcjonującej odpowiedzi (i nie mam jeszcze „reputacji” do komentowania lub głosowania), więc pomyślałem, że najlepiej byłoby zadać sobie nowe pytanie.

Moje pytanie brzmi: Dla każdego z 12 badanych ludzi obliczyłem współczynnik korelacji (rho Spearmana) między 6 poziomami zmiennej niezależnej X, a odpowiednimi obserwacjami zmiennej zależnej Y. (Uwaga: poziomy X nie są równe między podmiotami.) Mój hipoteza zerowa jest taka, że w populacji ogólnej korelacja ta wynosi zero. Tę hipotezę przetestowałem na dwa sposoby:

Za pomocą testu t dla jednej próby współczynników korelacji uzyskanych od moich 12 badanych.
Przez wyśrodkowanie moich poziomów X i obserwacji Y w taki sposób, że dla każdego uczestnika średnia (X) = 0 i średnia (Y) = 0, a następnie obliczenie korelacji na podstawie danych zagregowanych (72 poziomy X i 72 obserwacje Y) .

Teraz, czytając o pracy ze współczynnikami korelacji (tutaj i gdzie indziej) zacząłem wątpić, czy pierwsze podejście jest poprawne. W szczególności widziałem następujące równanie pojawiające się w kilku miejscach, przedstawione (najwyraźniej) jako test t dla średnich współczynników korelacji:

t = \frac{r}{S E_{r}} = \frac{\sqrt{n - 2}}{\sqrt{1 - r^{2}}}

$t = \frac{r}{SE_{r}} = \frac{\sqrt{n-2}}{\sqrt{1-r^{2}}}$

gdzie byłby średnim współczynnikiem korelacji (i załóżmy, że uzyskaliśmy to przy użyciu transformacji Fishera dla współczynników na podmiot), a liczby obserwacji. Intuicyjnie wydaje mi się to niewłaściwe, ponieważ nie obejmuje żadnej miary zmienności między podmiotami. Innymi słowy, gdybym miał 3 współczynniki korelacji, uzyskałbym tę samą statystykę t, niezależnie od tego, czy byłyby to [0,1, 0,5, 0,9] lub [0,45 0,5 0,55], czy dowolny zakres wartości o tej samej średniej (i ) $r$ $n$ $n=3$

Podejrzewam zatem, że powyższe równanie w rzeczywistości nie ma zastosowania podczas testowania istotności średniej współczynników korelacji, ale podczas testowania istotności pojedynczego współczynnika korelacji na podstawie obserwacji 2 zmiennych. $n$

Czy ktoś może tutaj potwierdzić tę intuicję lub wyjaśnić, dlaczego jest ona błędna? Ponadto, jeśli ta formuła nie dotyczy mojego przypadku, to czy ktoś wie / właściwe podejście? A może mój własny test numer 2 jest już ważny? Każda pomoc jest mile widziana (w tym wskazówki do poprzednich odpowiedzi, które mogłem przeoczyć lub źle zinterpretować).

correlation statistical-significance fisher-transform

— Ruben van Bergen
źródło

Wartość

Pearsona jest niewrażliwa na transformacje centrowania i skalowania, więc myślę, że centrowanie nie ma znaczenia dla twojego pytania. Na przykład cor (

) = cor (

r

$r$

X, Y

$X,Y$

X, Y - \bar{Y}

$X,Y-\bar{Y}$

X, Y + 1000

$X,Y+1000$

X, Y \times 1000

$X,Y\times 1000$

— Alexis,

Zgadzam się z Tobą. Dlatego zinterpretowałem centrowanie jako „centrowanie każdej zmiennej osobno przed złożeniem ich razem”.

— Federico Tedeschi,

@FedericoTedeschi Czy „nie centruje każdej zmiennej osobno przed złożeniem ich razem”, co oznacza ?

Y - \bar{Y}

$Y-\bar{Y}$

— Alexis

@Alexis Odpowiedziałem ci na dole mojej odpowiedzi (napisanie jej w komentarzu byłoby zbyt długie, a także musiałbym ją poprawić kilka razy z powodu problemu WYSINWYG).

— Federico Tedeschi

Odpowiedzi:

Lepszym podejściem do analizy tych danych jest zastosowanie modelu mieszanego (czyli modelu efektów mieszanych, modelu hierarchicznego) z subjectefektem losowym (przechwytywanie losowe lub przechwytywanie losowe + nachylenie). Podsumowując inną odpowiedź :

Jest to zasadniczo regresja, która modeluje pojedynczy ogólny związek, jednocześnie pozwalając, aby związek ten różnił się między grupami (ludźmi). Takie podejście korzysta z częściowego gromadzenia danych i bardziej efektywnie wykorzystuje dane.

— mkt - Przywróć Monikę
źródło

-1

Zakładam, że zmiennych ( i ) jest takich samych dla wszystkich osób (w rzeczywistości nie jestem pewien, czy rozumiem, co masz na myśli mówiąc, że poziomy nie są równe między podmiotami: Mam nadzieję, że jesteś odnoszące się do niezależności między zakresami zmiennych, a nie o tym, które zmienne są mierzone dla każdej osoby). Tak, pokazana formuła odnosi się do współczynnika korelacji między dwiema zmiennymi. $12$ $6$ $X$ $6$ $Y$

W punkcie 2 mówisz o normalizacji: Myślę, że miałoby to sens, gdybyś zrobił to dla każdej z zmiennych osobno. Jednak mimo to problem z tym podejściem polega na tym, że nie kontroluje on zależności wewnątrz jednostki. $6*2$

Uważam, że twoje podejście 1 również nie jest poprawne, ponieważ byłby to test wśród zmiennych o rozkładzie zaledwie stopniami swobody, więc nie sądzę, abyś mógł zastosować Centralne Twierdzenie Graniczne w tym przypadku. $6$ $t$ $10$

Być może, przy większych ilościach, można użyć efektu losowego podejście, pozwalające na losowej stoku i jednocześnie testując zarówno null średniego współczynnika (od na ) i nieistnienia losowym współczynnikiem. Uważam jednak, że 6 zmiennych i 12 obserwacji to za mało, aby to zrobić. $X_i$ $Y_i$

Sugeruję, abyś postrzegał to jako test na 6 wartościach (staje się 12, jeśli weźmiesz również pod uwagę wartości poniżej przekątnej) macierzy korelacji wśród zmiennych (zarówno i ), tj. Tych na przekątnej drugiej (i równoważnie trzeciej) ćwiartki. W związku z tym wykonałbym test stosunku prawdopodobieństwa między modelem ograniczonym i nieograniczonym. $12$ $X$ $Y$

@Alexis Rozumiem, że centrowanie , , zastępując je $X_1, \dots, X_6$ $Y_1, \dots, Y_6$ sensu (chyba, że to także sensowne, aby podzielić je przez ich„e). W ten sposób zmiennei(utworzone przez uwzględnienietak, jakby były wystąpieniami zmiennej unikalnej, i to samo dla ) miałyby wartośćśrednią. Przeciwnie, jeślinajpierwzbudujemy dwie zmienne(utworzone przez rozważenie $X_1^*=X_1-\bar{X_1}, \dots, X_6^*=X_6-\bar{X_6}, Y_1^*=Y_1-\bar{Y_1}, \dots, Y_6^*=Y_6-\bar{Y_6}$ $SE$ $X^*$ $Y^*$ $X_i^*, 1 \leq i \leq 6$ $Y_i^*$ $0$ $X, Y$ tak, jakby były wystąpieniami zmiennej unikalnej, i to samo dla ), to oczywiście odjęcie średniej (i także podzielenie przez SE i ) nie zmieniłoby rzeczy. $X_i, 1 \leq i \leq 6$ $Y_i$ $X$ $Y$

EDYCJA 01/01/18

Niech zmienną, a ( ) osobnika. Załóżmy, że mamy: $i$ $j$ $1\leq j\leq 12$

; $X_{1j}=Y_{1j}=10, \forall j$

; $X_{2j}=Y_{2j}=8, \forall j$

; $X_{3j}=Y_{3j}=6, \forall j$

; $X_{4j}=Y_{4j}=4, \forall j$

; $X_{5j}=Y_{5j}=2, \forall j$

. $X_{6j}=-Y_{6j}=j, \forall j$

Korelacja w tym przypadku powinna wynosić . $0.5428$

Jeśli wyśrodkujemy każdą zmienną, biorąc pod uwagę, że dla , zarówno , jak i nie mają zmian, otrzymujemy: . Jeśli chodzi o , otrzymujemy wartości $1 \leq i \leq 5$ $X_i$ $Y_i$ $X_{ij}^*=Y_{ij}^*=0$ $i=6$ (tj. dla : i dokładnie odwrotnie dla ) . Ponieważ i , otrzymujemy: $X_{6j}^*=j-6.5, Y_{j6}^*=(13-j)-6.5=6.5-j$ $X$ $-5.5, -4.5, -3.5, -2.5, -1.5, -0.5, 0.5, 1.5, 2.5, 3.5, 4.5, 5.5$ $Y$ $0=-0$ $j-6.5=-(6.5-j)$ , co oznacza korelację wynoszącą. $X_{ij}^*=-Y_{ij}^* \forall i,j \rightarrow X^*=-Y^*$ $-1$

— Federico Tedeschi
źródło

Zgadzam się z tobą, jeśli zastosujemy się do drugiej procedury. Dlatego uważam, że Ruben van Bergen miał na myśli to, co opisałem w pierwszej procedurze. W tym przypadku mamy:

, ale

c o r (X_{i}, Y_{i}) = c o r (X_{i}^{*}, Y_{i}^{*}), \forall i

$cor(X_i,Y_i)=cor(X_i^*,Y_i^*), \forall i$

c o r (X, Y) = c o r (X^{*}, Y^{*})

$cor(X,Y)=cor(X^*,Y^*)$ nie jest ogólnie prawdą. Edytuję swój post, aby pokazać kontrprzykład.

— Federico Tedeschi

Wartości dające korelację

wynoszą:

0.5428

$0.5428$

;

X = 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12

$X=10,10,10,10,10,10,10,10,10,10,10,10,8,8,8,8,8,8,8,8,8,8,8,8,6,6,6,6,6,6,6,6,6,6,6,6,4,4,4,4,4,4,4,4,4,4,4,4,2,2,2,2,2,2,2,2,2,2,2,2,1,2,3,4,5,6,7,8,9,10,11,12$

. Nie ma znaczenia, czy korelacja rzeczywiście wynosi

Y = 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 10, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 8, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 6, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1

$Y=10,10,10,10,10,10,10,10,10,10,10,8,8,8,8,8,8,8,8,8,8,8,8,6,6,6,6,6,6,6,6,6,6,6,6,4,4,4,4,4,4,4,4,4,4,4,4,2,2,2,2,2,2,2,2,2,2,2,2,12,11,10,9,8,7,6,5,4,3,2,1$

0.5428

$0.5428$ , ponieważ wyraźnie różni się od

- 1

$-1$

— Federico Tedeschi,

X^{*} = 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, - 5.5, - 4.5, - 3.5, - 2.5, - 1.5, - 0.5, 0.5, 1.5, 2.5, 3.5, 4.5, 5.5

$X^*=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,-5.5,-4.5,-3.5,-2.5,-1.5,-0.5,0.5,1.5,2.5,3.5,4.5,5.5$ and

X^{*} = 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5.5, 4.5, 3.5, 2.5, 1.5, 0.5, - 0.5, - 1.5, - 2.5, - 3.5, - 4.5, - 5.5

$X^*=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,5.5,4.5,3.5,2.5,1.5,0.5,-0.5,-1.5,-2.5,-3.5,-4.5,-5.5$ is

- 1

$-1$ . The fact you say that

X = 1, \dots, 12

$X=1,\dots, 12$ and

Y = 12, \dots, 1

$Y=12, \dots, 1$ leads to

c o r (X, Y) = c o r (X^{*}, Y^{*}) = - 1

$cor(X,Y)=cor(X^*,Y^*)=-1$ is true, but this only means that

c o r (X_{i}, Y_{i}) = c o r (X_{i}^{*}, Y_{i}^{*})

$cor(X_i,Y_i)=cor(X^*_i,Y^*_i)$ , that is something I've already written.

— Federico Tedeschi

Of course

c o r (X; Y) = c o r (X - \bar{X}; Y - \bar{Y})

$cor(X;Y)=cor(X-\bar{X};Y-\bar{Y})$ : this is a consequence of the invariance of correlation to linear transformations. This is something I have agreed upon already in my first comment, "I agree with you. That's why I interpreted centering as "centering each variable separately before putting them together". "– Federico Tedeschi Dec 27 '17 at 10:27

— Federico Tedeschi

Perhaps, I do not understand what "centering each variable separately before putting them together" means. To me,

X - \bar{X}

$X - \bar{X}$ means

X_{1} - \bar{X}, X_{2} - \bar{X}, \dots, X_{n} - \bar{X}

$X_{1} - \bar{X}, X_{2}-\bar{X},\dots, X_{n}-\bar{X}$ is "centering each variable separately before putting them together". Can you help me understand our apparent different understanding?

— Alexis