Jaka jest różnica między korelacją a prostą regresją liniową?

W szczególności mam na myśli współczynnik korelacji iloczynu Pearsona.

Jaka jest różnica między korelacją między i a regresją liniową przewidującą z ?T Y $X$$Y$$Y$$X$

Po pierwsze, niektóre podobieństwa :

• znormalizowany współczynnik regresji jest taki sam jak współczynnik korelacji Pearsona
• Kwadrat współczynnika korelacji Pearsona jest taki sam jak w prostej regresji liniowej$R^2$
• Ani prosta regresja liniowa, ani korelacja nie odpowiadają bezpośrednio na pytania o przyczynowość. Ten punkt jest ważny, ponieważ poznałem ludzi, którzy myślą, że mogą magicznie proste regresji pozwalają na stwierdzenie, że powoduje .$X$$Y$

Po drugie, niektóre różnice :

• Równanie regresji (tj. ) można wykorzystać do prognozowania na podstawie wartościY $a + bX$$Y$$X$
• Chociaż korelacja zazwyczaj odnosi się do relacji liniowej, może odnosić się do innych form zależności, takich jak relacje wielomianowe lub prawdziwie nieliniowe
• Podczas gdy korelacja zazwyczaj odnosi się do współczynnika korelacji Pearsona, istnieją inne typy korelacji, takie jak Spearmana.

Oto odpowiedź, którą opublikowałem na stronie graphpad.com :

Korelacja i regresja liniowa nie są takie same. Rozważ te różnice:

• Korelacja określa ilościowo stopień powiązania dwóch zmiennych. Korelacja nie pasuje do linii przechodzącej przez dane.
• Dzięki korelacji nie musisz myśleć o przyczynie i skutku. Po prostu obliczasz, jak dobrze dwie zmienne są ze sobą powiązane. W przypadku regresji musisz pomyśleć o przyczynie i skutku, ponieważ linia regresji jest określana jako najlepszy sposób przewidywania Y na podstawie X.
• W przypadku korelacji nie ma znaczenia, którą z dwóch zmiennych nazwiesz „X”, a którą „Y”. Otrzymasz ten sam współczynnik korelacji, jeśli zamienisz dwa. W przypadku regresji liniowej bardzo ważna jest decyzja, którą zmienną nazywasz „X”, a którą „Y”, ponieważ uzyskasz inną linię najlepiej dopasowaną, jeśli zamienisz te dwie. Linia, która najlepiej przewiduje Y z X, nie jest taka sama jak linia, która przewiduje X z Y (chyba że masz doskonałe dane bez rozproszenia).
• Korelacja jest prawie zawsze stosowana podczas pomiaru obu zmiennych. Rzadko jest właściwe, gdy jedna zmienna jest czymś, co eksperymentujesz. Przy regresji liniowej zmienna X jest zwykle czymś, co eksperymentujesz (czas, stężenie ...), a zmienna Y jest czymś, co mierzysz.

W przypadku pojedynczego predyktora regresji liniowej znormalizowane nachylenie ma taką samą wartość jak współczynnik korelacji. Zaletą regresji liniowej jest to, że związek można opisać w taki sposób, aby można było przewidzieć (na podstawie zależności między dwiema zmiennymi) wynik na przewidywanej zmiennej, biorąc pod uwagę dowolną określoną wartość zmiennej predykcyjnej. W szczególności jedna informacja, regresja liniowa daje ci, że korelacja nie jest przecięciem, wartością przewidywanej zmiennej, gdy predyktorem jest 0.

Krótko mówiąc - dają one identyczne wyniki obliczeniowo, ale jest więcej elementów, które można interpretować w prostej regresji liniowej. Jeśli chcesz po prostu scharakteryzować wielkość związku między dwiema zmiennymi, użyj korelacji - jeśli chcesz przewidzieć lub wyjaśnić swoje wyniki w kategoriach określonych wartości, prawdopodobnie chcesz regresji.

Analiza korelacji określa jedynie ilościowo zależność między dwiema zmiennymi, ignorując zmienną zależną i niezależną. Ale przed zastosowaniem regresji należy sprawdzić wpływ tej zmiennej, którą chcesz sprawdzić na drugiej zmiennej.

Wszystkie dotychczasowe odpowiedzi dostarczają ważnych informacji, ale nie należy zapominać, że można przekształcić parametry jednego w drugi:

$y = mx + b$

Możesz więc przekształcić się w siebie nawzajem, skalując i przesuwając ich parametry.

Przykład w R:

y <- c(4.17, 5.58, 5.18, 6.11, 4.50, 4.61, 5.17, 4.53, 5.33, 5.14)
x <- c(4.81, 4.17, 4.41, 3.59, 5.87, 3.83, 6.03, 4.89, 4.32, 4.69)
lm(y ~ x)
## 
## Call:
## lm(formula = y ~ x)
## 
## Coefficients:
## (Intercept)            x  
##      6.5992      -0.3362
(m <- cov(y, x) / var(x)) # slope of regression
## [1] -0.3362361
cor(y, x) * sd(y) / sd(x) # the same with correlation
## [1] -0.3362361
mean(y) - m*mean(x)       # intercept
## [1] 6.599196

Z korelacji możemy uzyskać jedynie indeks opisujący liniową zależność między dwiema zmiennymi; w regresji możemy przewidzieć związek między więcej niż dwiema zmiennymi i możemy go użyć do zidentyfikowania, które zmienne x mogą przewidzieć zmienną wynikową y .

Cytując Altman DG, „Praktyczne statystyki badań medycznych” Chapman i Hall, 1991, strona 321: „Korelacja ogranicza zbiór danych do pojedynczej liczby, która nie ma bezpośredniego związku z rzeczywistymi danymi. Regresja jest znacznie bardziej przydatną metodą, z wyniki, które są wyraźnie związane z uzyskanym pomiarem. Siła relacji jest wyraźna, a niepewność można wyraźnie zobaczyć z przedziałów ufności lub przedziałów prognoz ”

Analiza regresji to technika badania przyczyny efektu zależności między dwiema zmiennymi. podczas gdy analiza korelacji jest techniką badania kwantyfikacji relacji między dwiema zmiennymi.

Korelacja jest indeksem (tylko jedną liczbą) siły relacji. Regresja jest analizą (oszacowanie parametrów modelu i test statystyczny ich znaczenia) adekwatności konkretnego związku funkcjonalnego. Rozmiar korelacji jest związany z dokładnością prognoz regresji.

Korelacja to termin w statystykach, który określa, czy istnieje związek między dwoma, a następnie stopień relacji. Jego zakres wynosi od -1 do +1. Podczas gdy regresja oznacza powrót do średniej. Na podstawie regresji przewidujemy wartość, utrzymując jedną zmienną zależną, a drugą niezależną, ale należy wyjaśnić wartość zmiennej, którą chcemy przewidzieć.