Natknąłem się na bardzo dobry tekst na Bayes / MCMC. IT sugeruje, że standaryzacja zmiennych niezależnych sprawi, że algorytm MCMC (Metropolis) będzie bardziej wydajny, ale może także zmniejszyć (wiele) kolinearność. Czy to może być prawda? Czy powinienem to robić standardowo (przepraszam).

Kruschke 2011, Doing Bayesian Data Analysis. (AP)

edycja: na przykład

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

Nie zmniejszyło to korelacji, a zatem ograniczało liniową zależność wektorów.

Co się dzieje?

R

To wcale nie zmienia kolinearności między głównymi efektami. Skalowanie też nie. Żadna transformacja liniowa tego nie zrobi. Zmienia się korelacja między głównymi efektami i ich interakcjami. Nawet jeśli A i B są niezależne z korelacją 0, korelacja między A i A: B będzie zależała od czynników skali.

Wypróbuj poniższe w konsoli R. Pamiętaj, że rnormpo prostu generuje losowe próbki z rozkładu normalnego z ustawionymi wartościami populacji, w tym przypadku 50 próbek. scaleFunkcja standaryzuje próbkę do średniej 0 i 1 SD.

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

Przypadkowa korelacja jest bliska 0 dla tych niezależnych próbek. Teraz znormalizuj do średniej 0 i SD 1.

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

Ponownie, jest to dokładnie ta sama wartość, mimo że średnia wynosi 0, a SD = 1 dla obu ai b.

cor(a, a*b)
# [1,] -0.01038144

Jest to również bardzo blisko zera (a * b można uznać za termin interakcji)

Zwykle jednak SD i średnia predyktorów różnią się nieco, więc zmieńmy się b. Zamiast pobrać nową próbkę przeskaluję oryginał, baby uzyskać średnią 5, a SD 2.

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

Znów ta znajoma korelacja, którą widzieliśmy przez cały czas. Skalowanie nie ma wpływu na korelację między ai b. Ale!!

cor(a, a*b)
# [1,] 0.9290406

Teraz będzie to miało znaczną korelację, którą można usunąć poprzez centrowanie i / lub standaryzację. Zwykle wybieram tylko centrowanie.

Jak już wspomnieli inni, normalizacja nie ma nic wspólnego z kolinearnością.

Idealna kolinearność

$X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

ma średnią i odchylenie standardowe biorąc pod uwagę właściwości oczekiwanej wartości i wariancji, że , i , , gdzie oznacza rv, a są stałymi.$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

Mówimy, że dwie zmienne i są idealnie współliniowe, jeśli istnieją takie wartości i które$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

co następuje, jeśli ma średnią i odchylenie standardowe , to ma średnią i standardowe odchylenie . Teraz, gdy standaryzujemy obie zmienne (usuwamy ich średnie i dzielimy przez standardowe odchylenia), otrzymujemy ...μ X σ X Y μ Y = λ 0 + λ 1 μ X σ Y = λ 1 σ X Z X = Z $X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

Korelacja

Oczywiście idealna kolinearność nie jest czymś, co często byśmy widzieli, ale problemem mogą być również silnie skorelowane zmienne (i są to gatunki spokrewnione z kolinearnością). Czy normalizacja wpływa na korelację? Porównaj następujące wykresy pokazujące dwie skorelowane zmienne na dwóch wykresach przed i po skalowaniu:

Można dostrzec różnicę? Jak widać celowo usunąłem etykiety osi, aby przekonać cię, że nie oszukuję, zobacz wykresy z dodanymi etykietami:

Z matematycznego punktu widzenia, jeśli istnieje korelacja

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

potem mamy zmienne współliniowe

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

teraz, ponieważ ,$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

Podczas gdy ze zmiennymi znormalizowanymi

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

ponieważ ...$Z_X = Z_Y$

Na koniec zauważ, że to , o czym mówi Kruschke , to to, że standaryzacja zmiennych ułatwia życie samplerowi Gibbsa i prowadzi do zmniejszenia korelacji między przecięciem i nachyleniem w prezentowanym modelu regresji. Nie twierdzi, że standaryzacja zmiennych zmniejsza kolinearność między zmiennymi.

Standaryzacja nie wpływa na korelację między zmiennymi. Pozostają dokładnie takie same. Korelacja przechwytuje synchronizację kierunku zmiennych. W standaryzacji nie ma nic, co zmienia kierunek zmiennych.

Jeśli chcesz wyeliminować wielokoliniowość między swoimi zmiennymi, sugeruję zastosowanie analizy głównej składowej (PCA). Jak wiadomo PCA jest bardzo skuteczne w eliminowaniu problemu wielokoliniowości. Z drugiej strony PCA sprawia, że ​​połączone zmienne (główne składniki P1, P2 itd.) Są raczej nieprzejrzyste. Model PCA jest zawsze o wiele trudniejszy do wyjaśnienia niż bardziej tradycyjny model wielowymiarowy.

Nie zmniejsza kolinearności, może zmniejszać VIF. Zwykle używamy VIF jako wskaźnika obaw o kolinearność.

Źródło: http://blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

Standaryzacja jest powszechnym sposobem ograniczenia kolinearności. (Powinieneś być w stanie bardzo szybko zweryfikować, czy to działa, wypróbowując go na kilku parach zmiennych). To, czy robisz to rutynowo, zależy od tego, jak duży jest problem kolinearności w twoich analizach.

Edycja: Widzę, że byłem w błędzie. To, co robi standaryzacja, polega jednak na zmniejszeniu kolinearności z warunkami produktu (warunki interakcji).