Kontrasty wielomianowe dla regresji

Nie rozumiem użycia kontrastów wielomianowych w dopasowaniu regresji. W szczególności mam na myśli kodowanie stosowane Rw celu wyrażenia zmiennej interwałowej (zmienna porządkowa z równo rozmieszczonymi poziomami), opisanej na tej stronie .

W przykładzie tej strony , jeśli dobrze zrozumiałem, R pasuje do modelu zmiennej interwałowej, zwracając pewne współczynniki, które ważą jej liniowy, kwadratowy lub sześcienny trend. Dlatego dopasowanym modelem powinien być:

w r i t e = 52.7870 + 14.2587 X - 0.9680 X^{2} - 0.1554 X^{3},

${\rm write} = 52.7870 + 14.2587X - 0.9680X^2 - 0.1554X^3,$

gdzie powinien przyjmować wartości , , lub zgodnie z innym poziomem zmiennej interwałowej. $X$ $1$ $2$ $3$ $4$

Czy to jest poprawne? A jeśli tak, to jaki był cel kontrastów wielomianowych?

r regression contrasts

— Pippo
źródło

Nie, współczynniki te dotyczą ortogonalnych terminów wielomianowych: napisałeś model dla surowych terminów wielomianowych. Zamień ,

wartości

(z tabeli przeglądowej).

X

$X$

X^{2}

$X^2$

X^{3}

$X^3$

L

$L$

Q

$Q$

C

$C$

— Scortchi - Przywróć Monikę

Drogi @Scortchi, dziękuję za odpowiedź. Chyba rozumiem, co masz na myśli, ale potem nie zrozumiałem szczerze, jak działają te ortogonalne terminy wielomianowe. : P

— Pippo

Co ważne, to, co masz, nie jest do końca dopasowanym modelem. Potrzebujesz albo gigantycznego „kapelusza” nad zapisem (lub E [zapisu]), co oznacza przewidywaną wartość zapisu lub oczekiwaną wartość zapisu; lub potrzebujesz „+ e” na końcu, aby wskazać resztki.

— gung - Przywróć Monikę

@Scortchi Co to jest lub jak znaleźć „tablicę przeglądową”?

— Antoni Parellada,

@AntoniParellada: Jest to tabela na stronie, do której prowadzi OP: ats.ucla.edu/stat/r/library/contrast_coding.htm#ORTHOGONAL . i dostałem się contr.polyw R.

— Scortchi - Przywróć Monikę

Podsumowując (i w przypadku, gdy hiperłącza OP nie będą działać w przyszłości), patrzymy na taki zestaw danych hsb2jako taki:

   id     female race ses schtyp prog read write math science socst
1  70        0    4   1      1    1   57    52   41      47    57
2 121        1    4   2      1    3   68    59   53      63    61
...
199 118      1    4   2      1    1   55    62   58      58    61
200 137      1    4   3      1    2   63    65   65      53    61

które można zaimportować tutaj .

Przekształcamy zmienną readw zmienną uporządkowaną / porządkową:

hsb2$readcat<-cut(hsb2$read, 4, ordered = TRUE)
(means = tapply(hsb2$write, hsb2$readcat, mean))
 (28,40]  (40,52]  (52,64]  (64,76] 
42.77273 49.97849 56.56364 61.83333

Teraz wszystko jest gotowe, aby po prostu uruchomić regularną ANOVA - tak, to jest R, a my w zasadzie mają zmienną zależną ciągły, writeoraz zmienną objaśniającą z wieloma poziomami, readcat. W R możemy użyćlm(write ~ readcat, hsb2)

1. Generowanie macierzy kontrastu:

Istnieją cztery różne poziomy uporządkowanej zmiennej readcat, więc będziemy mieli kontrasty. $n-1=3$

table(hsb2$readcat)

(28,40] (40,52] (52,64] (64,76] 
     22      93      55      30

Najpierw chodźmy po pieniądze i spójrz na wbudowaną funkcję R:

contr.poly(4)
             .L   .Q         .C
[1,] -0.6708204  0.5 -0.2236068
[2,] -0.2236068 -0.5  0.6708204
[3,]  0.2236068 -0.5 -0.6708204
[4,]  0.6708204  0.5  0.2236068

Teraz przeanalizujmy, co działo się pod maską:

scores = 1:4  # 1 2 3 4 These are the four levels of the explanatory variable.
y = scores - mean(scores) # scores - 2.5

$y = \small [-1.5, -0.5, 0.5, 1.5]$

$\small \text{seq_len(n) - 1} = [0, 1, 2, 3]$

n = 4; X <- outer(y, seq_len(n) - 1, "^") # n = 4 in this case

$\small\begin{bmatrix} 1&-1.5&2.25&-3.375\\1&-0.5&0.25&-0.125\\1&0.5&0.25&0.125\\1&1.5&2.25&3.375 \end{bmatrix}$

Co tu się stało? outer(a, b, "^")podnosi elementów az elementami btak, że pierwsze wyniki z kolumny z operacji, , , , a ; druga kolumna z , , i ; trzeci z $\small(-1.5)^0$ $\small(-0.5)^0$ $\small 0.5^0$ $\small 1.5^0$ $\small(-1.5)^1$ $\small(-0.5)^1$ $\small0.5^1$ $\small1.5^1$ $\small(-1.5)^2=2.25$ , , i ; i czwarty, , , i . $\small(-0.5)^2 = 0.25$ $\small0.5^2 = 0.25$ $\small1.5^2 = 2.25$ $\small(-1.5)^3=-3.375$ $\small(-0.5)^3=-0.125$ $\small0.5^3=0.125$ $\small1.5^3=3.375$

Następnie wykonać ortonormalną rozkład tej macierzy i ma kompaktową reprezentację Q ( ). Niektóre z wewnętrznych funkcji funkcji używanych w rozkładzie QR w R używanych w tym poście są wyjaśnione tutaj . $QR$ c_Q = qr(X)$qr

$\small\begin{bmatrix} -2&0&-2.5&0\\0.5&-2.236&0&-4.584\\0.5&0.447&2&0\\0.5&0.894&-0.9296&-1.342 \end{bmatrix}$

... z których zapisujemy tylko przekątną ( z = c_Q * (row(c_Q) == col(c_Q))). Co leży w przekątna: tylko „dolne” wpisy z część rozkładu. Właśnie? no nie ... Okazuje się, że przekątna górnej trójkątnej macierzy zawiera wartości własne macierzy! $\bf R$ $QR$

Następnie wywołujemy następującą funkcję: raw = qr.qy(qr(X), z)wynik z których mogą być replikowane „ręcznie” przez dwie operacje: 1. Włączanie zwartą postać , tj , do , transformację, jaką można uzyskać z , i 2. Przeprowadzenie mnożenie macierzy , jak w . $Q$ qr(X)$qr $Q$ Q = qr.Q(qr(X)) $Qz$ Q %*% z

Co najważniejsze, pomnożenie przez wartości własne nie zmienia ortogonalności składowych wektorów kolumnowych, ale biorąc pod uwagę, że wartość bezwzględna wartości własnych pojawia się w porządku malejącym od góry z lewej strony do prawej u dołu, mnożenie będzie miało tendencję do zmniejszania wartości w kolumnach wielomianowych wyższego rzędu: $\bf Q$ $\bf R$ $Qz$

Matrix of Eigenvalues of R
     [,1]      [,2] [,3]      [,4]
[1,]   -2  0.000000    0  0.000000
[2,]    0 -2.236068    0  0.000000
[3,]    0  0.000000    2  0.000000
[4,]    0  0.000000    0 -1.341641

Porównać wartości w kolejnych wektorów kolumny (kwadratowe i sześcienne) przed i po tym, jak operacji faktoryzacji, i niedotkniętych chorobą pierwszych dwóch kolumn. $QR$

Before QR factorization operations (orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5 2.25 -3.375
[2,]    1 -0.5 0.25 -0.125
[3,]    1  0.5 0.25  0.125
[4,]    1  1.5 2.25  3.375


After QR operations (equally orthogonal col. vec.)
     [,1] [,2] [,3]   [,4]
[1,]    1 -1.5    1 -0.295
[2,]    1 -0.5   -1  0.885
[3,]    1  0.5   -1 -0.885
[4,]    1  1.5    1  0.295

Wreszcie nazywamy (Z <- sweep(raw, 2L, apply(raw, 2L, function(x) sqrt(sum(x^2))), "/", check.margin = FALSE))przekształcanie macierzy raww wektory ortonormalne :

Orthonormal vectors (orthonormal basis of R^4)
     [,1]       [,2] [,3]       [,4]
[1,]  0.5 -0.6708204  0.5 -0.2236068
[2,]  0.5 -0.2236068 -0.5  0.6708204
[3,]  0.5  0.2236068 -0.5 -0.6708204
[4,]  0.5  0.6708204  0.5  0.2236068

Ta funkcja po prostu „normalizuje” macierz, dzieląc ( "/") kolumnowo każdy element przez . Można go zatem rozłożyć na dwa etapy:, w wyniku czego, które są mianownikami dla każdej kolumny wgdzie każdy element w kolumnie jest podzielony przez odpowiednią wartość. $\small\sqrt{\sum_\text{col.} x_i^2}$ $(\text{i})$ apply(raw, 2, function(x)sqrt(sum(x^2)))2 2.236 2 1.341 $(\text{ii})$ $(\text{i})$

W tym momencie wektory kolumnowe stanowią podstawę ortonormalną z , aż pozbędziemy pierwszej kolumny, która będzie przechwytywać i mamy powielana wynik : $\mathbb{R}^4$ contr.poly(4)

$\small\begin{bmatrix} -0.6708204&0.5&-0.2236068\\-0.2236068&-0.5&0.6708204\\0.2236068&-0.5&-0.6708204\\0.6708204&0.5&0.2236068 \end{bmatrix}$

Kolumny tej macierzy są ortonormalne , co może być pokazane na przykład przez (sum(Z[,3]^2))^(1/4) = 1i z[,3]%*%z[,4] = 0(nawiasem mówiąc, to samo dotyczy wierszy). Każda kolumna jest wynikiem podniesienia początkowych do , i mocy, tj. Liniowej , kwadratowej i sześciennej . $\text{scores - mean}$ $1$ $2$ $3$

2. Które kontrasty (kolumny) znacząco przyczyniają się do wyjaśnienia różnic między poziomami w zmiennej objaśniającej?

Możemy po prostu uruchomić ANOVA i spojrzeć na podsumowanie ...

summary(lm(write ~ readcat, hsb2))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  52.7870     0.6339  83.268   <2e-16 ***
readcat.L    14.2587     1.4841   9.607   <2e-16 ***
readcat.Q    -0.9680     1.2679  -0.764    0.446    
readcat.C    -0.1554     1.0062  -0.154    0.877

... aby zobaczyć, że istnieje liniowy efekt readcaton write, dzięki czemu oryginalne wartości (w trzeciej części kodu na początku postu) można odtworzyć jako:

coeff = coefficients(lm(write ~ readcat, hsb2))
C = contr.poly(4)
(recovered = c(coeff %*% c(1, C[1,]),
               coeff %*% c(1, C[2,]),
               coeff %*% c(1, C[3,]),
               coeff %*% c(1, C[4,])))
[1] 42.77273 49.97849 56.56364 61.83333

... lub ...

... lub znacznie lepiej ...

Będąc ortogonalnych kontrastów sumą ich składników dodaje się do zera dla stałych, a produkt kropka dowolnych dwóch z nich jest równa zero. Gdybyśmy mogli je wizualizować, wyglądałyby mniej więcej tak: $\displaystyle \sum_{i=1}^t a_i = 0$ $a_1,\cdots,a_t$

$X^0, X^1, \cdots. X^n$

Graficznie jest to znacznie łatwiejsze do zrozumienia. Porównaj rzeczywiste średnie według grup w dużych kwadratowych czarnych blokach z przewidywanymi wartościami i zobacz, dlaczego optymalne przybliżenie linii prostej przy minimalnym udziale kwadratowych i sześciennych wielomianów (z krzywymi aproksymowanymi tylko metodą less) jest optymalne:

Gdyby, dla samego efektu, współczynniki ANOVA były tak duże dla kontrastu liniowego dla innych przybliżeń (kwadratowych i sześciennych), przedstawiony poniżej nonsensowny wykres wyraźniej przedstawiłby wykresy wielomianowe każdego „wkładu”:

Kod jest tutaj .

— Antoni Parellada
źródło

+1 Wow. Czy tę odpowiedź (do tej pory jej nie czytałem) można postrzegać jako odpowiedź na moje stare, zapomniane pytanie zbyt stats.stackexchange.com/q/63639/3277 ?

— ttnphns

(+1) @ttnphns: Prawdopodobnie pasowałoby tam jeszcze lepiej.

— Scortchi - Przywróć Monikę

Tylko wskazówka: możesz skomentować mnie tam z linkiem do tutaj; lub udzielić tam odpowiedzi - którą prawdopodobnie zaakceptuję.

— ttnphns 9.04.16

@ttnphns i @Scortchi Dziękujemy! Spędziłem sporo czasu próbując zrozumieć te koncepcje i nie spodziewałem się dużej reakcji. To bardzo pozytywna niespodzianka. Myślę, że są pewne zmarszczki do wyjaśnienia w związku z wyjaśnieniem qr.qy()funkcji, ale zdecydowanie postaram się sprawdzić, czy mogę powiedzieć coś minimalnie spójnego na twoje pytanie, jak tylko będę miał trochę czasu.

— Antoni Parellada,

@Elvis Próbowałem wybrać dobre zdanie podsumowujące i umieścić je gdzieś w poście. Myślę, że jest to dobry punkt i wymaga dobrego matematycznego wyjaśnienia, ale w tym momencie może być zbyt wiele do dalszego rozwijania.

— Antoni Parellada

Użyję twojego przykładu, aby wyjaśnić, jak to działa. Zastosowanie kontrastów wielomianowych z czterema grupami daje następujące.

\begin{aligned} mi w r ja t {mi}_{1} & = μ - 0,67 L. + 0,5 Q - 0,22 do \\ mi w r ja t {mi}_{2)} & = μ - 0,22 L. - 0,5 Q + 0,67 do \\ mi w r ja t {mi}_{3)} & = μ + 0,22 L. - 0,5 Q - 0,67 do \\ mi w r ja t {mi}_{4} & = μ + 0,67 L. + 0,5 Q + 0,22 do \end{aligned}

$\begin{align} E\,write_1 &= \mu -0.67L + 0.5Q -0.22C\\ E\,write_2 &= \mu -0.22L -0.5Q + 0.67C\\ E\,write_3 &= \mu + 0.22L -0.5Q -0.67C\\ E\,write_4 &= \mu + 0.67L + 0.5Q + 0.22C \end{align}$

Gdzie pierwsze równanie działa dla grupy najniższych wyników czytania, a czwarte dla grupy najlepszych wyników czytania. możemy porównać te równania do podanych przy użyciu normalnej regresji liniowej (założenie $read_i$ jest ciągły)

mi w r ja t {mi}_{ja} = μ + r mi za {re}_{ja} L. + r mi za {re}_{ja}^{2)} Q + r mi za {re}_{ja}^{3)} do

$E\,write_i=\mu+read_iL + read_i^2Q+read_i^3C$

Zwykle zamiast $L,Q,C$ miałbyś $\beta_1, \beta_2, \beta_3$ i napisane na pierwszej pozycji. Ale ten tekst przypomina ten z kontrastami wielomianowymi. Więc liczby przed $L, Q, C$ są w rzeczywistości zamiast $read_i, read_i^2, read_i^3$ . Współczynniki można zobaczyć wcześniej $L$ wcześniej trend liniowy $Q$ kwadratowy i przedtem $C$ sześcienny.

Następnie R szacuje parametry $\mu, L,Q,C$ i daje ci

\hat{μ} = 52,79, \hat{L.} = 14,26, \hat{Q} = - 0,97, \hat{do} = - 0,16

$\widehat{\mu}=52.79, \widehat{L}=14.26, \widehat{Q}=−0.97, \widehat{C}=−0.16$ Gdzie

\hat{μ} = \frac{1}{4} \sum_{i = 1}^{4} E w r i t e_{i}

$\widehat{\mu}=\frac{1}{4}\sum_{i=1}^4E\,write_i$ i oszacowane współczynniki

\hat{μ}, \hat{L}, \hat{Q}, \hat{C}

$\widehat{\mu}, \widehat{L}, \widehat{Q}, \widehat{C}$ są czymś w rodzaju szacunków przy normalnej regresji liniowej. Na podstawie danych wyjściowych można sprawdzić, czy szacowane współczynniki znacznie różnią się od zera, dzięki czemu można było przewidzieć pewien trend liniowy, kwadratowy lub sześcienny.

W tym przykładzie jest to tylko niezerowa wartość $\widehat{L}$ . Twój wniosek może być następujący: Widzimy, że lepsza punktacja w pisaniu zależy liniowo od wyniku czytania, ale nie ma znaczącego efektu kwadratowego lub sześciennego.

— Fimba
źródło