Jak dokładnie „kontroluje się inne zmienne”?

Oto artykuł, który uzasadnił to pytanie: Czy niecierpliwość czyni nas grubymi?

Podobał mi się ten artykuł, który ładnie pokazuje koncepcję „kontrolowania innych zmiennych” (iloraz inteligencji, kariera, dochód, wiek itp.) W celu jak najlepszego wyodrębnienia prawdziwej relacji między tylko dwiema wymienionymi zmiennymi.

Czy możesz mi wyjaśnić, jak faktycznie kontrolujesz zmienne w typowym zbiorze danych?

Na przykład, jeśli masz 2 osoby o tym samym poziomie niecierpliwości i BMI, ale o różnych dochodach, jak traktujesz te dane? Czy dzielisz je na różne podgrupy, które mają podobny dochód, cierpliwość i BMI? Ale ostatecznie istnieją dziesiątki zmiennych, które należy kontrolować (iloraz inteligencji, kariera, dochód, wiek itp.) Jak następnie agregujesz te (potencjalnie) setki podgrup? W rzeczywistości mam wrażenie, że to podejście szczeka na niewłaściwe drzewo, teraz, kiedy to zwerbalizowałem.

Dzięki, że rzuciłeś trochę światła na coś, z czego od kilku lat chciałem dotrzeć do dna ...!

Istnieje wiele sposobów kontrolowania zmiennych.

Najłatwiejszym i jednym z tych, które wymyśliłeś, jest rozwarstwienie danych, dzięki czemu masz podgrupy o podobnych cechach - istnieją wtedy metody na połączenie tych wyników, aby uzyskać jedną „odpowiedź”. Działa to, jeśli masz bardzo małą liczbę zmiennych, które chcesz kontrolować, ale jak słusznie odkryłeś, szybko się rozpada, gdy dzielisz dane na coraz mniejsze części.

Bardziej powszechnym podejściem jest uwzględnianie zmiennych, które chcesz kontrolować w modelu regresji. Na przykład, jeśli masz model regresji, który można koncepcyjnie opisać jako:

BMI = Impatience + Race + Gender + Socioeconomic Status + IQ

Oszacowanie, jakie otrzymasz za niecierpliwość, będzie efektem niecierpliwości w obrębie poziomów innych zmiennych towarzyszących - regresja pozwala zasadniczo wygładzić miejsca, w których nie masz dużo danych (problem z podejściem stratyfikacyjnym), choć należy to zrobić z ostrożnością.

Istnieją jeszcze bardziej wyrafinowane sposoby kontrolowania innych zmiennych, ale istnieje prawdopodobieństwo, że ktoś powie „kontrolowany dla innych zmiennych”, co oznacza, że ​​zostały one uwzględnione w modelu regresji.

W porządku, poprosiłeś o przykład, na którym możesz popracować, aby zobaczyć, jak to działa. Przeprowadzę cię krok po kroku. Wszystko czego potrzebujesz to zainstalowana kopia R.

Po pierwsze potrzebujemy danych. Wytnij i wklej następujące fragmenty kodu do R. Pamiętaj, że to wymyślony przykład, który wymyśliłem na miejscu, ale pokazuje proces.

covariate <- sample(0:1, 100, replace=TRUE)
exposure  <- runif(100,0,1)+(0.3*covariate)
outcome   <- 2.0+(0.5*exposure)+(0.25*covariate)

To twoje dane. Zauważ, że znamy już związek między wynikiem, ekspozycją i zmienną towarzyszącą - to jest punkt wielu badań symulacyjnych (których jest to niezwykle prosty przykład. Zaczynasz od znanej struktury i upewniasz się, że twoja metoda może uzyskać właściwą odpowiedź.

Teraz przejdźmy do modelu regresji. Wpisz następujące polecenie:

lm(outcome~exposure)

Czy dostałeś Intercept = 2,0 i ekspozycję = 0,6766? A może coś podobnego, biorąc pod uwagę, że w danych będą jakieś losowe różnice? Dobrze - ta odpowiedź jest zła. Wiemy, że to źle. Dlaczego to jest złe? Nie udało się kontrolować zmiennej, która wpływa na wynik i ekspozycję. Jest to zmienna binarna, zrób to, co chcesz - płeć, palacz / niepalący itp.

Teraz uruchom ten model:

lm(outcome~exposure+covariate)

Tym razem powinieneś otrzymać współczynniki Intercept = 2,00, ekspozycja = 0,50 i zmienną towarzyszącą 0,25. To, jak wiemy, właściwa odpowiedź. Kontrolowałeś inne zmienne.

Co dzieje się, gdy nie wiemy, czy zadbaliśmy o wszystkie zmienne, których potrzebujemy (nigdy tak naprawdę nie robimy)? Nazywa się to zamieszaniem szczątkowym i jest przedmiotem troski w większości badań obserwacyjnych - że kontrolowaliśmy niedoskonale, a nasza odpowiedź, choć prawy, nie jest dokładna. Czy to pomaga bardziej?

1. Wprowadzenie

   Podoba mi się odpowiedź @ EpiGrad (+1), ale niech spojrzę z innej perspektywy. Poniżej odnoszę się do tego dokumentu PDF: „Analiza regresji wielokrotnej: oszacowanie” , która zawiera sekcję „Interpretacja interpretacji regresji wielokrotnej” (s. 83f.). Niestety nie mam pojęcia, kto jest autorem tego rozdziału i będę go nazywał REZERWACJĄ. Podobne wyjaśnienie można znaleźć w Kohler / Kreuter (2009) „Analiza danych za pomocą Staty” , rozdział 8.2.3 „Co oznacza„ pod kontrolą ”?

   Wykorzystam przykład @ EpiGrad, aby wyjaśnić to podejście. Kod R i wyniki można znaleźć w załączniku.

   Należy również zauważyć, że „kontrolowanie innych zmiennych” ma sens tylko wtedy, gdy zmienne objaśniające są umiarkowanie skorelowane (kolinearność). W wyżej wspomnianym przykładzie korelacja iloczynu produktu między exposurei covariatewynosi 0,50, tj.

   > cor(covariate, exposure)
   [1] 0.5036915

2. Pozostałości

   Zakładam, że rozumiesz pojęcie reszt w analizie regresji. Oto wyjaśnienie Wikipedii : „Jeśli ktoś wykonuje regresję niektórych danych, wówczas odchylenia obserwacji zmiennych zależnych od dopasowanej funkcji są resztkami”.

3. Co oznacza „pod kontrolą”?

   Kontrolując zmienną covariate, wpływ (waga regresji) exposurena outcomemożna opisać w następujący sposób (jestem niechlujny i pomijam większość indeksów i wszystkich czapek, proszę odnieść się do wyżej wymienionego tekstu, aby uzyskać dokładny opis):

   $\newcommand{\resid}{{\rm resid}}\newcommand{\covariate}{{\rm covariate}}$

   $$\beta_1=\frac{\sum \resid_{i1} \cdot y_i}{\sum \resid^2_{i1}}$$

   są reszty, gdy ustąpiąna, tzn$\resid_{i1}$exposurecovariate

   $${\rm exposure} = {\rm const.} + \beta_{\covariate} \cdot \covariate + \resid$$

   Te "reszty [..] to część , który jest skorelowany z X i 2 . [...] W ten sposób, p 1 Mierzy związek próbki między Y i x 1 po x 2 został partialled out" ( REGCHAPTER 84). „Częściowo podzielony” oznacza „kontrolowany dla”.$x_{i1}$$x_{i2}$$\hat{\beta}_1$$y$$x_1$$x_2$

   Zaprezentuję ten pomysł na przykładowych danych @ EpiGrad. Najpierw zresetuję exposuresię covariate. Ponieważ interesują mnie tylko resztki lmEC.resid, pomijam wynik.

   summary(lmEC <- lm(exposure ~ covariate))
   lmEC.resid   <- residuals(lmEC)

   Następnym krokiem jest regres outcomena tych resztkach ( lmEC.resid):

   [output omitted]
   
   Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
   (Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
   lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
   ---
   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
   
   [output omitted]

   Jak widać, masa regresji lmEC.resid(patrz kolumna szacunkowych, ) w tej prostej regresji jest równa wielokrotności masy regresji , która jest także 0.50 (patrz @ odpowiedź EpiGrad za lub wyjście R poniżej).$\beta_{lmEC.resid}=0.50$covariate$0.50$

dodatek

Kod R.

set.seed(1)
covariate <- sample(0:1, 100, replace=TRUE)
exposure <- runif(100,0,1)+(0.3*covariate)
outcome <- 2.0+(0.5*exposure)+(0.25*covariate)

## Simple regression analysis
summary(lm(outcome ~ exposure))

## Multiple regression analysis
summary(lm(outcome ~ exposure + covariate))

## Correlation between covariate and exposure
cor(covariate, exposure)

## "Partialling-out" approach
## Regress exposure on covariate
summary(lmEC <- lm(exposure ~ covariate))
## Save residuals
lmEC.resid <- residuals(lmEC)
## Regress outcome on residuals
summary(lm(outcome ~ lmEC.resid))

## Check formula
sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))

R Wyjście

> set.seed(1)
> covariate <- sample(0:1, 100, replace=TRUE)
> exposure <- runif(100,0,1)+(0.3*covariate)
> outcome <- 2.0+(0.5*exposure)+(0.25*covariate)
> 
> ## Simple regression analysis
> summary(lm(outcome ~ exposure))

Call:
lm(formula = outcome ~ exposure)

Residuals:
      Min        1Q    Median        3Q       Max 
-0.183265 -0.090531  0.001628  0.085434  0.187535 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  1.98702    0.02549   77.96   <2e-16 ***
exposure     0.70103    0.03483   20.13   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.109 on 98 degrees of freedom
Multiple R-squared: 0.8052,     Adjusted R-squared: 0.8032 
F-statistic: 405.1 on 1 and 98 DF,  p-value: < 2.2e-16 

> 
> ## Multiple regression analysis
> summary(lm(outcome ~ exposure + covariate))

Call:
lm(formula = outcome ~ exposure + covariate)

Residuals:
       Min         1Q     Median         3Q        Max 
-7.765e-16 -7.450e-18  4.630e-18  1.553e-17  4.895e-16 

Coefficients:
             Estimate Std. Error   t value Pr(>|t|)    
(Intercept) 2.000e+00  2.221e-17 9.006e+16   <2e-16 ***
exposure    5.000e-01  3.508e-17 1.425e+16   <2e-16 ***
covariate   2.500e-01  2.198e-17 1.138e+16   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 9.485e-17 on 97 degrees of freedom
Multiple R-squared:     1,      Adjusted R-squared:     1 
F-statistic: 3.322e+32 on 2 and 97 DF,  p-value: < 2.2e-16 

> 
> ## Correlation between covariate and exposure
> cor(covariate, exposure)
[1] 0.5036915
> 
> ## "Partialling-out" approach
> ## Regress exposure on covariate
> summary(lmEC <- lm(exposure ~ covariate))

Call:
lm(formula = exposure ~ covariate)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.49695 -0.24113  0.00857  0.21629  0.46715 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.51003    0.03787  13.468  < 2e-16 ***
covariate    0.31550    0.05466   5.772  9.2e-08 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2731 on 98 degrees of freedom
Multiple R-squared: 0.2537,     Adjusted R-squared: 0.2461 
F-statistic: 33.32 on 1 and 98 DF,  p-value: 9.198e-08 

> ## Save residuals
> lmEC.resid <- residuals(lmEC)
> ## Regress outcome on residuals
> summary(lm(outcome ~ lmEC.resid))

Call:
lm(formula = outcome ~ lmEC.resid)

Residuals:
    Min      1Q  Median      3Q     Max 
-0.1957 -0.1957 -0.1957  0.2120  0.2120 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  2.45074    0.02058 119.095  < 2e-16 ***
lmEC.resid   0.50000    0.07612   6.569 2.45e-09 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2058 on 98 degrees of freedom
Multiple R-squared: 0.3057,     Adjusted R-squared: 0.2986 
F-statistic: 43.15 on 1 and 98 DF,  p-value: 2.45e-09 

> 
> ## Check formula
> sum(lmEC.resid*outcome)/(sum(lmEC.resid^2))
[1] 0.5
> 

Oczywiście w grę wchodzi pewna matematyka, ale to niewiele: Euclid dobrze to zrozumiałby. Wszystko, co naprawdę musisz wiedzieć, to jak dodawać i przeskalowywać wektory. Chociaż obecnie nazywa się to „algebrą liniową”, wystarczy ją zwizualizować w dwóch wymiarach. Pozwala nam to uniknąć maszynerii macierzowej algebry liniowej i skupić się na pojęciach.

Geometryczna historia

$y$$y_{\cdot 1}$$\alpha x_1$$x_1$$\alpha$$\alpha$$\beta$$\gamma$

$x_1$$y$$y$$x_1$$x_1$$y$$\alpha$$y$$y_{\cdot 1}$$y$$x_1$$\cdot$”będzie konsekwentnie wskazywać, które wektory zostały„ dopasowane ”,„ wyjęte ”lub„ kontrolowane ”.)

$x_1$$x_2$$x_1$$\beta$$x_1$$x_{2\cdot 1}$

$x_1$$x_2$$x_1$$y$$x_1$$x_3, x_4, \ldots$$x_1$

$y_{\cdot 1}$$x_{2 \cdot 1}$$x_{2\cdot 1}$$x_1$$x_{2\cdot 1}$

$y$$x_2$$y_{\cdot 1}$

$x_{2\cdot 1}$$y_{\cdot 1}$$x_1$$y_{\cdot 1}$$x_1$$\gamma x_{2\cdot 1}$$y_{\cdot 12}$$x_1$

$x_{3\cdot 1}, x_{4\cdot 1}, \ldots$$x_2$

$y_{\cdot 12}$$x_1$$x_2$$y_{\cdot 12}$$x_1, x_2,$$y$$x_1, x_2$$y$$x_1$$x_2$$x_2$$x_1$

(Jeśli istnieją dodatkowe wektory, kontynuowalibyśmy proces „wyjmowania elementu dopasowującego”, aż każdy z tych wektorów miał swoją kolejność. W każdym przypadku operacje byłyby takie same jak pokazano tutaj i zawsze występowałyby w samolot .)

Zastosowanie do regresji wielokrotnej

$X_1$$X_2, \ldots$$Y$$X_1$$X_2$$Y$$X_1$$X_2$$X_1, X_2, \ldots$

1. Dopasowywanie można wykonać kolejno i

2. Kolejność dopasowywania nie ma znaczenia.

Proces „wyjmowania” dopasowującego przez zastępowanie wszystkich innych wektorów ich resztkami jest często określany jako „kontrolujący” dla dopasowującego. Jak widzieliśmy na rycinach, po kontrolowaniu dopasowywania wszystkie kolejne obliczenia wprowadzają korekty prostopadłe do tego dopasowywania. Jeśli chcesz, możesz pomyśleć o „kontrolowaniu” jak o „rozliczaniu (w najmniejszym sensie kwadratowym) wkładu / wpływu / efektu / powiązania dopasowywania we wszystkich innych zmiennych”.

Bibliografia

Możesz zobaczyć to wszystko w akcji z danymi i działającym kodem w odpowiedzi na https://stats.stackexchange.com/a/46508 . Ta odpowiedź może bardziej spodobać się osobom, które wolą arytmetykę od zdjęć samolotów. (Arytmetyka dostosowywania współczynników podczas sekwencyjnego wprowadzania dopasowań jest jednak prosta). Język dopasowywania pochodzi od Freda Mostellera i Johna Tukeya.

Jak dotąd istnieje doskonała dyskusja na temat dostosowania zmiennych towarzyszących jako sposobu „kontrolowania innych zmiennych”. Ale myślę, że to tylko część historii. W rzeczywistości istnieje wiele (innych) strategii opartych na projektowaniu, modelowaniu i uczeniu maszynowym, mających na celu zaradzenie wpływowi wielu możliwych zmiennych. To jest krótka ankieta na temat niektórych najważniejszych (nieregulacyjnych) tematów. Chociaż korekta jest najczęściej stosowanym sposobem „kontrolowania” innych zmiennych, uważam, że dobry statystyk powinien rozumieć, co robi (i czego nie robi) w kontekście innych procesów i procedur.

Pasujący:

Dopasowywanie to metoda projektowania sparowanej analizy, w której obserwacje są pogrupowane w zestawy 2, które pod innymi względami są podobne w najważniejszych aspektach. Na przykład, możesz próbować dwóch osób, które są zgodne co do ich wykształcenia, dochodów, stażu zawodowego, wieku, stanu cywilnego, (itp. Itp.), Ale które są niezgodne ze względu na ich niecierpliwość. W przypadku ekspozycji binarnych wystarczy prosty test sparowany t, aby sprawdzić średnią różnicę w ich kontrolowaniu BMI dla wszystkich pasujących funkcji. Jeśli modelujesz ciągłą ekspozycję, analogiczną miarą byłby model regresji poprzez pochodzenie różnic. Patrz Carlin 2005

Ważenie

$X$$Y$rachunki prawdopodobieństwa ekspozycji binarnej i kontrole tych zmiennych w tym zakresie. Jest podobny do bezpośredniej standaryzacji ekspozycji. Patrz Rothman, Modern Epidemiology 3rd edition.

Randomizacja i quasirandomizacja

Jest to subtelna kwestia, ale jeśli faktycznie jesteś w stanie losowo przypisać ludzi do określonych warunków eksperymentalnych, wpływ innych zmiennych zostanie złagodzony. Jest to warunek znacznie silniejszy, ponieważ nie musisz nawet wiedzieć, jakie są te inne zmienne. W tym sensie „kontrolujesz” ich wpływ. Nie jest to możliwe w badaniach obserwacyjnych, ale okazuje się, że metody oceny skłonności tworzą prosty probabilistyczny miernik ekspozycji, który pozwala na zważenie, dostosowanie lub dopasowanie uczestników, aby mogli być analizowani w ten sam sposób jak badanie quasi-losowe . Patrz Rosenbaum, Rubin 1983 .

Mikrosymulacja

Innym sposobem symulacji danych, które można uzyskać z randomizowanego badania, jest wykonanie mikrosymulacji. Tutaj można zwrócić uwagę na większe i bardziej wyrafinowane uczenie maszynowe, takie jak modele. Termin, który ukształtował Judea Pearl, który mi się podoba, to „ Modele Oracle ”: złożone sieci, które są w stanie generować prognozy i prognozy dla wielu funkcji i wyników. Okazuje się, że można „złożyć” informacje o takim modelu wyroczni, aby zasymulować wyniki w zrównoważonej kohorcie osób, które reprezentują losową kohortę, zrównoważoną w rozkładzie „zmiennej kontrolnej” i używając prostych procedur testu t do oceny wielkość i precyzja możliwych różnic. Patrz Rutter, Zaslavsky i Feuer 2012

Dopasowywanie, ważenie i dopasowanie współzmienne w modelu regresji szacują te same powiązania, a zatem można twierdzić, że są sposobami „kontrolowania” innych zmiennych .

$Y=X\beta+\varepsilon$$b=(X^TX)^{-1}X^TY$