Współczynniki regresji, które odwracają znak po uwzględnieniu innych predyktorów

Wyobrażać sobie

• Prowadzisz regresję liniową za pomocą czterech predyktorów numerycznych (IV1, ..., IV4)
• Gdy jako predyktor uwzględniono tylko IV1, standaryzowana jest beta +.20
• Gdy uwzględnisz także IV2 do IV4, znak znormalizowanego współczynnika regresji IV1 zmienia się na -.25(tzn. Staje się ujemny).

Rodzi to kilka pytań:

• Jeśli chodzi o terminologię, czy nazywacie to „efektem tłumiącym”?
• Jakie strategie zastosowałbyś do wyjaśnienia i zrozumienia tego efektu?
• Czy masz jakieś przykłady takich efektów w praktyce i jak wyjaśniłeś i zrozumiałeś te efekty?

Wielokoliniowość jest zwykle podejrzanym, jak wspomniał JoFrhwld. Zasadniczo, jeśli twoje zmienne są dodatnio skorelowane, wówczas współczynniki będą skorelowane ujemnie, co może prowadzić do błędnego znaku na jednym ze współczynników.

Jednym z nich byłoby wykonanie regresji głównych składników lub regresji kalenicowej. Zmniejsza to wymiarowość przestrzeni regresji, obsługując wielokoliniowość. Skończysz z tendencyjnymi szacunkami, ale prawdopodobnie niższym MSE i poprawionymi znakami. Niezależnie od tego, czy wybierasz te konkretne wyniki, czy nie, jest to dobra kontrola diagnostyczna. Jeśli nadal pojawiają się zmiany znaków, może to być teoretycznie interesujące.

AKTUALIZACJA

Po komentarzu w odpowiedzi Johna Christie może to być interesujące. Odwrócenie w powiązaniu (wielkość lub kierunek) to przykłady Paradoksu Simpsona, Paradoksu Lorda i Efektu Tłumienia. Różnice dotyczą głównie rodzaju zmiennej. Bardziej przydatne jest zrozumienie podstawowego zjawiska niż myślenie w kategoriach konkretnego „paradoksu” lub efektu. Z przyczyn przyczynowych poniższy artykuł dobrze wyjaśnia, dlaczego, i przytoczę szczegółowo ich wprowadzenie i wnioski, aby pobudzić apetyt.

• Rola rozumowania przyczynowego w zrozumieniu paradoksu Simpsona, paradoksu Pana i efektu tłumienia: selekcja współzmienna w analizie badań obserwacyjnych

Tu i wsp. Przedstawili analizę równoważności trzech paradoksów, stwierdzając, że wszystkie trzy po prostu powtarzają nieoczekiwaną zmianę w powiązaniu dowolnych dwóch zmiennych, gdy trzecia zmienna jest statystycznie kontrolowana. Nazywam to zaskakującym, ponieważ odwrócenie lub zmiana wielkości jest powszechna w analizie warunkowej. Aby tego uniknąć, musimy całkowicie uniknąć analizy warunkowej. Co jest takiego w paradoksach Simpsona i Lorda, czy też tłumieniu, poza tym, że wskazują na oczywiste, co przyciąga sporadyczne, a czasem alarmistyczne zainteresowania, które można znaleźć w literaturze?

[...]

Podsumowując, nie można przecenić faktu, że chociaż paradoksy Simpsona i pokrewne ujawniają niebezpieczeństwa wynikające ze stosowania kryteriów statystycznych do kierowania analizą przyczynową, nie zawierają ani wyjaśnienia zjawiska, które rzekomo przedstawiają, ani wskazówek, jak ich uniknąć. Wyjaśnienia i rozwiązania opierają się na rozumowaniu przyczynowym, które opiera się na wiedzy ogólnej, a nie kryteriach statystycznych. Najwyższy czas, abyśmy przestali leczyć źle interpretowane oznaki i objawy („paradoksy”) i zajęli się sprawą radzenia sobie z chorobą („przyczynowość”). Słusznie powinniśmy zwrócić uwagę na odwieczny problem selekcji zmiennych towarzyszących do analizy przyczynowej z wykorzystaniem danych nie eksperymentalnych.

Wierzę, że takie skutki są często spowodowane kolinearnością (patrz to pytanie ). Myślę, że książka o modelowaniu wielopoziomowym autorstwa Gelmana i Hilla mówi o tym. Problem polega na tym, że IV1jest on skorelowany z jednym lub kilkoma innymi predyktorami, a gdy wszystkie są uwzględnione w modelu, ich oszacowanie staje się nieregularne.

Jeśli przerzucanie współczynnika wynika z kolinearności, raportowanie nie jest tak naprawdę interesujące, ponieważ nie wynika to z relacji między predyktorami a wynikiem, ale z powodu relacji między predyktorami.

Sugerowane przeze mnie rozwiązanie tego problemu to resualizacja. Najpierw dopasujesz model IV2 ~ IV1, a następnie weź pozostałości tego modelu jako rIV2. Jeśli wszystkie zmienne są skorelowane, powinieneś naprawdę zmienić ich położenie. Możesz to zrobić tak

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Teraz dopasuj ostateczny model do

DV ~ IV1 + rIV2 + rIV3 + rIV4

Teraz współczynnik dla rIV2reprezentuje niezależny efekt IV2danej korelacji z IV1. Słyszałem, że nie uzyskasz tego samego rezultatu, jeśli dokonałeś rezydalizacji w innej kolejności, a wybranie kolejności rezydencji jest naprawdę decyzją w ramach twoich badań.

Zobacz paradoks Simpsona . Krótko mówiąc, główny obserwowany efekt może ulec odwróceniu po dodaniu interakcji do modelu. Na połączonej stronie większość przykładów jest kategoryczna, ale u góry strony znajduje się liczba, którą można sobie wyobrazić w sposób ciągły. Na przykład, jeśli masz predyktor jakościowy i ciągły, to predyktor ciągły może łatwo przerzucić znak, jeśli kategoryczny zostanie dodany, aw każdej kategorii znak różni się od ogólnego wyniku.