Gdzie jest wspólna wariancja między wszystkimi IV w liniowym równaniu regresji wielokrotnej?

W równaniu regresji liniowej wielokrotnej, jeśli wagi beta odzwierciedlają udział każdej indywidualnej zmiennej niezależnej ponad udział wszystkich pozostałych IV, gdzie w równaniu regresji jest wariancja wspólna dla wszystkich IV, która przewiduje DV?

Na przykład, jeśli diagram Venna wyświetlony poniżej (i wzięty ze strony „about” CV tutaj: https://stats.stackexchange.com/about ) zostałby oznaczony jako 3 IV i 1 DV, gdzie miałby się pojawić obszar z gwiazdką w równanie regresji wielokrotnej?

Aby zrozumieć, co ten diagram może znaczyć, musimy zdefiniować pewne rzeczy. Powiedzmy, że diagram Venna pokazuje nakładającą się (lub wspólną) wariancję między 4 różnymi zmiennymi i że chcemy przewidzieć poziom$Wiki$ odwołując się do naszej wiedzy na temat $Digg$, $Forum$, i $Blog$. Oznacza to, że chcemy być w stanie zmniejszyć niepewność (tj. Wariancję) w$Wiki$od wariantu zerowego do wariantu resztkowego. Jak dobrze można to zrobić? Oto pytanie, na które odpowiada ci diagram Venna .

Każde koło reprezentuje zestaw punktów, a tym samym pewną wariancję. W większości interesuje nas wariancja w$Wiki$, ale na rysunku pokazano również wariancje predyktorów. Jest kilka rzeczy, na które należy zwrócić uwagę w naszej postaci. Po pierwsze, każda zmienna ma taką samą wariancję - wszystkie są tego samego rozmiaru (chociaż nie wszyscy będą używać dosłownie diagramów Venna). Ponadto zachodzi taka sama ilość nakładania się itp. Itd. Ważniejszą rzeczą, na którą należy zwrócić uwagę, jest fakt, że zmienne predykcyjne nakładają się na siebie. Oznacza to, że są one skorelowane. Sytuacja ta jest bardzo powszechna w przypadku danych wtórnych (tj. Archiwalnych), badań obserwacyjnych lub scenariuszy prognoz w świecie rzeczywistym. Z drugiej strony, gdyby był to eksperyment eksperymentalny, prawdopodobnie oznaczałby zły projekt lub wykonanie. Kontynuując ten przykład nieco dłużej, widzimy, że nasza zdolność przewidywania będzie umiarkowana; większość zmienności w$Wiki$ pozostaje jako zmienność resztkowa po zastosowaniu wszystkich zmiennych (przypuszczam, że patrząc na diagram $R^2\approx.35$). Inną rzeczą, którą należy zauważyć, jest to, że raz$Digg$ i $Blog$ zostały wprowadzone do modelu, $Forum$nie uwzględnia żadnej zmienności w$Wiki$.

Teraz, po dopasowaniu modelu z wieloma predyktorami, ludzie często chcą przetestować te predyktory, aby sprawdzić, czy są one powiązane ze zmienną odpowiedzi (chociaż nie jest jasne, czy jest to tak ważne, jak się wydaje, że tak jest). Naszym problemem jest to, że aby przetestować te predyktory, musimy podzielić sumę kwadratów , a ponieważ nasze predyktory są skorelowane, istnieją SS, które można przypisać więcej niż jednemu predyktorowi. W rzeczywistości w obszarze oznaczonym gwiazdką SS można przypisać dowolnemu z trzech predyktorów. Oznacza to, że nie ma unikalnej partycji SS, a zatem nie ma unikalnego testu. Sposób rozwiązania tego problemu zależy od typu SS używanego przez naukowca iinne osądy dokonane przez badacza . Ponieważ wiele aplikacji domyślnie zwraca SS typu III, wiele osób wyrzuca informacje zawarte w pokrywających się regionach, nie zdając sobie sprawy z tego, że dokonały oceny . Wyjaśniam te problemy, różne typy SS i szczegółowo omawiam tutaj .

Pytanie, jak powiedziano, konkretnie dotyczy tego, gdzie to wszystko pojawia się w równaniu beta / regresji. Odpowiedź jest taka, że ​​nie. Niektóre informacje na ten temat zawarte są w mojej odpowiedzi tutaj (chociaż będziesz musiał przeczytać trochę między wierszami).

Peter Kennedy ma ładny opis diagramów Ballentine / Venna dotyczących regresji w swojej książce i artykule JSE , w tym przypadki, w których mogą doprowadzić cię na manowce.

Istotą jest to, że zmienność obszaru oznaczonego gwiazdką jest odrzucana tylko w celu oszacowania i przetestowania współczynników nachylenia. Ta odmiana jest dodawana ponownie w celu przewidywania i obliczania$R^2$.

Zdaję sobie sprawę, że jest to (bardzo) przestarzały wątek, ale ponieważ jeden z moich kolegów zadał mi to samo pytanie w tym tygodniu i nie znalazłem w Internecie niczego, co mógłbym mu wskazać, pomyślałem, że dodam moje dwa centy „dla potomności” tutaj. Nie jestem przekonany, że dotychczasowe odpowiedzi odpowiadają na pytanie PO.

Zamierzam uprościć problem, uwzględniając tylko dwie niezależne zmienne; rozszerzenie go na więcej niż dwa jest bardzo proste. Rozważmy następujący scenariusz: dwie zmienne niezależne (X1 i X2), zmienna zależna (Y), 1000 obserwacji, dwie zmienne niezależne są wysoce skorelowane ze sobą (r = .99), a każda zmienna niezależna jest skorelowana z zależną zmienna (r = .60). Bez utraty ogólności, standaryzuj wszystkie zmienne do średniej zero i standardowego odchylenia równego jedności, tak aby warunek przechwytywania wynosił zero w każdej regresji.

Uruchomienie prostej regresji liniowej Y na X1 da kwadrat r 0,36 i wartość b1 0,6. Podobnie, uruchomienie prostej regresji liniowej Y na X2 da r-kwadrat 0,36 i wartość b1 0,6.

Uruchomienie wielokrotnej regresji Y na X1 i X2 da kwadrat o wartości r nieco większej niż 0,36, a zarówno b1, jak i b2 przyjmą wartość 0,3. Zatem wspólna odmiana Y jest uchwycona ZARÓWNO w BOTH b1 i b2 (jednakowo).

Myślę, że OP mógł przyjąć fałszywe (ale całkowicie zrozumiałe) założenie: mianowicie, że gdy X1 i X2 zbliżają się coraz bliżej do doskonałej korelacji, ich wartości b w równaniu regresji wielokrotnej zbliżają się coraz bardziej do ZERO. Tak nie jest. W rzeczywistości, gdy X1 i X2 zbliżają się coraz bliżej do doskonałej korelacji, ich wartości b w regresji wielokrotnej zbliżają się coraz bliżej do POŁOWY wartości b w prostej regresji liniowej jednego z nich. Jednakże, gdy X1 i X2 zbliżają się coraz bliżej do doskonałej korelacji, BŁĄD STANDARDOWY b1 i b2 zbliża się coraz bliżej nieskończoności, więc wartości t zbiegają się na zero. Tak więc wartości t będą zbieżne na zero (tj. Nie będzie UNIQUE liniowej zależności między X1 i Y lub X2 i Y),

Tak więc odpowiedź na pytanie PO jest taka, że ​​gdy korelacja między X1 i X2 zbliża się do jedności, KAŻDY z częściowych współczynników nachylenia zbliża się, przyczyniając się w równym stopniu do przewidywania wartości Y, nawet jeśli żadna zmienna niezależna nie oferuje UNIKALNEGO wyjaśnienia zależności zmienna.

Jeśli chcesz to sprawdzić empirycznie, wygeneruj sfabrykowany zestaw danych (... użyłem makra SAS o nazwie Corr2Data.sas ...), który ma cechy opisane powyżej. Sprawdź wartości b, błędy standardowe i wartości t: przekonasz się, że są one dokładnie takie, jak opisano tutaj.

HTH // Phil