Wielowymiarowa regresja liniowa a kilka modeli regresji jednoczynnikowej

W ustawieniach regresji jednowymiarowej próbujemy modelować

gdzie wektor obserwacji i macierz projektowa z predyktorami. Rozwiązaniem jest \ beta_0 = (X ^ TX) ^ {- 1} Xy . n X ∈ R n × m m β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

W ustawieniach regresji wielowymiarowej próbujemy modelować

gdzie $y \in \mathbb{R}^{n \times p}$ jest macierzą $n$ obserwacji i $p$ różnych ukrytych zmiennych. Rozwiązaniem jest $\beta_0 = (X^TX)^{-1}XY$ .

Moje pytanie brzmi: w jaki sposób jest to, że różni się od wykonywania $p$ inny jednowymiarowego regresji liniowej? Czytam tutaj, że w tym drugim przypadku bierzemy pod uwagę korelację między zmiennymi zależnymi, ale nie widzę jej z matematyki.

W ustawieniu klasycznej wielowymiarowej regresji liniowej mamy model:

gdzie reprezentuje zmienne niezależne, reprezentuje zmienne wielokrotne odpowiedzi, a to iid termin szum Gaussa. Hałas ma zerową średnią i może być skorelowany ze zmiennymi odpowiedzi. Rozwiązanie maksymalnego prawdopodobieństwa dla wag jest równoważne rozwiązaniu metodą najmniejszych kwadratów (niezależnie od korelacji hałasu) [1] [2]:$X$$Y$$\epsilon$

Jest to równoważne niezależnemu rozwiązaniu osobnego problemu regresji dla każdej zmiennej odpowiedzi. Można to zaobserwować na podstawie faktu, że tą kolumnę (zawierającą wagi dla tej zmiennej wyjściowej) można uzyskać mnożąc przez kolumna (zawierająca wartości tej zmiennej odpowiedzi).$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Jednak wielowymiarowa regresja liniowa różni się od osobnego rozwiązywania indywidualnych problemów regresji, ponieważ procedury wnioskowania statystycznego uwzględniają korelacje między zmiennymi wielokrotnych odpowiedzi (np. Patrz [2], [3], [4]). Na przykład macierz kowariancji szumu pojawia się w rozkładach próbkowania, statystykach testów i szacunkach przedziałów.

Kolejna różnica pojawia się, jeśli pozwolimy każdej zmiennej odpowiedzi mieć swój własny zestaw zmiennych towarzyszących:

gdzie reprezentuje tą zmienną odpowiedzi, a i reprezentują odpowiadający im zestaw zmiennych towarzyszących i składnika szumowego. Jak wyżej, warunki hałasu mogą być skorelowane między zmiennymi odpowiedzi. W tym ustawieniu istnieją estymatory, które są bardziej wydajne niż najmniejszych kwadratów i nie można ich zredukować do rozwiązywania osobnych problemów z regresją dla każdej zmiennej odpowiedzi. Na przykład patrz [1]. i X i ϵ $Y_i$$i$$X_i$$\epsilon_i$

Bibliografia

1. Zellner (1962) . Skuteczna metoda szacowania pozornie niepowiązanych regresji i testów tendencji agregacyjnych.
2. Helwig (2017) . Wieloczynnikowa regresja liniowa [Slajdy]
3. Fox i Weisberg (2011) . Wielowymiarowe modele liniowe w R. [Dodatek do: R towarzyszący regresji stosowanej]
4. Maitra (2013) . Modele wielowymiarowej regresji liniowej. [Slajdy]