Jaka jest potrzeba założeń w regresji liniowej?

15

W regresji liniowej przyjmujemy następujące założenia

Średnia odpowiedzi,

E (Y_{i})

$E(Y_i)$ , dla każdego zestawu wartości predyktorów

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , jest funkcją liniową predyktorów.

Błędy

ε_{i}

$ε_i$ są niezależne.

Błędy

ε_{i}

$ε_i$ dla każdego zestawu wartości predyktorów

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ są rozkładem normalnym.

Błędy dla każdego zestawu wartości predyktorów mają jednakowe wariancje (oznaczone

).

ε_{i}

$ε_i$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

σ 2

$σ2$

Jednym ze sposobów rozwiązania regresji liniowej są równania normalne, które możemy zapisać jako

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

Z matematycznego punktu widzenia powyższe równanie wymaga tylko $X^TX$ aby być odwracalnym. Dlaczego więc potrzebujemy tych założeń? Zapytałem kilku kolegów, którzy wspominali, że jest to dobre wyniki, a równania normalne są algorytmem do osiągnięcia tego. Ale w takim przypadku, w jaki sposób te założenia pomagają? W jaki sposób ich utrzymanie pomaga uzyskać lepszy model?

regression assumptions

— Zegar Slave
źródło

2

Rozkład normalny jest potrzebny do obliczenia przedziałów ufności współczynnika przy użyciu zwykłych wzorów. Inne wzory obliczania CI (myślę, że to był biały) pozwalają na rozkład nienormalny.

— keiv.fly

Te założenia nie zawsze są potrzebne do działania modelu. W sieciach neuronowych masz regresje liniowe i minimalizują one rmse, podobnie jak podana przez ciebie formuła, ale najprawdopodobniej żadne z tych założeń się nie sprawdza. Brak rozkładu normalnego, brak równej wariancji, brak funkcji liniowej, nawet błędy mogą być zależne.

— keiv.fly

2

Zobacz stats.stackexchange.com/q/16381/35989

— Tim

1

@Alexis Zmienne niezależne będące iid zdecydowanie nie są założeniem (a zmienna zależna będąca iid również nie jest założeniem - wyobraź sobie, że gdybyśmy przyjęli odpowiedź iid, nie ma sensu robić niczego poza oszacowaniem średniej). A „brak pominiętych zmiennych” nie jest tak naprawdę dodatkowym założeniem, chociaż dobrze jest unikać pomijania zmiennych - pierwsze wymienione założenie naprawdę zajmuje się tym.

— Dason,

1

@Dason Myślę, że mój link stanowi dość mocny przykład „brak pominiętych zmiennych” jest wymagany do prawidłowej interpretacji. Uważam również, że iid (zależnie od predyktorów, tak) jest konieczny, a losowe spacery stanowią doskonały przykład tego, gdzie oszacowanie nieidoczne może się nie powieść (zawsze uciekając się do oszacowania tylko średniej).

— Alexis,

19

Masz rację - nie musisz spełniać tych założeń, aby dopasować linię najmniejszych kwadratów do punktów. Potrzebujesz tych założeń do interpretacji wyników. Na przykład, zakładając, że nie ma związku między wejściem i , jakie jest prawdopodobieństwo uzyskania współczynnika co najmniej tak dużego, jak to, co widzieliśmy z regresji? $X_1$ $Y$ $\beta_1$

— spłukać
źródło

17

Spróbuj wizerunku kwartet anscombe'a z Wikipedii aby zorientować się, niektóre z potencjalnych problemów z interpretacji regresji liniowej, gdy niektóre z tych założeń są wyraźnie fałszywe: większość podstawowych statystyk opisowych są takie same we wszystkich czterech (a osoba wartości są identyczne we wszystkich oprócz prawego dolnego rogu) $x_i$

— Henz
źródło

Zrobiłem ilustrację po Anscombe pokazującą, jak może wyglądać naruszenie założenia braku pominiętych zmiennych . Nadal pracuję nad ilustracją przypominającą Anscombe naruszenia założenia iid .

— Alexis

3

Nie potrzebujesz tych założeń, aby dopasować model liniowy. Jednak oszacowania parametrów mogą być stronnicze lub nie mieć minimalnej wariancji. Naruszenie założeń utrudni interpretację wyników regresji, na przykład konstruowanie przedziału ufności.

— Witaj świecie
źródło

1

Ok, odpowiedzi jak dotąd są następujące: jeśli naruszymy założenia, mogą się zdarzyć złe rzeczy. Uważam, że interesującym kierunkiem jest: kiedy wszystkie założenia, których potrzebujemy (a właściwie trochę inne od powyższych), są spełnione, dlaczego i jak możemy być pewni, że regresja liniowa jest najlepszym modelem?

$p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

— Fabian Werner
źródło

0

Dwa kluczowe założenia to:

Niezależność obserwacji
Średnia nie jest związana z wariancją

Zobacz dyskusję w książce Juliana Faraway .

Jeśli oba są prawdziwe, OLS jest zaskakująco odporny na naruszenia innych wymienionych przez ciebie założeń.

— astaines
źródło