Dlaczego warto studiować regresję liniową?

13

Biorąc pod uwagę dwie zmienne losowe i , możemy obliczyć ich „współczynnik korelacji” i utworzyć linię najlepszego dopasowania między tymi dwiema zmiennymi losowymi. Moje pytanie brzmi: dlaczego? $\xi$ $\eta$ $c$

1) Istnieją zmienne losowe, $\xi$ i $\eta$ które są zależne w najgorszy możliwy sposób, tj. $\xi = f(\eta)$ i pomimo tego $c=0$ . Gdyby pomyśleć tylko o regresji liniowej, byłby na to całkowicie zaślepiony.

2) Dlaczego konkretnie liniowy? Istnieją inne rodzaje relacji, które mogą istnieć między zmiennymi losowymi. Po co wyróżniać tę spośród wszystkich innych?

regression

— Nicolas Bourbaki
źródło

18

To trochę tak, jakbyś pytał, dlaczego masz śrubokręt, gdy czasami napotykasz gwoździe.

— Sycorax mówi Przywróć Monikę

6

Wydaje się również, że przyjmujesz założenie, że są ludzie, którzy dbają tylko o regresję liniową: „Jeśli tylko myślisz o regresji liniowej”, „Dlaczego wyróżniasz ją spośród wszystkich innych ”. Wydaje mi się, że to słomka, oczywiście niedorzeczne jest stosowanie jednego i tylko jednego narzędzia lub perspektywy.

— Matthew Drury

7

Liniowy „konkretnie” naprawdę bardziej dotyczy liniowych kombinacji funkcji bazowych , które w rzeczywistości są dość ogólne.

— GeoMatt22

2

@MatthewDrury Nie ma słomka i niczego nie zakładam, po prostu zadaję pytanie, używając patologicznego-ekstremalnego przypadku myślenia, aby zilustrować słaby punkt metody. Dlaczego zakładasz, że to zakładam? Regresja jest bardzo dużym tematem dla statystyk. Nie rozumiem, co jest w tym tak wyjątkowego, że tyle się go badało.

— Nicolas Bourbaki,

8

Dla tych, którzy ciężko podchodzą do tego pytania: myślę, że zapomnieliście, kiedy po raz pierwszy dowiedzieliście się o regresji liniowej i powiedziano wam, że „jednym z założeń jest efekt liniowy”. Pomyślałeś sobie „ale efekt nigdy nie jest liniowy!”. Bardzo prawdopodobne jest, że po wielu rozmyślaniach przekonałeś się, że pomimo tego regresja liniowa nadal była podstawowym narzędziem, które należy zarówno zrozumieć, jak i zastosować. Teraz po prostu zresetuj się, zanim zakończysz zastanawianie się. Myślę, że to świetne pytanie, które każdy student statystyki powinien poświęcić dużo czasu na rozważenie.

— Cliff AB

10

Zgadzam się, że nie wszystkie relacje są same w sobie liniowe, ale całkiem sporo relacji można liniowo przybliżyć. Widzieliśmy wiele takich przypadków w matematyce, takich jak szereg Taylora lub szereg Fouriera itp. Kluczową kwestią jest tutaj, powiedział geomatt22 w komentarzu, można ogólnie przekształcić dane nieliniowe i zastosować pewnego rodzaju transformację z funkcjami podstawowymi i linearyzować związek. Powodem, dla którego uniwersytety zajmują się tylko „wieloma modelami regresji liniowej” (w tym prostymi modelami regresji), jest to, że stanowią one element składowy modeli bardziej zaawansowanego poziomu, które są również liniowe.

Z matematycznego punktu widzenia, o ile można udowodnić, że pewne przybliżenie liniowe jest gęste w przestrzeni Hilberta, będzie można użyć przybliżenia do przedstawienia funkcji w przestrzeni.

— Daeyoung Lim
źródło

2

Dokładnie. Nikt inny o tym nie wspominał, ale jak mówi ta odpowiedź, na ogół zawsze można zastosować transformację do zmiennych, aby zlinearyzować relację. Ponadto: a) łatwo jest znaleźć globalne maksima dla regresji liniowych oraz b) wiele innych modeli, w tym sieci neuronowe, jest łatwiejszych do zrozumienia, jeśli znasz regresje logistyczne oparte na regresjach liniowych.

— Ricardo Cruz,

7

Model, o którym mówisz, prosta regresja liniowa, czyli „linia najlepszego dopasowania” (tutaj mylę model i metodę szacowania), jest wprawdzie bardzo prosta (jak sama nazwa wskazuje). Po co studiować? Widzę wiele powodów. Poniżej zakładam, że pojęcie zmiennej losowej zostało co najmniej nieformalnie wprowadzone, ponieważ wspomniałeś o tym w swoim pytaniu.

pedagogiczny: oczywiście dla ciebie jest oczywiste, że zmienne losowe o wartościach rzeczywistych ze skończonymi momentami drugiego rzędu tworzą przestrzeń Hilberta. Może było to już oczywiste, kiedy po raz pierwszy studiowałeś teorię prawdopodobieństwa. Ale statystyki są nie tylko uczone matematyki: istnieje szerokie grono odbiorców, od fizyki po ekonomię, informatykę, nauki społeczne itp. Studenci ci mogą napotkać statystyki na wczesnym etapie studiów. Być może zostali oni wyrzuceni z algebry liniowej i nawet w pierwszym przypadku mogli jej nie widzieć z bardziej abstrakcyjnego punktu widzenia kursu matematycznego. Dla tych studentów sama koncepcja przybliżenia zmiennej losowej inną zmienną losową nie jest tak bezpośrednia. Nawet podstawową właściwość prostego modelu liniowego, tj. Fakt, że błąd i predyktor są ortogonalnymi zmiennymi losowymi, czasem ich zaskakuje. Fakt, że możesz zdefiniować „kąt” między zmiennymi losowymi („nieprzyjemnymi” obiektami! Mierzalne funkcje od przestrzeni prawdopodobieństwa do mierzalnej przestrzeni) może być dla ciebie oczywisty, ale niekoniecznie dla początkującego. Zatem jeśli badanie przestrzeni wektorowych rozpoczyna się od dobrej starej płaszczyzny euklidesowej, czy nie ma sensu rozpoczęcie badania modeli statystycznych od najprostszej?
proceduralna : za pomocą prostej regresji liniowej można wprowadzić pojęcie szacowania parametrów, a tym samym metodę najmniejszych kwadratów, błędów standardowych itp. w najprostszym przypadku. Jeśli uważasz, że jest to trywialne, pamiętaj, że wielu specjalistów, którzy wykorzystują statystyki w swojej pracy / badaniach, ale nie są statystykami, jest głęboko zdezorientowanych co do częstego przedziału ufności! W każdym razie, gdy najprostszy przypadek zostanie omówiony, możesz przejść do wielu regresji liniowych. Po opanowaniu wszystkie modele liniowe są dostępne do oszacowania. Innymi słowy, jeśli mogę dopasować model (przez OLS lub LARS na wypadek konieczności uregulowania itp.), To mogę pasuje do wszystkich modeli tego rodzaju $\xi = \beta_0+\sum_{i=1}^N \beta_i \eta_i +\epsilon$ $\xi = \sum_{i=0}^N \beta_i \phi(\eta_i) +\epsilon$ . To naprawdę potężna klasa modeli, która, jak zauważył @DaeyoungLim, może aproksymować wszystkie funkcje w przestrzeni Hilberta, jeśli masz nieskończony zestaw funkcji bazowych i jeśli generują podprzestrzeń wektorów, która jest gęsta w przestrzeni Hilberta .
praktyczne : istnieje wiele udanych zastosowań prostej regresji liniowej. Prawo okuna ekonomia, prawo Hooke'a , prawo Ohma i prawo Karola w fizyce, związek między tętniczego ciśnienia skurczowego i wieku w medycynie (nie mam pojęcia, czy to ma imię!) To przykłady prostych regresji liniowej, z różnym precyzja.

— DeltaIV
źródło

5

Kolejnym powodem jest piękny sposób, w jaki regresja zapewnia jednolite traktowanie technik takich jak ANOVA. Dla mnie zwykłe „elementarne” leczenie ANOVA wydaje się dość niejasne, ale leczenie oparte na regresji jest krystalicznie czyste. Podejrzewam, że ma to wiele wspólnego ze sposobem, w jaki modele regresji jasno wyrażają pewne założenia, że w „elementarnych” metodach leczenia są milczące i niezbadane. Ponadto jasności pojęciowej oferowanej przez taką perspektywę jednoczącą towarzyszą podobne praktyczne korzyści, gdy przychodzi czas na wdrożenie metod w oprogramowaniu statystycznym.

Zasada ta dotyczy nie tylko ANOVA, ale także rozszerzeń takich jak ograniczone splajny sześcienne - które w szczególności dotyczą drugiego pytania.

— David C. Norris
źródło

3

Popularność regresji liniowej wynika częściowo z jej interpretowalności - to znaczy, że osoby nietechniczne mogą zrozumieć współczynniki parametrów tylko z niewielkim wyjaśnieniem. Daje to dużą wartość w sytuacjach biznesowych, w których użytkownicy końcowi wyników lub prognoz mogą nie mieć głębokiego zrozumienia matematyki / statystyki.

Tak, istnieją założenia i ograniczenia dotyczące tej techniki (jak w przypadku wszystkich podejść) i w wielu przypadkach może ona nie zapewniać najlepszego dopasowania. Ale regresja liniowa jest bardzo solidna i często może działać całkiem dobrze nawet w przypadku naruszenia założeń.

Z tych powodów zdecydowanie warto się uczyć.

— B.Frost
źródło

-2

Coś może nie być bezpośrednio powiązane.

Jeśli masz dwie serie i to , i jeśli podejrzewasz, że istnieje związek między i . Możesz utworzyć wykres między i aby zbadać ich związek. $x$ $y$ $cov(x,y) = 0$ $x$ $y$ $y$ $x$

— Zhu Jinxuan
źródło