Definicja i delimitacja modelu regresji

Żenująco proste pytanie - ale wydaje się, że nie zostało wcześniej zadane w Cross Validated:

Jaka jest definicja modelu regresji?

Także pytanie pomocnicze,

Co to nie jest model regresji?

Jeśli chodzi o to drugie, interesują mnie trudne przykłady, w których odpowiedź nie jest od razu oczywista, np. ARIMA lub GARCH.

— Richard Hardy
źródło

Odpowiedzi:

Powiedziałbym, że „model regresji” jest rodzajem meta-pojęcia, w tym sensie, że nie znajdziesz definicji „modelu regresji”, ale bardziej konkretne pojęcia, takie jak „regresja liniowa”, „regresja nieliniowa”, „solidna regresja” i tak dalej. W ten sam sposób jak w matematyce zwykle nie definiujemy „liczby”, ale „liczby naturalnej”, „liczb całkowitych”, „liczby rzeczywistej”, „liczby p-adycznej” i tak dalej, i jeśli ktoś będzie chciał dołączyć ćwiartki między liczbami, niech tak będzie! tak naprawdę nie ma znaczenia, ważne jest, jakie definicje są używane w książce / gazecie, którą właśnie czytasz.

Definicje są narzędziami , a esencjalizm, czyli omawianie istoty ..., co tak naprawdę oznacza słowo , rzadko jest wart zachodu.

Co zatem odróżnia „model regresji” od innych rodzajów modeli statystycznych? Przeważnie jest to, że istnieje zmienna odpowiedzi , na którą chcesz modelować jako wpływ (lub określony przez) pewien zestaw zmiennych predykcyjnych . Nie interesuje nas wpływ na inny kierunek i nie interesują nas relacje między zmiennymi predykcyjnymi. Przeważnie bierzemy zmienne predykcyjne jako podane i traktujemy je jako stałe w modelu, a nie zmienne losowe.

Zależność wspomniana powyżej może być liniowa lub nieliniowa, określona w sposób parametryczny lub nieparametryczny i tak dalej.

Aby odróżnić od innych modeli, lepiej przyjrzeć się innym słowom często używanym w celu oznaczenia czegoś innego dla „modeli regresji”, takich jak „błędy w zmiennych”, kiedy akceptujemy możliwość błędów pomiaru w zmiennych predykcyjnych. Mogłoby to zostać uwzględnione w moim opisie „modelu regresji” powyżej, ale często jest traktowane jako model alternatywny.

Co to znaczy, że mogą się różnić w zależności od pola, zobacz Jaka jest różnica między uwarunkowaniem regresorów a traktowaniem ich jako ustalonych?

Powtarzam: liczy się definicja użyta przez autorów, których teraz czytasz, a nie metafizyka na temat tego, czym ona „naprawdę jest”.

— kjetil b halvorsen
źródło

Zgadzam się z istotą twojej odpowiedzi. Moje pytanie było motywowane napotkaniem stwierdzeń na temat modeli regresji, co spowodowało, że zastanawiałem się, do czego to stwierdzenie naprawdę odnosi się (i czego nie dotyczy). Oczywiście, teraz możesz powiedzieć: „wykorzystaj swój najlepszy osąd i dokładnie sprawdź szczegóły”, ale czasami mogę od razu odrzucić hipotezę stwierdzającą, że ogólnie nie jest to prawdą (być może tylko w bardzo szczególnym przypadku) . Potem potrzebuję definicji, do której można się odwoływać. Istnieje oczywiście więcej takich sytuacji, w których przydatne jest precyzyjne zdefiniowanie.

— Richard Hardy,

Następnie powinieneś zadać konkretne pytania dotyczące napotkanych zastosowań, z referencjami.

— kjetil b halvorsen

Nie zamierzam być wybredna, ale pomyśl o tym: ktoś pyta cię, co robisz, ty mówisz: „Analizuję / prognozuję / testuję [coś] przy użyciu modeli regresji”. - „Co to jest model regresji?” - (Cisza). Lub sytuacja we wprowadzającej klasie ekonometrii: „Profesorze, czym jest model regresji?” -- (Brak odpowiedzi). Myślę, że są to bardzo naturalne pytania, więc byłoby miło mieć odpowiedź.

— Richard Hardy,

Tak, byłoby miło mieć odpowiedź, ale nie jestem pewien, czy istnieje jedna odpowiedź kanoniczna, z którą wszyscy mogą się zgodzić. Zupełnie inaczej rozumiem regresję niż książka statystyczna, taka jak Seber: „Analiza regresji liniowej”, jak z tekstu w ekonometrii. Ale niektóre pomysły mogą się zgodzić. Myślę, że to naprawdę rodzina modeli. Następnie możemy zapytać, jaki jest wspólny rdzeń wszystkich tych modeli.

— kjetil b halvorsen

Być może zainteresuje Cię moje powiązane pytanie: definicja prostego modelu regresji liniowej .

— Richard Hardy

Podano już dwie ładne odpowiedzi, ale chciałbym dodać moje dwa centy.

$Y$ $X_1,\dots,X_k$ $Y$

μ = E (y | x_{1}, \dots, x_{k}) = f (x_{1}, \dots, x_{k})

$\mu = E(y|x_1,\dots,x_k) = f(x_1,\dots,x_k)$

$f$ $\mu$ $\mu$ $L_1$ $\mu$

$Y$

— Tim
źródło

Dzięki. Intuicja nie boli, chociaż szukam bardziej formalnej definicji, którą mogłabym rzucić na kogoś, kto zapytał mnie: jaki jest zresztą model regresji? a następnie próbował wybrać szczegóły.

— Richard Hardy

@RichardHardy Myślę, że jest to kluczowa cecha modeli regresji, która jest wspólna dla wszystkich.

— Tim

y

$y$

Kilka myśli opartych na literaturze:

F. Hayashi w rozdziale 1 swojego klasycznego podręcznika dla absolwentów „Ekonometrii” (2000) stwierdza, że następujące założenia obejmują klasyczny model regresji liniowej:

Liniowość
Ścisła egzogeniczność
Brak wielokoliniowości
Wariancja błędu sferycznego
„Naprawiono” regresory

Wooldridge w rozdziale 2 swojego klasycznego wprowadzającego podręcznika ekonometrii „Introductory Econometrics: A Modern Approach” (2012) stwierdza, że następujące równanie definiuje prosty model regresji liniowej:

y = β_{0} + β_{1} x + u .

$y=\beta_0+\beta_1 x+u.$

Greene w rozdziale 2 swojego popularnego podręcznika ekonometrii „Analiza ekonometryczna” (2011) stwierdza

Klasyczny model regresji liniowej składa się z zestawu założeń dotyczących tego, w jaki sposób zestaw danych zostanie wytworzony przez leżący u podstaw „proces generowania danych”.

a następnie podaje listę założeń podobnych do założeń Hayashi.

W odniesieniu do zainteresowania OP modelem GARCH, Bollerslev „Uogólniona autoregresyjna heterodystastyczność warunkowa” (1986) zawiera frazę „model regresji GARCH” w tytule sekcji 5, a także w pierwszym zdaniu tej sekcji. Tak więc ojciec modelu GARCH nie miał nic przeciwko nazywaniu GARCH modelem regresji.

— Richard Hardy
źródło

Y \approx f (X, β)

$Y\approx f(X, \beta)$

To prawda, że moje przykłady dotyczą modeli regresji liniowej ; to właśnie udało mi się znaleźć w wiarygodnych źródłach, takich jak te podręczniki, które są szeroko stosowane i stały się klasyczne. Za bardzo nie ufam Wikipedii w kwestiach statystycznych i ekonometrycznych. W każdym razie nawet w Wikipedii znajduje się rozdział „Podstawowe założenia”, który jest podobny do tego, co cytowałem z podręczników. Jeśli chodzi o drugi post, czy mógłbyś zamieścić tam odpowiednią część swojego komentarza, abym mógł tam odpowiedzieć? W tym poście nie mówiłem nic o ukrytych modelach zmiennych, ale dobrze jest usłyszeć twoją opinię.

— Richard Hardy,

Dlaczego punkt 3: „brak wielokoliniowości”? Nigdy nie widziałem tego jako założenia w dowodzie jakiegoś wyniku!

— kjetil b halvorsen

@kjetilbhalvorsen, proszę nie pociągaj mnie do odpowiedzialności za to, co jest napisane w podręczniku, którego nie jestem autorem. Ale oczywiście dzięki za komentarz, a jeszcze więcej za odpowiedź!

— Richard Hardy,