Jaka jest różnica między uwarunkowaniem regresorów a traktowaniem ich jako ustalonych?

Czasami zakładamy, że regresory są stałe, tzn. Nie są stochastyczne. Myślę , że to oznacza, że wszystkie nasze predyktory, oszacowania parametrów itp. Są zatem bezwarunkowe, prawda? Czy mogę nawet posunąć się tak daleko, że nie są już zmiennymi losowymi?

Jeśli z drugiej strony przyjmiemy, że większość regresorów w ekonomii twierdzi, że są stochastyczne, ponieważ żadna siła zewnętrzna nie określiła ich z myślą o jakimś eksperymencie. Ekonometrycy warunkują następnie te stochastyczne regresory.

Czym różni się to od traktowania ich jako ustalonych?

Rozumiem, co to jest warunkowanie. Matematycznie oznacza to, że uzależniamy wszystkie obserwacje i wnioskowanie od tego konkretnego zestawu regresorów i nie mamy ambicji powiedzieć, że wnioski, oszacowania parametrów, oszacowania wariancji itp. Byłyby takie same, gdybyśmy widzieli inną realizację naszych regresorów (takie jest sedno szeregów czasowych, gdzie każdy szereg czasowy jest widziany tylko raz).

Jednak, aby naprawdę zrozumieć różnicę między stałymi regresorami a uwarunkowaniem regresorów stochastycznych, zastanawiam się, czy ktoś tutaj zna przykład procedury szacowania lub wnioskowania, która jest ważna dla powiedzmy stałych regresorów, ale rozkłada się, gdy są stochastyczne (i będą być uwarunkowanym).

Nie mogę się doczekać, aby zobaczyć te przykłady!

— Hirek
źródło

Czy znasz modele błędów w zmiennych?

— robin.datadrivers

Hej @ robin.datadrivers nie, nie jestem.

— Hirek

Są to modele zaprojektowane specjalnie w celu dostosowania oszacowań błędu pomiaru w zmiennych niezależnych. Nie do końca taki sam, jak stochastyczne regresory, ale może się przydać. Ponadto badania ankietowe często zakładają, że zmienne niezależne gromadzone przez ankiety zawierają błąd próbkowania - prawdopodobnie istnieją modele, które uwzględniają błąd próbkowania.

— robin.datadrivers

Inną myślą, na którą natrafiłem, było użycie modeli bayesowskich. Modele Bayesowskie mogą traktować regresory jako losowe, określając dla nich wcześniejszy rozkład. Zazwyczaj, jeśli są one traktowane jako stałe, określasz wcześniejszy rozkład tylko dla parametrów (współczynników, średnich, wariancji), ale gdy brakuje ci współzmiennych lub wyników, określasz dla nich wcześniejszy rozkład. Nie wiem dokładnie, jak zaimplementowałbym to bez zastanowienia, ale może istnieje sposób na określenie wcześniejszego rozkładu dla każdej niezależnej zmiennej.

— robin.datadrivers

Tutaj jestem na cienkim lodzie, ale pozwólcie, że spróbuję: mam wrażenie (proszę o komentarz!), Że główną różnicą między statystyką a ekonometrią jest to, że w statystykach zwykle uważamy regresory za naprawione, stąd macierz projektowania terminologii , która oczywiście pochodzi projektowanie eksperymentów, w których jest przypuszczenie, że my najpierw wybiera , a następnie ustalenia zmiennych objaśniających.

Ale w przypadku większości zestawów danych i większości sytuacji jest to złe dopasowanie. Naprawdę obserwujemy zmienne objaśniające iw tym sensie stoją one na tym samym poziomie, co zmienne odpowiedzi, oba są określane przez jakiś losowy proces poza naszą kontrolą. Biorąc pod uwagę $x$ jako „naprawione”, postanawiamy nie brać pod uwagę wielu problemów, które mogą powodować.

Z drugiej strony, uznając regresory za stochastyczne, jak to zwykle robią ekonometrycy, otwieramy możliwość modelowania, które próbuje rozważyć takie problemy. Krótka lista problemów, które moglibyśmy następnie rozważyć i włączyć do modelowania, to:

błędy pomiarowe w regresorach
korelacje między regresorami a terminami błędów
opóźniona odpowiedź jako regresor
...

Prawdopodobnie należy to robić znacznie częściej niż dzisiaj?

EDIT

Spróbuję sformułować argument za uzależnieniem od regresorów w nieco bardziej formalny sposób. Pozwolić $(Y,X)$ być losowym wektorem, a zainteresowanie polega na regresji $Y$ na $X$ , gdzie regresja oznacza warunkowe oczekiwanie $Y$ na $X$ . Przy założeniach wielonormalnych będzie to funkcja liniowa, ale nasze argumenty nie zależą od tego. Zaczynamy od faktorowania gęstości złącza w zwykły sposób

fa (y, x) = fa (y ∣ x) fa (x)

$f(y,x) = f(y\mid x) f(x)$ ale te funkcje nie są znane, dlatego używamy sparametryzowanego modelu

fa (y, x; θ, ψ) = {fa}_{θ} (y ∣ x) {fa}_{ψ} (x)

$f(y,x; \theta, \psi)=f_\theta(y \mid x) f_\psi(x)$ gdzie

θ

$\theta$ parametryzuje rozkład warunkowy i

ψ

$\psi$ rozkład krańcowy

X

$X$ . W normalnym modelu liniowym możemy mieć

θ = (β, σ^{2})

$\theta=(\beta, \sigma^2)$ ale nie jest to zakładane. Pełna przestrzeń parametrów

(θ, ψ)

$(\theta,\psi)$ jest

Θ \times Ψ

$\Theta \times \Psi$ , produkt kartezjański i te dwa parametry nie mają ze sobą wspólnego.

Można to najpierw zinterpretować jako faktoryzację eksperymentu statystycznego (lub procesu generowania danych, MZD) $X$ jest generowany zgodnie z $f_\psi(x)$ i jako drugi krok $Y$ jest generowany zgodnie z gęstością warunkową $f_\theta(y \mid X=x)$ . Pamiętaj, że pierwszy krok nie wykorzystuje żadnej wiedzy na temat $\theta$ , który wchodzi dopiero w drugim etapie. Statystyka $X$ jest pomocniczy dla $\theta$ , patrz https://en.wikipedia.org/wiki/Ancillary_statistic .

Jednak w zależności od wyników pierwszego kroku drugi krok może być mniej lub bardziej informacyjny $\theta$ . Jeśli rozkład podany przez $f_\psi(x)$ mają bardzo niską wariancję, powiedzmy, zaobserwowaną $x$ zostaną skoncentrowane w małym regionie, więc trudniej będzie je oszacować $\theta$ . Tak więc pierwsza część tego dwuetapowego eksperymentu określa precyzję, z jaką $\theta$ można oszacować. Dlatego naturalne jest warunkowanie $X=x$ wnioskowanie na temat parametrów regresji. To jest argument warunkowości, a powyższy zarys wyjaśnia jego założenia.

W zaprojektowanych eksperymentach jego założenie przeważnie się utrzyma, często bez danych obserwacyjnych. Niektóre przykłady problemów to: regresja z opóźnionymi odpowiedziami jako predyktorami. Uzależnienie od predyktorów w tym przypadku będzie również zależeć od odpowiedzi! (Dodam więcej przykładów).

Jedną książką, która szczegółowo omawia te problemy, są rodziny informacji i wykładnicze: w teorii statystycznej O. E. Barndorffa-Nielsena. Patrz zwłaszcza rozdział 4. Autor twierdzi, że logika separacji w tej sytuacji jest jednak rzadko wyjaśniana, ale podaje następujące odniesienia: RA Fisher (1956) Metody statystyczne i wnioskowanie naukowe $\S 4.3$ i Sverdrup (1966) Obecny stan teorii decyzji i teorii Neymana-Pearsona .

— kjetil b halvorsen
źródło