Pominięte zmienne odchylenie w regresji logistycznej vs. pominięte zmienne odchylenie w zwykłej regresji metodą najmniejszych kwadratów

Mam pytanie dotyczące pominiętej zmienności stronniczej w regresji logistycznej i liniowej.

Powiedzmy, że pomijam niektóre zmienne z modelu regresji liniowej. Udawaj, że te pominięte zmienne nie są skorelowane ze zmiennymi, które zawarłem w moim modelu. Te pominięte zmienne nie wpływają na współczynniki w moim modelu.

Ale w regresji logistycznej właśnie dowiedziałem się, że to nieprawda. Pominięte zmienne będą wpływać na współczynniki uwzględnionych zmiennych, nawet jeśli pominięte zmienne nie są skorelowane z włączonymi zmiennymi. Znalazłem artykuł na ten temat, ale nie mogę zrobić z niego głów ani ogonów.

Oto papier i niektóre slajdy PowerPoint.

Najwyraźniej tendencyjność zawsze jest bliska zeru. Czy ktoś może wyjaśnić, jak to działa?

— ConfusedEconometricsUndergrad
źródło

Czy znasz sposób, w jaki model regresji logistycznej wyłania się z bazowego modelu regresji liniowej „zmiennej utajonej”?

— Alecos Papadopoulos

@AlecosPapadopoulos I dla jednego nie jestem. Co to za danie

— Alexis,

Istnieją inne artykuły na ten temat, ale ten, do którego linkujesz, jest najłatwiejszy, jaki znam. Więc nie sądzę, żebym mógł to poprawić.

— Maarten Buis,

Drogi panie Papadopoulos: Przeczytałem o idei zmiennej utajonej. Dlaczego pytasz?

— ConfusedEconometricsUndergrad

@ Alexis patrz np ten post, stats.stackexchange.com/questions/80611/... oraz artykuł Wikipedia, en.wikipedia.org/wiki/... . Podejście to wyjaśnia również, że to, co przyjmujemy na temat błędu modelu bazowego, określa, jaki model otrzymamy na poziomie prawdopodobieństwa. Dla innego przykładu, jeśli założymy, że podstawowy błąd występuje po mundurze, otrzymujemy liniowy model prawdopodobieństwa, patrz stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

Przypadek „tendencyjności tłumienia” można lepiej przedstawić, jeśli przeanalizujemy model „probit” - ale wynik przeniesie się również do regresji logistycznej.

Poniżej modeli warunkowego prawdopodobieństwa (modele logistyczne (logit), „probit” i „prawdopodobieństwo liniowe”) możemy postulować ukryty (nieobserwowalny) model regresji liniowej:

y^{*} = X β + u

$y^* = X\beta + u$

gdzie jest ciągłą nieobserwowalną zmienną (a jest macierzą regresora). Przyjmuje się, że składnik błędu jest niezależny od regresorów i podąża za rozkładem, którego gęstość jest symetryczna wokół zera , aw naszym przypadku standardowy rozkład normalny . $y^*$ $X$ $F_U(u)= \Phi(u)$

Zakładamy, że to, co obserwujemy, tj. Zmienna binarna , jest funkcją wskaźnika nieobserwowalnego : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Następnie pytamy „jakie jest prawdopodobieństwo, że przyjmie wartość biorąc pod uwagę regresory?” (tzn. patrzymy na prawdopodobieństwo warunkowe). To jest $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

ostatnia równość wynika z właściwości „odbijającej” standardowej funkcji rozkładu skumulowanego, która pochodzi z symetrii funkcji gęstości wokół zera. Zauważ, że chociaż założyliśmy, że jest niezależny od , uwarunkowanie jest konieczne, aby potraktować wielkość jako nieprzypadkową. $u$ $X$ $X$ $X\beta$

Jeśli założymy, że , otrzymujemy model teoretyczny $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Niech teraz będzie niezależny od i błędnie wyłączony ze specyfikacji regresji leżącej u podstaw. Więc określamy $X_2$ $X_1$

Załóżmy ponadto, że jest również normalną zmienną losową . Ale to oznacza, że

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

z powodu zamknięcia-dodania rozkładu normalnego (i założenia niezależności). Stosując tę samą logikę jak poprzednio, oto mamy

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

$\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

and one can compare models $(1)$ and $(2)$ .

The above theoretical expression, tells us where our maximum likelihood estimator of $b_1$ is going to converge, since it remains a consistent estimator, in the sense that it will converge to the theoretical quantity that really exists in the model (and of course, not in the sense that it will find the "truth" in any case):

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

which is the "bias towards zero" result.

We used the probit model, and not the logit (logistic regression), because only under normality can we derive the distribution of $\epsilon$ . The logistic distribution is not closed under addition. This means that if we omit a relevant variable in logistic regression, we also create distributional misspecification, because the error term (that now includes the omitted variable) no longer follows a logistic distribution. But this does not change the bias result (see footnote 6 in the paper linked to by the OP).

— Alecos Papadopoulos
źródło