Jaki jest prawidłowy sposób testowania znaczących różnic między współczynnikami?

18

Mam nadzieję, że ktoś pomoże mi rozwiązać problem zamieszania. Powiedzmy, że chcę przetestować, czy 2 zestawy współczynników regresji różnią się znacznie od siebie, z następującą konfiguracją:

$y_i = \alpha + \beta x_i + \epsilon_i$ , z 5 niezależnymi zmiennymi.
2 grupy o mniej więcej równych rozmiarach $n_1, n_2$ (choć może się to różnić)
Tysiące podobnych regresji zostaną wykonane jednocześnie, więc należy wykonać pewną korektę wielu hipotez.

Jednym z zaproponowanych mi podejść jest zastosowanie testu Z:

$Z = \frac{b_1 - b_2}{\sqrt(SEb_1^2 + SEb_2^2)}$

Inną, którą widziałem na tej tablicy, jest wprowadzenie zmiennej zastępczej do grupowania i przepisanie modelu jako:

, gdzie jest zmienną grupującą, kodowaną jako 0, 1. $y_i = \alpha + \beta x_i + \delta(x_ig_i) + \epsilon_i$ $g$

Moje pytanie brzmi: w jaki sposób te dwa podejścia są różne (np. Różne założenia, elastyczność)? Czy jedno jest bardziej odpowiednie od drugiego? Podejrzewam, że jest to dość podstawowe, ale wszelkie wyjaśnienia byłyby bardzo mile widziane.

regression hypothesis-testing multiple-regression

— kaszmir
źródło

Uważam, że odpowiedzi i komentarze na podobne pytanie mogą dostarczyć niektórych wyjaśnień, których szukasz.

— whuber

Dziękuję, Whuber. Znałem tę odpowiedź. Z dyskusji poniżej przyjętej odpowiedzi (i twoich komentarzy) odniosłem wrażenie, że porównanie współczynników 2 oddzielnych pasowań nie było właściwe. Czy test Z zastosowany do współczynników z osobnych pasowań jest niepoprawny, czy też kodowanie zmiennej fikcyjnej jest po prostu łatwiejsze i zapewnia równoważną odpowiedź?

— gotówki

1

Proszę zobaczyć ostatni akapit mojej odpowiedzi („Główne ograniczenie ...”). Test Z jest ważny, zakładając, że

są duże (w przeciwnym razie zastosowane w teście), a szacowane odchylenia standardowe

nie różnią się zbytnio od siebie. Żadne z tych podejść nie jest najlepsze, gdy odchylenia standardowe bardzo się różnią (z grubsza, więcej niż stosunek 3: 1).

n_{i}

$n_i$

S E b_{i}

$SEb_i$

— Whuber

13

Oba podejścia różnią się.

Niech szacowane standardowe błędy dwóch regresji wynoszą i . Następnie, ponieważ regresja łączona (ze wszystkimi interakcjami współczynnik-manekin) pasuje do tych samych współczynników, ma te same reszty, skąd jej błąd standardowy można obliczyć jako $s_1$ $s_2$

s = \sqrt{\frac{(n_{1} - p) s_{1}^{2} + (n_{2} - p) s_{2}^{2})}{n_{1} + n_{2} - 2 p}} .

$s = \sqrt{\frac{(n_1-p) s_1^2 + (n_2-p) s_2^2)}{n_1 + n_2 - 2 p}}.$

Liczba parametrów jest równa w przykładzie: pięć nachyleń i przecięcie w każdej regresji. $p$ $6$

Niech oszacuje parametr w jednej regresji, oszacuje ten sam parametr w drugiej regresji, i oszacuje ich różnicę w regresji połączonej. Następnie ich standardowe błędy są powiązane przez $b_1$ $b_2$ $b$

S E (b) = s \sqrt{(S E (b_{1}) / s_{1})^{2} + (S E (b_{2}) / s_{2})^{2}} .

$SE(b) = s \sqrt{(SE(b_1)/s_1)^2 + (SE(b_2)/s_2)^2}.$

Jeśli nie wykonałeś regresji połączonej, ale masz statystyki tylko dla osobnych regresji, podłącz poprzednie równanie dla . Będzie to mianownik testu t. Oczywiście nie jest to to samo, co mianownik przedstawiony w pytaniu. $s$

Założeniem regresji połączonej jest to, że wariancje reszt są zasadniczo takie same w obu oddzielnych regresjach. Jeśli tak nie jest, test Z również nie będzie dobry (chyba że rozmiary próbek są duże): chciałbyś skorzystać z testu CABF lub testu t Welch-Satterthwaite.

— Whuber
źródło

9

Najbardziej bezpośrednim sposobem sprawdzenia różnicy we współczynniku między dwiema grupami jest włączenie terminu interakcji do regresji, co jest prawie tym, co opisujesz w swoim pytaniu. Model, który chcesz uruchomić, jest następujący:

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$

$t$ $H_0: \delta = 0$ $g_i = 0$

$y_i = \alpha + \beta x_i + \varepsilon_i$

$g_i = 1$

$y_i = (\alpha + \gamma) + (\beta + \delta) x_i + \varepsilon_i$

Thus, when $\delta$ is 0, then two groups have the same coefficient.

— Matt Blackwell
źródło

Dzięki za poprawienie modelu (uważam, że moja powyższa wersja po prostu wymusza, aby przechwytywanie było takie samo w obu grupach ...). Co więcej, czy byłoby to równoważne z testem Z, który opublikowałem powyżej?

— cashoes

If one wanted to test whether an effect is different between more than two groups, would an ANOVA comparing the model

y_{i} = α + β x_{i} + γ g_{i} + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \varepsilon_i$ and the one shown in this answer,

y_{i} = α + β x_{i} + γ g_{i} + δ (x_{i} \times g_{i}) + ε_{i}

$y_i = \alpha + \beta x_i + \gamma g_i + \delta (x_i \times g_i) + \varepsilon_i$ be appropriate?

— miura

@matt-blackwell is this conceptually the same as stratifying the model by each value of g? (ie. b would be the coefficient of x when g=0, and beta+delta when g=1) Although I appreciate that stratifying does not allow statistical comparison.

— bobmcpop