Jak sprawdzić, czy nachylenia w modelu liniowym są równe stałej wartości?

9

Załóżmy, że mamy prosty model regresji liniowej $Z = aX + bY$ i chciałby przetestować hipotezę zerową $H_0: a=b=\frac{1}{2}$ przeciwko ogólnej alternatywie.

Myślę, że można użyć oszacowania i a następnie zastosować test aby uzyskać przedział ufności wokół . Czy to jest ok? $\hat{a}$ $SE(\hat{a})$ $Z$ $\frac{1}{2}$

Drugie pytanie jest ściśle z tym związane. Załóżmy, że mamy próbkę i obliczamy statystyki $\{(x_1,y_1,z_1),\ldots ,(x_n,y_n,z_n) \}$ $\chi^2$

\sum_{i = 1}^{n} \frac{(z_{i} - \frac{x_{i} + y_{i}}{2})^{2}}{\frac{x_{i} + y_{i}}{2}} .

$\begin{equation} \sum_{i=1}^n \frac{(z_i-\frac{x_i+y_i}{2})^2}{\frac{x_i+y_i}{2}}. \end{equation}$ Czy można wykorzystać te statystyki do przetestowania tej samej hipotezy zerowej?

hypothesis-testing regression

— Lan
źródło

8

W regresji liniowej zakłada się, że $X$ i $Y$ nie są zmiennymi losowymi. Dlatego model

Z = a X + b Y + ϵ

$Z = a X + b Y + \epsilon$

jest algebraicznie taki sam jak

Z - \frac{1}{2} X - \frac{1}{2} Y = (a - \frac{1}{2}) X + (b - \frac{1}{2}) Y + ϵ = α X + β Y + ϵ .

$Z - \frac{1}{2} X - \frac{1}{2} Y = (a - \frac{1}{2})X + (b - \frac{1}{2})Y + \epsilon = \alpha X + \beta Y + \epsilon.$

Tutaj, $\alpha = a - \frac{1}{2}$ i $\beta =b - \frac{1}{2}$ . Termin błędu $\epsilon$ pozostaje nienaruszony. Dopasuj ten model, szacując współczynniki jako $\hat{\alpha}$ i $\hat{\beta}$ odpowiednio i przetestuj hipotezę $\alpha = \beta = 0$ w zwykły sposób.

Statystyka napisana na końcu pytania nie jest statystyką kwadratową chi, pomimo formalnego podobieństwa do niej. Statystyka kwadratu chi obejmuje liczby , a nie wartości danych i musi mieć oczekiwane wartości w mianowniku, a nie zmienne towarzyszące. Jest to możliwe dla jednego lub większej liczby mianowników $\frac{x_i+y_i}{2}$ zero (lub blisko niego), pokazując, że coś jest naprawdę nie tak z tym sformułowaniem. Jeśli nawet to nie jest przekonujące, weź pod uwagę jednostki miary $Z$ , $X$ , i $Y$ może być czymkolwiek (takim jak dramaty, parsowania i dzioby), tak więc kombinacja liniowa jest podobna $z_i - (x_i+y_i)/2$ jest (ogólnie) bez znaczenia. Nic nie testuje.

— Whuber
źródło

1

Dzięki za odpowiedź. To było bardzo przydatne. Właściwie nie byłem bardzo precyzyjny w sformułowaniu drugiej części pytania. Wyobraź sobie, że xs i ys są liczbami dodatnimi, mierzonymi w tych samych jednostkach. Zs (obserwowany wynik) w jakiś sposób mierzy „interakcję” w tym sensie, że jeśli nie ma interakcji, zs powinien wynosić (x + y) / 2 (oczekiwany wynik). Tak więc z mojego punktu widzenia to samo dotyczyło regresji z hipotezą zerową a = b = 1/2 lub porównywania dobroci dopasowania za pomocą statystyki chi ^ 2 Pearsona. Czy to ma jakiś sens? Dzięki!

— Lan

1

@Lan Myślę, że odpowiedź Wolfganga ładnie ilustruje, jak wykonać test, który proponujesz. Jest to przykład tego, co rozumie się przez testowanie hipotezy „w zwykły sposób”.

— whuber

9

Możesz przetestować tę hipotezę za pomocą testu pełnego lub zredukowanego modelu. Oto jak to robisz. Najpierw dopasuj model $Z = aX + bY$ i uzyskaj resztki z tego modelu. Wyrównaj resztki i zsumuj je. Jest to suma błędu kwadratu dla pełnego modelu. Nazwijmy to $SSE_f$ . Następnie obliczyć $Z - \hat{Z}$ gdzie $\hat{Z} = 1/2*X + 1/2*Y$ . To są twoje resztki pod hipotezą zerową. Kwadratuj je i podsumuj. Jest to suma błędu kwadratowego dla zredukowanego modelu. Nazwijmy to $SSE_r$ .

Teraz oblicz:

F = $((SSE_r - SSE_f)/2) / (SSE_f / (n-2))$ ,

gdzie $n$ to wielkość próbki. Pod $H_0$ , ta statystyka F jest zgodna z rozkładem F. $2$ i $n-2$ stopnie swobody.

Oto przykład z użyciem R:

x <- rnorm(n)
y <- rnorm(n)
z <- 1/2*x + 1/2*y + rnorm(n) ### note I am simulating under H0 here

res <- lm(z ~ x + y - 1)
summary(res)
SSE.f <- sum(resid(res)^2)

zhat  <- 1/2*x + 1/2*y
SSE.r <- sum((z-zhat)^2)

F <- ((SSE.r - SSE.f) / 2) / (SSE.f / (n-2))
pf(F, 2, n-2, lower.tail=FALSE) ### this is the p-value

Odrzuć null, jeśli wartość p jest niższa niż 0,05 (jeśli twoja $\alpha$ jest rzeczywiście .05).

Zakładam, że naprawdę chciałeś, aby twój model nie zawierał przechwytywania. Innymi słowy, zakładam, że naprawdę pracujesz z modelem $Z = aX + bY$ i nie $Z = c + aX + bY$ .

— Wolfgang
źródło