Rozumiem pojęcie, że jest średnią, gdy zmienna kategorialna jest równa 0 (lub jest grupą odniesienia), co daje końcową interpretację, że współczynnik regresji jest różnicą średniej z dwóch kategorii. Zakładam, że nawet przy> 2 kategoriach każda wyjaśnia różnicę między średnią tej kategorii a odniesieniem.$\hat\beta_0$$\hat\beta$

Ale co jeśli więcej zmiennych zostanie wprowadzonych do modelu wielowymiarowego? Co teraz oznacza punkt przecięcia, biorąc pod uwagę, że nie ma sensu, aby był to środek odniesienia dla dwóch zmiennych kategorialnych? Przykładem może być płeć (M (odniesienie) / F) i rasa (biały (odniesienie) / czarny) w modelu. Czy oznacza tylko dla białych mężczyzn? Jak interpretuje się inne możliwości?$\hat\beta_0$

Jako osobna uwaga: czy instrukcje kontrastowe służą jako metoda do badania modyfikacji efektu? A może po prostu zobaczyć efekt ( ) na różnych poziomach?$\hat\beta$

Masz rację co do interpretacji bet, gdy istnieje jedna zmienna kategorialna z poziomami . Jeśli istniało wiele zmiennych kategorialnych (i nie było terminu interakcji), punkt przecięcia ( ) jest średnią grupy, która stanowi poziom odniesienia dla obu (wszystkich) zmiennych kategorialnych. Korzystając z przykładowego scenariusza, rozważ przypadek, w którym nie ma interakcji, a następnie beta: $k$β 0$\hat\beta_0$

• $\hat\beta_0$ : średnia białych mężczyzn
• $\hat\beta_{\rm Female}$ : różnica między średnią kobiet i średnią mężczyzn
• $\hat\beta_{\rm Black}$ : różnica między średnią czarnych a średnią białą

Możemy również pomyśleć o tym, jak obliczyć różne grupy:

$$\begin{align} &\bar x_{\rm White\ Males}& &= \hat\beta_0 \\ &\bar x_{\rm White\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} \\ &\bar x_{\rm Black\ Males}& &= \hat\beta_0 + \hat\beta_{\rm Black} \\ &\bar x_{\rm Black\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} + \hat\beta_{\rm Black} \end{align}$$

Jeśli masz termin interakcji, zostanie dodany na końcu równania dla czarnych kobiet. (Interpretacja takiego terminu interakcji jest dość skomplikowana, ale przechodzę przez to tutaj: Interpretacja terminu interakcji ).

---

Aktualizacja : Aby wyjaśnić moje punkty, zastanówmy się nad zakodowanym przykładem w puszce R.

d = data.frame(Sex  =factor(rep(c("Male","Female"),times=2), levels=c("Male","Female")),
               Race =factor(rep(c("White","Black"),each=2),  levels=c("White","Black")),
               y    =c(1, 3, 5, 7))
d
#      Sex  Race y
# 1   Male White 1
# 2 Female White 3
# 3   Male Black 5
# 4 Female Black 7

Średnie ydla tych zmiennych kategorialnych są:

aggregate(y~Sex,  d, mean)
#      Sex y
# 1   Male 3
# 2 Female 5
## i.e., the difference is 2
aggregate(y~Race, d, mean)
#    Race y
# 1 White 2
# 2 Black 6
## i.e., the difference is 4

Możemy porównać różnice między tymi średnimi do współczynników z dopasowanego modelu:

summary(lm(y~Sex+Race, d))
# ...
# Coefficients:
#             Estimate Std. Error  t value Pr(>|t|)    
# (Intercept)        1   3.85e-16 2.60e+15  2.4e-16 ***
# SexFemale          2   4.44e-16 4.50e+15  < 2e-16 ***
# RaceBlack          4   4.44e-16 9.01e+15  < 2e-16 ***
# ...
# Warning message:
#   In summary.lm(lm(y ~ Sex + Race, d)) :
#   essentially perfect fit: summary may be unreliable

W tej sytuacji należy rozpoznać, że bez terminu interakcji zakładamy linie równoległe. Zatem Estimatefor (Intercept)oznacza średnią białych mężczyzn. EstimateZa SexFemaleto różnica pomiędzy średnią z samicami, a średnia z mężczyzn. EstimateZa RaceBlackto różnica pomiędzy średnią z czarnych i średnia białych. Ponownie, ponieważ model bez terminu interakcji zakłada, że ​​skutki są ściśle addytywne (linie są ściśle równoległe), średnia czarnych kobiet jest wówczas średnią białych mężczyzn plus różnica między średnią kobiet i średnią mężczyzn plus różnica między średnią czerni a średnią bieli.

W rzeczywistości, jak słusznie zauważyłeś, w przypadku jednej zmiennej kategorialnej (potencjalnie większej niż 2 poziomy) jest rzeczywiście średnią odniesienia, a druga jest różnicą między średnia tego poziomu kategorii i średnia odniesienia.$\hat{\beta}_0$$\hat\beta$

Jeśli rozszerzymy nieco twój przykład, aby uwzględnić trzeci poziom w kategorii wyścigu (powiedzmy azjatycki ) i wybraliśmy biały jako punkt odniesienia, to masz:

• $\hat{\beta}_0 = \bar{x}_{White}$
• $\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
• $\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$

W takim przypadku interpretacja wszystkich jest łatwa, a znalezienie średniej z dowolnego poziomu kategorii jest proste. Na przykład:$\hat{\beta}$

• $\bar{x}_{Asian} = \hat{\beta}_{Asian} + \hat{\beta}_0$

Niestety w przypadku wielu zmiennych kategorycznych poprawna interpretacja przechwytywania nie jest już tak jasna (patrz uwaga na końcu). Gdy istnieje n kategorii, każda z wieloma poziomami i jednym poziomem odniesienia (np. W tobie biały i męski ), ogólna forma przechwytywania jest:

$$\hat{\beta}_0 =∑_{i=1}^{n}\bar{x}_{reference,i} -(n-1) \bar{x} ,$$ gdzie $$\bar{x}_{reference,i}\small{\text{ is the mean of the reference level of the i-th categorical variable,}}$$ $$\bar{x}\small{\text{ is the mean of the whole data set}}$$

Inne są takie same, jak w przypadku jednej kategorii: są różnicą między średnią tego poziomu kategorii a średnią poziomu odniesienia tej samej kategorii.$\hat\beta$

Gdybyśmy wrócili do twojego przykładu, otrzymalibyśmy:

• $\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$
• $\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
• $\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$
• $\hat{\beta}_{Female} = \bar{x}_{Female} - \bar{x}_{Male}$

Zauważysz, że średnia z kategorii krzyżowych (np. Białe samce ) nie występuje w żadnej z . W rzeczywistości nie można dokładnie obliczyć tych środków na podstawie wyników tego rodzaju regresji .$\hat\beta$

Powodem tego jest to, że liczba zmiennych predykcyjnych (tj. ) jest mniejsza niż liczba kategorii krzyżowych (o ile masz więcej niż 1 kategorię), więc idealne dopasowanie nie zawsze jest możliwe. Jeśli wrócimy do twojego przykładu, liczba predyktorów wynosi 4 (tj. i ), podczas gdy liczba krzyżowych kategorii wynosi 6.$\hat\beta$$\hat{\beta}_0, ~\hat{\beta}_{Black}, ~\hat{\beta}_{Asian}$$\hat{\beta}_{Female}$

Przykład numeryczny

Pozwól, że pożyczę od @Gung na przykład w postaci liczbowej w puszce:

d = data.frame(Sex=factor(rep(c("Male","Female"),times=3), levels=c("Male","Female")),
    Race =factor(rep(c("White","Black","Asian"),each=2),levels=c("White","Black","Asian")),
    y    =c(0, 3, 7, 8, 9, 10))
d

#      Sex  Race  y
# 1   Male White  0
# 2 Female White  3
# 3   Male Black  7
# 4 Female Black  8
# 5   Male Asian  9
# 6 Female Asian 10

W takim przypadku różne średnie, które będą brane pod uwagę przy obliczaniu to:$\hat\beta$

aggregate(y~1,  d, mean)

#          y
# 1 6.166667

aggregate(y~Sex,  d, mean)

#      Sex        y
# 1   Male 5.333333
# 2 Female 7.000000

aggregate(y~Race, d, mean)

#    Race   y
# 1 White 1.5
# 2 Black 7.5
# 3 Asian 9.5

Możemy porównać te liczby z wynikami regresji:

summary(lm(y~Sex+Race, d))

# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)   0.6667     0.6667   1.000   0.4226
# SexFemale     1.6667     0.6667   2.500   0.1296
# RaceBlack     6.0000     0.8165   7.348   0.0180
# RaceAsian     8.0000     0.8165   9.798   0.0103

Jak widać, różne oszacowane na podstawie regresji wszystkie są zgodne z powyższymi wzorami. Na przykład podaje: Co daje:$\hat\beta$$\hat\beta_0$

$$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$$

1.5 + 5.333333 - 6.166667
# 0.66666

Uwaga na temat wyboru kontrastu

Ostatnia uwaga na ten temat, wszystkie wyniki omówione powyżej odnoszą się do kategorycznych regresji z zastosowaniem leczenia kontrastem (domyślny typ kontrastu w R). Istnieją różne rodzaje kontrastów, które można zastosować (w szczególności Helmerta i suma) i zmieniłoby to interpretację różnych . Nie zmieniłoby to jednak ostatecznych przewidywań z regresji (np. Przewidywanie dla białych mężczyzn jest zawsze takie samo, bez względu na zastosowany rodzaj kontrastu).$\hat\beta$

Moim osobistym ulubionym jest suma kontrastu, ponieważ uważam, że interpretacja uogólnia się lepiej, gdy istnieje wiele kategorii. Dla tego rodzaju kontrastu nie ma poziomu odniesienia, a raczej odniesienie jest średnią całej próbki i masz następujący :$\hat\beta^{contr.sum}$$\hat\beta^{contr.sum}$

• $\hat\beta_0^{contr.sum}=\bar{x}$
• $\hat\beta_i^{contr.sum}=\bar{x}_i-\bar{x}$

Jeśli wrócimy do poprzedniego przykładu, miałbyś:

• $\hat{\beta}_0^{contr.sum} = \bar{x}$
• $\hat{\beta}_{White}^{contr.sum} = \bar{x}_{White} - \bar{x}$
• $\hat{\beta}_{Black}^{contr.sum} = \bar{x}_{Black} - \bar{x}$
• $\hat{\beta}_{Asian}^{contr.sum} = \bar{x}_{Asian} - \bar{x}$
• $\hat{\beta}_{Male}^{contr.sum} = \bar{x}_{Male} - \bar{x}$
• $\hat{\beta}_{Female}^{contr.sum} = \bar{x}_{Female} - \bar{x}$

Zauważysz, że ponieważ Białe i Męskie nie są już poziomami odniesienia, ich nie są już 0. Fakt, że są to 0, jest specyficzny dla leczenia kontrastem.$\hat\beta^{contr.sum}$