Pokażmy wynik dla ogólnego przypadku, w którym twoja formuła dla statystyki testowej jest przypadkiem szczególnym. Zasadniczo musimy zweryfikować, czy statystykę można, zgodnie z charakterystyką rozkładuF , zapisać jako stosunek niezależnych rvs podzielonych przez ich stopnie swobody.χ2
Niech ze znanymi i , nielosowymi i ma pełny stopień kolumny . Reprezentuje to ograniczenia liniowe dla (w przeciwieństwie do notacji OP) regresorów, w tym składnik stały. Zatem w przykładzie @ user1627466 odpowiada ograniczeniom ustawiania wszystkich współczynników nachylenia na zero.H0:R′β=rRrR:k×qqqkp−1q=k−1
W związku z , mamy
, aby (z będący „pierwiastkiem macierzowym” , np. Przez Rozkład Choleskiego)
as
Var(β^ols)=σ2(X′X)−1R′(β^ols−β)∼N(0,σ2R′(X′X)−1R),
b- 1 / 2= { R′( X′X)- 1R }- 1 / 2b- 1= { R′( X′X)- 1R }- 1n : = B- 1 / 2σR′( β^ols- β) ∼ N( 0 , Iq) ,
V.a r ( n )==b- 1 / 2σR′V.a r ( β^ols) R B- 1 / 2σb- 1 / 2σσ2)B B.- 1 / 2σ= Ja
gdzie druga linia używa wariancji OLSE.
To, jak pokazano w odpowiedzi, do której linkujesz (patrz także tutaj ), jest niezależne od
gdzie to zwykle szacunek wariancji błędu bezstronnego, przy jest«resztkowa matryca do przygotowywania»od regresji o .re: = ( n - k ) σ^2)σ2)∼ χ2)n - k,
σ 2=Y'KXr/(n-K)KX=I-X(X"X)-1X'Xσ^2)= y′M.Xy/ (n-k)M.X= Ja- X( X′X)- 1X′X
Tak więc, ponieważ jest formą kwadratową w normalnych,
W szczególności, pod , zmniejsza się to do statystyki
n′nn′n∼ χ2)q/ qre/ (n-k)= ( β^ols- β)′R { R′( X′X)- 1R }- 1R′( β^ols- β) / qσ^2)∼ F.q, n - k.
H.0: R′β= rfa= ( R′β^ols- r )′{ R′( X′X)- 1R }- 1( R′β^ols- r ) / qσ^2)∼ F.q, n - k.
Na przykład, rozważmy szczególnym przypadku , , , i . Następnie
kwadratowy euklidesowy dystans OLS oszacuj na podstawie źródła znormalizowanego przez liczbę elementów - podkreślając, że ponieważ są kwadratowymi standardowymi normami, a zatem , rozkład może być widoczny jako „średni .R′= Jar = 0q= 2σ 2 = 1 X ' X = I F = P ' ols p ols / 2 = p 2 ols , 1 + p 2 oli , 2σ^2)= 1X′X= Jafa= β^′olsβ^ols/ 2= β^2)ols , 1+ β^2)ols , 22),
P2oli,2χ21M×2β^2)ols , 2χ2)1faχ2)
W przypadku, gdy wolisz małą symulację (która oczywiście nie jest dowodem!), W której testowane jest zero, że żaden z regresorów znaczenia - co tak naprawdę nie ma, więc symulujemy rozkład zerowy.k
Widzimy bardzo dobrą zgodność między gęstością teoretyczną a histogramem statystyki testu Monte Carlo.
library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1)
# for the null that none of the slope regrssors matter
Fstat <- rep(NA,reps)
for (i in 1:reps){
y <- rnorm(n)
X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
reg <- lm(y~X)
Fstat[i] <- waldtest(reg, test="F")$F[2]
}
mean(Fstat>critical.value) # very close to 0.05
hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")
Aby zobaczyć, że wersje statystyk testowych w pytanie i odpowiedź są rzeczywiście równoważne pamiętać, że odpowiada null ograniczeń i .R′= [ 0ja]r = 0
Niech należy podzielić na partycje, według których współczynniki są ograniczone do zera poniżej zera (w twoim przypadku wszystkie oprócz stałej, ale pochodna, którą należy zastosować, jest ogólna). Niech też jest odpowiednio podzielonym oszacowaniem OLS.X= [ X1X2)]β ole = ( P ' ols , 1 , p ' oli , 2 ) 'β^ols= ( β^′ols , 1, β^′ols , 2)′
Następnie
i
prawy dolny blok
Teraz użyj wyników dla partycjonowanych odwrotności, aby uzyskać
gdzie .R′β^ols= β^ols , 2
R′( X′X)- 1R ≡ D~,
( XT.X)- 1= ( X′1X1X′2)X1X′1X2)X′2)X2))- 1≡ ( A~do~b~re~)
˜ D =(X ′ 2 X2-X ′ 2 X1(X ′ 1 X1)-1X ′ 1 X2)-1=(X ′ 2 M X 1 X2)-1M X 1 =Ire~= ( X′2)X2)- X′2)X1( X′1X1)- 1X′1X2))- 1= ( X′2)M.X1X2))- 1
M.X1= Ja- X1( X′1X1)- 1X′1
Tak więc licznik statystyki staje się (bez dzielenia przez )
Następnie przypomnijmy, że według twierdzenia Frisch-Waugh-Lovell możemy napisać
, aby
faqfan u m= β^′ols , 2( X′2)M.X1X2)) β^ols , 2
β^ols , 2= ( X′2)M.X1X2))- 1X′2)M.X1y
fan u m= y′M.X1X2)( X′2)M.X1X2))- 1( X′2)M.X1X2)) ( X′2)M.X1X2))- 1X′2)M.X1y= y′M.X1X2)( X′2)M.X1X2))- 1X′2)M.X1y
Pozostaje pokazać, że ten licznik jest identyczny z , różnicą w nieograniczonej i ograniczonej sumie kwadratów reszt.ZSRR - RSSR
Tutaj
jest resztkową sumą kwadratów po regresji na , tj. Z nałożonym . W twoim szczególnym przypadku jest to po prostu , reszty regresji na stałej.RSSR = y′M.X1y
yX1H.0T.S.S.= ∑ja( yja- y¯)2)
Ponownie używając FWL (który pokazuje również, że reszty z dwóch podejść są identyczne), możemy zapisać (SSR w Twojej notacji) jako SSR regresji
ZSRRM.X1ynaM.X1X2)
To znaczy,
ZSRR====y′M.′X1M.M.X1X2)M.X1yy′M.′X1( Ja- PM.X1X2)) MX1yy′M.X1y- y′M.X1M.X1X2)( ( MX1X2))′M.X1X2))- 1( MX1X2))′M.X1yy′M.X1y- y′M.X1X2)( X′2)M.X1X2))- 1X′2)M.X1y
A zatem,
RSSR - ZSRR==y′M.X1y- ( y′M.X1y- y′M.X1X2)( X′2)M.X1X2))- 1X′2)M.X1y)y′M.X1X2)( X′2)M.X1X2))- 1X′2)M.X1y