Rozważ prosty model liniowy:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

gdzie $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ i $X\in\mathbb{R}^{n\times p}$ ,$p\geq2$ a$X$ zawiera kolumnę stałych.

My pytanie, ponieważ $\mathrm{E}(X'X)$ , $\beta$ i $\sigma$ , ma wzór o nie trywialne górną granicę $\mathrm{E}(R^2)$ *? (przy założeniu, że model został oszacowany przez OLS).

* Przypuszczałem, pisząc to, że coraz $E(R^2)$ sama w sobie nie byłoby to możliwe.

EDYCJA 1

stosując rozwiązanie wyprowadzone przez Stéphane Laurenta (patrz poniżej) możemy uzyskać nietrywialną górną granicę $E(R^2)$ . Niektóre symulacje numeryczne (poniżej) pokazują, że ta granica jest w rzeczywistości dość ścisła.

Stéphane Laurent pochodzące następujące: $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ gdzie $\mathrm{B}(p-1,n-p,\lambda)$ jest poza centrum dystrybucji beta, non-centralność parametr $\lambda$ z

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

Więc

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

gdzie $\chi^2_{k}(\lambda)$ jest $\chi^2$ z parametrem $\lambda$ i $k$ stopni swobody. Tak nietrywialnym górna granica dla $\mathrm{E}(R^2)$ to

$$\frac{\lambda+p-1}{\lambda+n-1}$$

jest bardzo ciasny (możliwe byłoby ściślejsze niż oczekiwałem):

na przykład za pomocą:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

średnia z $R^2$ ponad 1000 symulacji wynosi 0.960819. Teoretyczna górna granica powyżej daje 0.9609081. Związany wydaje się być równie precyzyjne w wielu wartości $R^2$ . Naprawdę zdumiewające!

EDYCJA 2:

Po dalszych badaniach, to pojawia się , że jakość górnej granicy przybliżenie będzie lepiej co X + s wzrasta (a reszta równych X zwiększa się z N ).$E(R^2)$$\lambda+p$$\lambda$$n$

Można zapisać dowolny model liniowy gdzie G ma standardowy rozkład normalny na R n i przyjmuje się, że μ należy do podprzestrzeni liniowej W z R n . W twoim przypadku W = Im ( X ) .$\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$

Niech będzie jednowymiarową podprzestrzenią liniową generowaną przez wektor ( 1 , 1 , … , 1 ) . Biorąc U = [ 1 ] poniżej, R 2 jest silnie związana z klasycznego statystycznego Fisher F = ‖ P Z Y ‖ 2 / ( m - ℓ $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$ dla testu hipotezyH0:{μ∈U},gdzieU⊂Wjest podprzestrzenią liniową, i oznaczające Z=U⊥∩Wortogonalnym dopełnieniemUwW, a oznaczającem=dim(W)iℓ=dim(U

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$ (wtedy i ℓ = 1 w twojej sytuacji).$m=p$$\ell=1$

Rzeczywiście, , ponieważ definicjaR2to R2= ‖ P Z Y ‖

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

Obviously $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ and $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$.

When $H_0\colon\{\mu \in U\}$ is true then $P_Z \mu = 0$ and therefore

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ has the Fisher $F_{m-\ell,n-m}$ distribution. Consequently, from the classical relation between the Fisher distribution and the Beta distribution, $R^2 \sim {\cal B}(m-\ell, n-m)$.

$P_Z Y = P_Z \mu + \sigma P_Z G$ when $P_Z\mu \neq 0$. In this general case one has ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$, the noncentral $\chi^2$ distribution with $m-\ell$ degrees of freedom and noncentrality parameter $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$, and then $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ (noncentral Fisher distribution). This is the classical result used to compute power of $F$-tests.

The classical relation between the Fisher distribution and the Beta distribution hold in the noncentral situation too. Finally $R^2$ has the noncentral beta distribution with "shape parameters" $m-\ell$ and $n-m$ and noncentrality parameter $\lambda$. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down $P_Z\mu$. Note that $P_Z = P_W - P_U$. One has $P_U \mu = \bar\mu 1$ when $U=[1]$, and $P_W \mu = \mu$. Hence $P_Z \mu =\mu - \bar\mu 1$ where here $\mu=X\beta$ for the unknown parameters vector $\beta$.