Jak uzyskać przedział ufności dla zmiany r-kwadratowej populacji

Dla prostego przykładu załóżmy, że istnieją dwa modele regresji liniowej

• 1 Model posiada trzy czynniki prognostyczne, x1a, x2b, ix2c
• Model 2 ma trzy predyktory z modelu 1 i dwa dodatkowe predyktory x2aorazx2b

Istnieje równanie regresji populacji, w którym wyjaśniona wariancja populacji wynosi $\rho^2_{(1)}$ dla Modelu 1 i $\rho^2_{(2)}$ dla Modelu 2. Inkrementalna wariancja wyjaśniona przez Model 2 w populacji wynosi $\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)}$

Jestem zainteresowany uzyskaniem standardowych błędów i przedziałów ufności dla estymatora $\Delta\rho^2$ . Chociaż przykład dotyczy odpowiednio predyktorów 3 i 2, moje zainteresowania badawcze dotyczą szerokiego zakresu różnych liczb predyktorów (np. 5 i 30). Moją pierwszą myślą było używać $\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}$ jako prognozy i bootstrap, ale nie byłem pewien, czy byłoby to właściwe.

pytania

• Czy rozsądny estymatorem hemibursztynianu p 2 ?$\Delta r^2_{adj}$$\Delta \rho^2$
• Jak można uzyskać przedział ufności dla zmiany r-kwadrat populacji (tj. )?$\Delta\rho^2$
• Czy ładowanie byłoby odpowiednie do obliczania przedziału ufności?$\Delta\rho^2$

Wszelkie odniesienia do symulacji lub opublikowanej literatury będą również mile widziane.

Przykładowy kod

Jeśli to pomoże, stworzyłem mały zestaw danych symulacyjnych w R, który można wykorzystać do zademonstrowania odpowiedzi:

n <- 100
x <- data.frame(matrix(rnorm(n *5), ncol=5))
names(x) <- c('x1a', 'x1b', 'x1c', 'x2a', 'x2b')
beta <- c(1,2,3,1,2)
model2_rho_square <- .7
error_rho_square <- 1 - model2_rho_square
error_sd <- sqrt(error_rho_square / model2_rho_square* sum(beta^2))
model1_rho_square <- sum(beta[1:3]^2) / (sum(beta^2) + error_sd^2)
delta_rho_square <- model2_rho_square - model1_rho_square

x$y <- rnorm(n, beta[1] * x$x1a + beta[2] * x$x1b + beta[3] * x$x1c +
               beta[4] * x$x2a + beta[5] * x$x2b, error_sd)

c(delta_rho_square, model1_rho_square, model2_rho_square)
summary(lm(y~., data=x))$adj.r.square - 
        summary(lm(y~x1a + x1b + x1c, data=x))$adj.r.square

Powód do niepokoju z bootstrap

Uruchomiłem bootstrap na niektórych danych z około 300 przypadkami i 5 predyktorami w prostym modelu i 30 predyktorami w pełnym modelu. Podczas gdy oszacowanie próbki przy użyciu skorygowanej różnicy r-kwadrat było 0.116, przedział ufności podskokiem był przeważnie większy CI95% (0,095 do 0,214), a średnia wartości bootstrapów nie była w pobliżu oszacowania próbki. Wydawało się, że średnia z próbek z zatłoczoną próbką jest wyśrodkowana na oszacowanej próbce różnicy między r-kwadratami w próbce. Dzieje się tak pomimo tego, że do oszacowania różnicy użyłem skorygowanych próbek r-kwadratów.

Co ciekawe, wypróbowałem alternatywny sposób obliczania as$\Delta\rho^2$

1. obliczyć próbkę zmiany r-kwadrat
2. skoryguj zmianę próbki r-kwadrat za pomocą standardowej skorygowanej formuły r-kwadrat

W zastosowaniu do przykładowych danych ta zmniejszona oszacowanie do lecz wydawało się odpowiednie przedziały ufności dla tej metody I wspomnianym pierwszym, 95% przedział ufności (0,062, 0,179) ze średnią .118.$\Delta \rho^2$.082

Ogólnie rzecz biorąc, obawiam się, że ładowanie początkowe zakłada, że ​​próbka jest populacją, a zatem szacunki, że redukcja w przypadku nadmiernego dopasowania może nie działać odpowiednio.

Populacja $R^2$

Ja najpierw próbuje zrozumieć definicję ludności R-kwadrat .

Cytując swój komentarz:

Możesz też zdefiniować go asymptotycznie jako odsetek wariancji wyjaśniony w próbie, gdy wielkość próby zbliża się do nieskończoności.

Myślę, że masz na myśli to jest granica próbki $R^2$ , gdy jeden replikuje modelowi nieskończenie wiele razy (z tymi samymi czynnikami prognostycznymi przy każdej replikacji).

Jaki jest zatem wzór na wartość asymptotyczną próbki ? Napisz swój model liniowy Y = μ + σ G jak w https://stats.stackexchange.com/a/58133/8402 i używaj tych samych notacji co ten link. Następnie można sprawdzić, czy próbka R 2 przechodzi do P O P R 2 : = $R^²$$\boxed{Y=\mu+\sigma G}$
$R^2$ gdy powiela się modelY=μ+σGnieskończenie wiele razy.$\boxed{popR^2:=\dfrac{\lambda}{n+\lambda}}$$Y=\mu+\sigma G$

Jako przykład:

> ## design of the simple regression model lm(y~x0)
> n0 <- 10
> sigma <- 1
> x0 <- rnorm(n0, 1:n0, sigma)
> a <- 1; b <- 2 # intercept and slope
> params <- c(a,b)
> X <- model.matrix(~x0)
> Mu <- (X%*%params)[,1]
> 
> ## replicate this experiment k times 
> k <- 200
> y <- rep(Mu,k) + rnorm(k*n0)
> # the R-squared is:
> summary(lm(y~rep(x0,k)))$r.squared 
[1] 0.971057
> 
> # theoretical asymptotic R-squared:
> lambda0 <- crossprod(Mu-mean(Mu))/sigma^2
> lambda0/(lambda0+n0)
          [,1]
[1,] 0.9722689
> 
> # other approximation of the asymptotic R-squared for simple linear regression:
> 1-sigma^2/var(y)
[1] 0.9721834

Populacja submodelu$R^2$

Załóżmy teraz, że modelem jest z H 1 : μ ∈ W 1 i rozważmy podmodel H 0 : μ ∈ W 0 .$\boxed{Y=\mu+\sigma G}$$H_1\colon\mu \in W_1$$H_0\colon \mu \in W_0$

Następnie stwierdzono powyżej, że populacja modelowego H 1 jest p o p R 2 1 : = λ $R^2$$H_1$ gdzieλ1=‖ P Z 1 μ‖$\boxed{popR^2_1:=\dfrac{\lambda_1}{n+\lambda_1}}$ iZ1=[1]⊥∩W1,a następnie po prostu mamy‖PZ1μ‖2=∑(μi-ˉμ)2.$\boxed{\lambda_1=\frac{{\Vert P_{Z_1} \mu\Vert}^2}{\sigma^2}}$$Z_1=[1]^\perp \cap W_1$${\Vert P_{Z_1} \mu\Vert}^2=\sum(\mu_i - \bar \mu)^2$

$R^2$ $H_0$$R^2$$H_0$$H_1$

Zamiast odpowiedzieć na pytanie, które zadałeś, zapytam, dlaczego zadajesz to pytanie. Zakładam, że chcesz wiedzieć, czy

mod.small <- lm(y ~ x1a + x1b + x1c, data=x)

jest co najmniej tak dobry jak

mod.large <- lm(y ~ ., data=x)

w wyjaśnianiu y. Ponieważ te modele są zagnieżdżone, wydaje się, że oczywistym sposobem na odpowiedź na to pytanie jest przeprowadzenie analizy wariancji porównującej je, w taki sam sposób, jak można przeprowadzić analizę dewiacji dla dwóch GLM, takich jak

anova(mod.small, mod.large)

Następnie możesz użyć przykładowej poprawy R-kwadrat między modelami jako najlepszego odgadnięcia, jaka byłaby poprawa dopasowania w populacji, zawsze zakładając, że możesz zrozumieć sens populacji R-kwadrat. Osobiście nie jestem pewien, czy mogę, ale z tym nie ma to żadnego znaczenia.

Mówiąc bardziej ogólnie, jeśli interesuje Cię ilość ludności, prawdopodobnie jesteś zainteresowany uogólnieniem, więc miara dopasowania próbki nie jest dokładnie tym, czego chcesz, ale „poprawiona”. Na przykład wydaje się, że sprawdzanie krzyżowe pewnej ilości, która szacuje rodzaj i liczbę faktycznych błędów, których można się spodziewać po próbce, takich jak MSE, osiąga pożądane wyniki.

Ale jest całkiem możliwe, że czegoś mi brakuje ...

$\rho^2$

Podwójnie regulowany pasek w kształcie r-kwadrat

Moim najlepszym przypuszczeniem przy odpowiedzi jest zrobienie podwójnie dostosowanego bootstrapu z kwadratem r. Wdrożyłem technikę. Obejmuje to:

• Wygeneruj zestaw próbek bootstrap z bieżących danych.
• Dla każdej próbki startowej:
  • obliczyć pierwszy skorygowany kwadrat r dla dwóch modeli
  • obliczyć drugi skorygowany r-kwadrat na skorygowanych wartościach r-kwadrat z poprzedniego kroku
  • $\Delta \rho^2$

Uzasadnieniem jest to, że pierwszy skorygowany r-kwadrat usuwa uprzedzenie wprowadzone przez bootrapping (tj. Ładowanie początkowe zakłada, że ​​próbka r-kwadrat jest r-kwadratem populacji). Drugi skorygowany r-kwadrat wykonuje standardową korektę, która jest stosowana do normalnej próbki w celu oszacowania populacji r-kwadrat.

W tym momencie wszystko, co widzę, to to, że zastosowanie tego algorytmu generuje szacunki, które wydają się odpowiednie (tj. Średnia theta_hat w bootstrapie jest bardzo zbliżona do próbki theta_hat). Standardowy błąd jest zgodny z moją intuicją. Nie przetestowałem jeszcze, czy zapewnia on odpowiednią częstotliwość odwiedzin, gdy znany jest proces generowania danych, i nie jestem do końca pewien, w jaki sposób argument można uzasadnić na podstawie pierwszych zasad

Jeśli ktoś widzi powody, dla których takie podejście byłoby problematyczne, byłbym wdzięczny za to.

Symulacja Algina i in

$\Delta \rho^2$

Smithson (2001) na temat używania parametru niecentryczności

$R^2$$f^2$$R^2$

Bibliografia

• Algina, J., Keselman, HJ i Penfield, RD Przedziały ufności dla kwadratowego wielokrotnego współczynnika korelacji dwuczęściowej. PDF
• Smithson, M. (2001). Prawidłowe przedziały ufności dla różnych rozmiarów i parametrów efektu regresji: Znaczenie niecentralnych rozkładów w przedziałach obliczeniowych. Pomiary edukacyjne i psychologiczne, 61 (4), 605-632.