Uzyskanie wzoru na granice predykcji w modelu liniowym (tj .: przedziały prognozowania)

Weźmy następujący przykład:

set.seed(342)
x1 <- runif(100)
x2 <- runif(100)
y <- x1+x2 + 2*x1*x2 + rnorm(100)
fit <- lm(y~x1*x2)

Tworzy to model y oparty na x1 i x2 przy użyciu regresji OLS. Jeśli chcemy przewidzieć y dla danego x_vec, moglibyśmy po prostu użyć wzoru, który otrzymujemy z summary(fit).

Co jednak, jeśli chcemy przewidzieć dolną i górną prognozę y? (dla danego poziomu ufności).

Jak więc zbudowalibyśmy formułę?

r regression predictive-models prediction-interval

— Tal Galili
źródło

Przedział ufności na nowe obserwacje części tej strony mogą pomóc.

— GaBorgulya,

@ Tal Przepraszam, ale tak naprawdę nie jest dla mnie jasne, co tak naprawdę rozumiesz przez „przewidywanie dolnej i górnej prognozy y”. Czy ma to coś wspólnego z przedziałami predykcji lub tolerancji?

— chl

@Tal - kilka zapytań. Kiedy mówisz „.. y na podstawie x1 i x2, używając regresji OLS”. , masz na myśli stworzenie modelu liniowego i oszacowanie parametrów za pomocą OLS . Czy mam rację? i pytanie @ chl - czy chcesz przewidzieć dolną i górną granicę przedziału prognoz?

— suncoolsu,

@chl, przepraszam, że nie było bardziej jasne. Szukam dwóch formuł, które podadzą przedział, w którym „złapie” „rzeczywistą” wartość y 95% czasu. Mam na myśli to, jak używam definicji dla CI, gdy jest prawdopodobnie inny termin, którego powinienem użyć, przepraszam za to ...

— Tal Galili

@suncoolsu - tak i tak.

— Tal Galili

Odpowiedzi:

Będziesz potrzebował arytmetyki macierzowej. Nie jestem pewien, jak sobie z tym poradzi Excel. W każdym razie oto szczegóły.

Załóżmy, że regresja jest zapisana jako $\mathbf{y} = \mathbf{X}\mathbf{\beta} + \mathbf{e}$ .

Niech będzie wektorem wiersza zawierającym wartości predyktorów dla prognoz (w tym samym formacie co ). Wtedy prognoza jest przez w skojarzony wariancji $\mathbf{X}^*$ $\mathbf{X}$

\hat{y} = X^{*} \hat{β} = X^{*} (X^{'} X)^{- 1} X^{'} Y

$\hat{y} = \mathbf{X}^*\hat{\mathbf{\beta}} = \mathbf{X}^*(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$

σ^{2} [1 + X^{*} (X^{'} X)^{- 1} (X^{*})^{'}] .

$\sigma^2 \left[1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'\right].$ Następnie 95% przedział predykcji może być obliczone (zakładając, że rozkład normalny błąd), a

Uwzględnia to niepewność związaną ze składnikiem błędu

oraz niepewność w oszacowaniach współczynników. Jednak ignoruje wszelkie błędy w

. Jeśli więc przyszłe wartości predyktorów nie są pewne, wówczas przedział przewidywania obliczony przy użyciu tego wyrażenia będzie zbyt wąski.

\hat{y} \pm 1.96 \hat{σ} \sqrt{1 + X^{*} (X^{'} X)^{- 1} (X^{*})^{'}} .

$\hat{y} \pm 1.96 \hat{\sigma} \sqrt{1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'}.$

e

$e$

X^{*}

$\mathbf{X}^*$

— Rob Hyndman
źródło

+1, doskonała odpowiedź. Powinienem jednak zauważyć, że model regresji zawsze szacuje oczekiwanie warunkowe, więc jest tak dobry, jak jego regresory. Ostatni komentarz, choć jest bardzo dobry, nie jest absolutnie konieczny, ponieważ jeśli zbudujesz model regresji, musisz zaufać regresorom.

— mpiktas

\hat{y} = X^{*} β + X^{*} (X^{'} X)^{- 1} X^{'} e

$\hat{y}=X^*\beta+X^*(X'X)^{-1}X'e$

v a r \hat{y} = v a r X^{*} (X^{'} X)^{- 1} X^{'} e = σ^{2} X^{*} (X^{'} X)^{- 1} (X^{*})^{'}

$var \hat{y}=var X^*(X'X)^{-1}X'e=\sigma^2X^*(X'X)^{-1}(X^*)'$ ?

— mpiktas,

\hat{y}

$\hat{y}$

N \times N

$N \times N$

X^{*}

$X^*$

Czy jesteś przypadkiem po różnych typach przedziałów prognoz? Strona predict.lmpodręcznika ma

 ## S3 method for class 'lm'
 predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf, 
         interval = c("none", "confidence", "prediction"),
         level = 0.95, type = c("response", "terms"),
         terms = NULL, na.action = na.pass,
         pred.var = res.var/weights, weights = 1, ...)

Ustawienie „przedziałów” określa obliczanie przedziałów ufności lub przewidywania (tolerancji) na określonym „poziomie”, czasem określanym jako przedziały wąskie vs. szerokie.

Czy o to ci chodziło?

— Dirk Eddelbuettel
źródło

Cześć Dirk, to jest rzeczywiście to, co chciałbym znaleźć, ale chcę, aby górne i dolne wiązania miały postać formuły (aby później wdrożyć w jakiejś niskiej formie oprogramowania statystycznego, na przykład excel ...)

— Tal Galili,

ps: Widzę teraz, że w tytule mojego pytania pojawiła się zmiana, która mogła sprawić, że pomyślałem, że pytam o parametr przedziału predykcji.lm (którego nie jestem) :)

— Tal Galili

Nadużywacie tutaj terminologii. Excel nie jest oprogramowaniem statystycznym.

— Dirk Eddelbuettel

Masz rację, moja oferta, a może „aplikacja do arkuszy kalkulacyjnych”?

— Tal Galili,

Moge z tym zyc; woła diabła po imieniu ;-)

— Dirk Eddelbuettel

@Tal: Mogę zasugerować Kutnera i in. Jako wspaniałe źródło modeli liniowych.

Istnieje różnica między 1) prognozą Y z indywidualnej nowej obserwacji X_vec, 2) oczekiwaną wartością Y uwarunkowaną na X_vec, $E(Y|X_{vec})$ oraz 3) Y z kilku wystąpień x_vec - wszystkie szczegółowo omówione w tekście.

Myślę, że szukasz wzoru na przedział ufności $E(Y|X_{vec})$ and that is $\hat{Y}$ $\pm$ t(1- $\alpha$ /2)s{ $\hat{Y}$ } where t has n-2 d.f. and s{ $\hat{Y}$ } is the standard error of $\hat{Y}$ , $\frac{\sigma^{2}}{n}$ +( $X_{vec}-\bar{X})^{2}\frac{\sigma^{2}}{\sum(X_{i}-\bar{X})^{2}}$

— B_Miner
źródło

(+1) for making the distinction. However, I believe the OP is asking for (1), not (2) (and I have edited the question's title accordingly). Also note that your formula appears to assume the regression depends only on one variable.

— whuber