Przekształcanie znormalizowanych bet z powrotem w oryginalne zmienne

Zdaję sobie sprawę, że jest to prawdopodobnie bardzo proste pytanie, ale po przeszukaniu nie mogę znaleźć odpowiedzi, której szukam.

Mam problem, w którym muszę ustandaryzować zmienne uruchamiające (regresję grzbietu), aby obliczyć szacunki grzbietu bet.

Następnie muszę przekonwertować je z powrotem do oryginalnej skali zmiennych.

Ale jak to zrobić?

Znalazłem wzór na przypadek dwuwymiarowy

β^{*} = \hat{β} \frac{S_{x}}{S_{y}} .

$\beta^* = \hat\beta \frac{S_x}{S_y} \>.$

Zostało to podane w D. Gujarati, Basic Econometrics , strona 175, wzór (6.3.8).

Gdzie są estymatory z biegu regresji znormalizowanego zmiennych i jest taka sama estymator przekształcany z powrotem do oryginalnej skali jest próbka odchylenie standardowe regressand i jest próbka odchylenie standardowe. $\beta^*$ $\hat\beta$ $S_y$ $S_x$

Niestety książka nie obejmuje analogicznego wyniku dla regresji wielokrotnej.

Nie jestem też pewien, czy rozumiem przypadek dwuwymiarowy? Prosta manipulacja algebraiczna daje formułę dla w oryginalnej skali: $\hat\beta$

\hat{β} = β^{*} \frac{S_{y}}{S_{x}}

$\hat\beta=\beta^* \frac{S_y}{S_x}$

Wydaje mi się dziwne, że które zostały obliczone na zmiennych, które są już deflowane przez , musi zostać ponownie deflowane przez aby ponownie przekonwertować? (Plus dlaczego wartości średnie nie są ponownie dodawane?) $\hat\beta$ $S_x$ $S_x$

Czy ktoś może więc wyjaśnić, jak to zrobić w przypadku wielowymiarowym, najlepiej z pochodną, aby zrozumieć wynik?

— Baz
źródło

Dla modelu regresji wykorzystującego znormalizowane zmienne przyjmujemy następującą postać dla linii regresji

E [Y] = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j},

$\mathbb E[Y] =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j},$

gdzie jest j-tym (standaryzowanym) regresorem, generowanym z przez odjęcie średniej próbki i podzielenie przez próbne odchylenie standardowe : $z_{j}$ $x_j$ $\bar x_j$ $S_j$

z_{j} = \frac{x_{j} - {\bar{x}}_{j}}{S_{j}}

$z_j = \frac{x_j - \bar{x}_j}{S_j}$

Przeprowadzając regresję za pomocą standardowych regresorów, otrzymujemy dopasowaną linię regresji:

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} z_{j}

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}z_{j}$

Chcemy teraz znaleźć współczynniki regresji dla niestandardowych predyktorów. Mamy

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}})

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right)$

Ponownie aranżując, wyrażenie to można zapisać jako

\hat{Y} = ({\hat{β}}_{0} - \sum_{j = 1}^{k} {\hat{β}}_{j} \frac{{\bar{x}}_{j}}{S_{j}}) + \sum_{j = 1}^{k} (\frac{{\hat{β}}_{j}}{S_{j}}) x_{j}

$\hat Y = \left( \hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j} \right) + \sum_{j=1}^k \left(\frac{\hat \beta_j}{S_j}\right) x_j$

Jak widzimy, przechwytywanie dla regresji za pomocą zmiennych nietransformowanych jest podane przez . Współczynnik regresji predyktora wynosi . $\hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j}$ $j$ $\frac{\hat \beta_j}{S_j}$

W przedstawionym przypadku założyłem, że tylko predyktory zostały wystandaryzowane. Jeśli ktoś znormalizuje również zmienną odpowiedzi, przekształcenie współczynników współzmiennych z powrotem do oryginalnej skali odbywa się za pomocą wzoru z podanego odniesienia. Mamy:

\frac{E [Y] - \hat{y}}{S_{y}} = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j}

$\frac{\mathbb E[Y] - \hat y}{S_y} =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j}$

Przeprowadzając regresję, otrzymujemy dopasowane równanie regresji

{\hat{Y}}_{s c a l e d} = \frac{{\hat{Y}}_{u n s c a l e d} - \bar{y}}{S_{y}} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}}),

$\hat Y_{scaled} = \frac{\hat Y_{unscaled} - \bar y}{S_y} = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right),$

gdzie dopasowane wartości są w skali znormalizowanej odpowiedzi. Aby je odskalować i odzyskać szacunki współczynników dla modelu nietransformowanego, mnożymy równanie przez i przenosimy średnią próbki na drugą stronę: $S_y$ $y$

{\hat{Y}}_{u n s c a l e d} = {\hat{β}}_{0} S_{y} + \bar{y} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{S_{y}}{S_{j}}) (x_{j} - {\bar{x}}_{j}) .

$\hat Y_{unscaled} = \hat \beta_0 S_y + \bar y +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{S_y}{S_j}\right) (x_j - \bar{x}_j).$

Punkt przecięcia odpowiadający modelowi, w którym ani odpowiedź, ani predyktory nie zostały znormalizowane, jest w konsekwencji podawany przez , natomiast współczynniki kowariancji dla modelu będącego przedmiotem zainteresowania można uzyskać, mnożąc każdy współczynnik przez . $\hat \beta_0 S_y + \bar y - \sum_{j=1}^k \hat \beta_j \frac{S_y}{S_j}\bar x_j$ $S_y / S_j$

— Philipp Burckhardt
źródło