Wsteczna transformacja współczynników regresji

Wykonuję regresję liniową z transformowaną zmienną zależną. Dokonano następującej transformacji, aby utrzymać założenie normalności reszt. Nietransformowana zmienna zależna została ujemnie wypaczona, a następująca transformacja zbliżyła ją do normy:

Y = \sqrt{50 - Y_{o r i g}}

$Y=\sqrt{50-Y_{orig}}$

gdzie jest zmienną zależną w oryginalnej skali. $Y_{orig}$

Myślę, że warto zastosować transformację współczynników aby wrócić do oryginalnej skali. Używając następującego równania regresji, $\beta$

Y = \sqrt{50 - Y_{o r i g}} = α + β \cdot X

$Y=\sqrt{50-Y_{orig}}=\alpha+\beta \cdot X$

i ustalając , mamy $X=0$

α = \sqrt{50 - Y_{o r i g}} = \sqrt{50 - α_{o r i g}}

$\alpha=\sqrt{50-Y_{orig}}=\sqrt{50-\alpha_{orig}}$

I w końcu,

α_{o r i g} = 50 - α^{2}

$\alpha_{orig}=50-\alpha^2$

Za pomocą tej samej logiki znalazłem

β_{o r i g} = α (α - 2 β) + β^{2} + α_{o r i g} - 50

$\beta_{orig}=\alpha\space(\alpha-2\beta)+\beta^2+\alpha_{orig}-50$

Teraz wszystko działa bardzo dobrze dla modelu z 1 lub 2 predyktorami; współczynniki przekształcone wstecznie przypominają oryginalne, tylko teraz mogę zaufać standardowym błędom. Problem pojawia się, gdy dołączasz termin interakcji, taki jak

Y = α + X_{1} β_{X_{1}} + X_{2} β_{X_{2}} + X_{1} X_{2} β_{X_{1} X_{2}}

$Y=\alpha+X_1\beta_{X_1}+X_2\beta_{X_2}+X_1X_2\beta_{X_1X_2}$

Wówczas transformacja wsteczna dla $\beta$ nie jest tak bliska tym z oryginalnej skali i nie jestem pewien, dlaczego tak się dzieje. Nie jestem również pewien, czy formuła znaleziona dla wstecznej transformacji współczynnika beta jest użyteczna, tak jak dla 3rd $\beta$ (dla terminu interakcji). Zanim poszedłem do szalonej algebry, pomyślałem, że poproszę o radę ...

regression data-transformation

— Dominic Comtois
źródło

Jak definiujesz i ?

α_{o r i g}

$\alpha_{orig}$

β_{o r i g}

$\beta_{orig}$

— mark999

Jako wartość alfa i beta w oryginalnych skalach

— Dominic Comtois,

Ale co to znaczy?

— mark999

Zaryzykowałbym coś takiego: szacunki, które otrzymalibyśmy, to oryginalne dane dostosowane do regresji liniowej.

— Dominic Comtois,

Wydaje mi się, że to bezsensowna koncepcja. Zgadzam się z odpowiedzią Gunga.

— mark999

Odpowiedzi:

Jednym z problemów jest to, że napisałeś

Y = α + β \cdot X

$Y=α+β⋅X$

Jest to prosty deterministyczny (tj. Nieprzypadkowy) model. W tym przypadku, mógłby z powrotem przekształcić współczynniki na oryginalnej skali, ponieważ jest to tylko kwestia jakiejś prostej algebry. Ale w zwykłej regresji masz tylko ; termin błędu został usunięty z modelu. Jeśli przemiana z powrotem do nieliniowy może mieć problem, ponieważ , w ogóle. Myślę, że może to mieć związek z widoczną rozbieżnością. $E(Y|X)=α+β⋅X$ $Y$ $Y_{orig}$ $E\big(f(X)\big)≠f\big(E(X)\big)$

Edycja: Zauważ, że jeśli transformacja jest liniowa, możesz przekształcić ją wstecz, aby uzyskać oszacowania współczynników na oryginalnej skali, ponieważ oczekiwanie jest liniowe.

— Makro
źródło

+1 za wyjaśnienie, dlaczego nie możemy z powrotem przekształcić bety.

— Gung - Przywróć Monikę

Pozdrawiam wasze wysiłki tutaj, ale szczekasz na złe drzewo. Nie cofniesz transformacji bety. Twój model utrzymuje się w przekształconym świecie danych. Jeśli chcesz dokonać prognozy, na przykład, z powrotem przekształcić , ale to wszystko. Oczywiście można również uzyskać przedział predykcji, obliczając wartości górnego i dolnego limitu, a następnie również je przekształcić, ale w żadnym wypadku nie przekształca się ponownie bet. $\hat{y}_i$

— gung - Przywróć Monikę
źródło

Co zrobić z faktem, że współczynniki przekształcone wstecznie zbliżają się bardzo do współczynników uzyskanych podczas modelowania nietransformowanej zmiennej? Czy to nie pozwala na pewne wnioskowanie na oryginalnej skali?

— Dominic Comtois,

Nie wiem dokładnie. Może zależeć od dowolnej liczby rzeczy. Moje pierwsze przypuszczenie jest takie, że masz szczęście z pierwszą betą, ale potem twoje szczęście się kończy. Muszę się zgodzić z w / @ mark999, że „szacunki, które otrzymalibyśmy, to oryginalne dane dostosowane do regresji liniowej”, w rzeczywistości nie mają żadnego sensu; Chciałbym, żeby tak było i wydaje się, że na pierwszy rzut oka się rumieni, ale niestety tak nie jest. I nie licencjonuje żadnych wniosków w oryginalnej skali.

— Gung - Przywróć Monikę

@ gung dla transformacji nieliniowych (powiedzmy box cox): Mogę przekształcić dopasowane wartości, a także przedziały prognozowania, ale nie mogę przekształcić bet ani przedziałów współczynników dla bet. Czy są jakieś dodatkowe ograniczenia, o których powinienem wiedzieć? btw, to bardzo interesujący temat, gdzie mogę uzyskać lepsze zrozumienie?

— mugen

@mugen, trudno powiedzieć, o czym jeszcze powinieneś wiedzieć. Jedną rzeczą, o której warto pamiętać, jest to, że transformacja pleców y-hat daje warunkową medianę, podczas gdy nieodwracalna (cętkowana) y-hat jest średnią warunkową. Poza tym materiał ten powinien być ujęty w dobrym podręczniku regresji.

— gung - Przywróć Monikę

@mugen, nie ma za co. Możesz zadawać więcej pytań za pomocą normalnych mechanizmów (klikanie ASK QUESTION); będzie więcej zasobów do odpowiedzi, zwrócisz uwagę CVerów, a informacje będą łatwiej dostępne dla potomnych.

— gung - Przywróć Monikę