Jak znaleźć wagi dla ważonej regresji metodą najmniejszych kwadratów?

23

Trochę zagubiłem się w procesie regresji WLS. Otrzymałem zestaw danych, a moim zadaniem jest sprawdzenie, czy istnieje heteroscedascityity, a jeśli tak, powinienem uruchomić regresję WLS.

Przeprowadziłem test i znalazłem dowody na heteroscedascity, więc muszę uruchomić WLS. Powiedziano mi, że WLS jest w zasadzie regresją OLS modelu transformowanego, ale jestem nieco zdezorientowany, jeśli chodzi o znalezienie funkcji transformacji. Przeczytałem kilka artykułów, które sugerują, że transformacja może być funkcją kwadratowych reszt z regresji OLS, ale byłbym wdzięczny, gdyby ktoś mógł mi pomóc podążyć właściwą drogą.

regression heteroscedasticity weighted-regression

— m3d1v0
źródło

2

Jeśli przyjmiesz, że matematyczna kowariancja błędów jest przekątna, możesz oszacować macierz kowariancji, a następnie regresję WLS z szacowanymi wagami. Aby to zrobić, możesz sprawdzić wykonalne uogólnione najmniejsze kwadraty na en.wikipedia.org/wiki/Generalized_least_squares

— Manuel

26

Regresja ważonych najmniejszych kwadratów (WLS) nie jest modelem przekształconym. Zamiast tego, po prostu traktując każdą obserwację jako mniej lub bardziej poinformowany o podstawowych relacji między i . Punkty, które są bardziej pouczające, mają większą „wagę”, a te, które mają mniej informacji, mają mniejszą wagę. Masz rację, że regresja ważonych metodą najmniejszych kwadratów (WLS) jest technicznie ważna tylko wtedy, gdy wagi są znane z góry. $X$ $Y$

Jednak regresja liniowa (OLS) jest dość odporna na heteroscedastyczność, a zatem podobnie jest z WLS, jeśli twoje szacunki są na pierwszym miejscu. Przy regresji OLS obowiązuje ogólna zasada, że heteroscedastyczność nie ma na nią zbyt dużego wpływu, o ile maksymalna wariancja nie jest większa niż czterokrotność wariancji minimalnej. Na przykład, jeśli wariancja reszt / błędów wzrośnie wraz z , to byłoby OK, gdyby wariancja reszt na górnym końcu była mniejsza niż czterokrotność wariancji reszt na niskim końcu. Oznacza to, że jeśli twoje ciężary mieszczą się w tym zakresie, jesteś w miarę bezpieczny. To rodzaj podkowy i granatów ręcznych $X$ sytuacja. W rezultacie możesz spróbować oszacować funkcję odnoszącą wariancję reszt do poziomów zmiennych predykcyjnych.

Istnieje kilka kwestii związanych z tym, jak należy dokonać takiego oszacowania:

Pamiętaj, że wagi powinny być odwrotnością wariancji (lub cokolwiek użyjesz).
Jeśli Twoje dane występują tylko na dyskretnych poziomach , np. W eksperymencie lub ANOVA, możesz oszacować wariancję bezpośrednio na każdym poziomie $X$ $X$ i użyć tego. Jeśli szacunki są dyskretnymi poziomami zmiennej ciągłej (np. 0 mg., 10 mg., 20 mg. Itp.), Możesz je wygładzić, ale prawdopodobnie nie zrobi to dużej różnicy.
$X$ plot(model, which=2) $X$ mediana bezwzględnego odchylenia od mediany .
$X$ $X$
Uzyskiwanie wagi z resztek regresji OLS jest rozsądne, ponieważ OLS jest bezstronny, nawet w przypadku heteroscedastyczności. Niemniej jednak wagi te są zależne od oryginalnego modelu i mogą zmienić dopasowanie następnego modelu WLS. Dlatego powinieneś sprawdzić swoje wyniki, porównując szacunkowe bety z dwóch regresji. Jeśli są bardzo podobne, wszystko w porządku. Jeśli współczynniki WLS odbiegają od współczynników OLS, należy użyć oszacowań WLS do ręcznego obliczenia reszt (zgłoszone wartości resztkowe z dopasowania WLS uwzględnią wagi). Po obliczeniu nowego zestawu reszt, określ ponownie wagi i użyj nowych wag w drugiej regresji WLS. Proces ten należy powtarzać, aż dwa zestawy szacowanych bet będą wystarczająco podobne (choć nawet jednorazowe wykonanie tego jest rzadkie).

Jeśli ten proces sprawia, że czujesz się trochę niekomfortowo, ponieważ wagi są szacowane, a ponieważ zależą od wcześniejszego, niepoprawnego modelu, inną opcją jest użycie estymatora „kanapkowego” Hubera-White'a . Jest to spójne nawet w obecności heteroscedastyczności bez względu na to, jak ciężkie, i nie zależy od modelu. Jest to również potencjalnie mniej kłopotów.

Pokazuję prostą wersję ważonych najmniejszych kwadratów i użycie wielowarstwowych SE w mojej odpowiedzi tutaj: Alternatywy dla jednostronnej ANOVA dla danych heteroscedastycznych .

— gung - Przywróć Monikę
źródło

10

Podczas wykonywania WLS musisz znać wagi. Istnieje kilka sposobów ich znalezienia, jak powiedziano na stronie 191 Wstępu do analizy regresji liniowej autorstwa Douglasa C. Montgomery'ego, Elizabeth A. Peck, G. Geoffrey Vining. Na przykład:

Doświadczenie lub wcześniejsze informacje przy użyciu jakiegoś modelu teoretycznego.
${\rm var}(\varepsilon_i)=\sigma^2x_i$ $w_i=1/x_i$
$n_i$ $x_i$ ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$ $w_i=n_i$
Kiedyś wiemy, że różne obserwacje zostały zmierzone przez różne instrumenty, które mają pewną (znaną lub szacowaną) dokładność. W takim przypadku możemy zdecydować się na użycie wag jako odwrotnie proporcjonalnych do wariancji błędów pomiaru.

— Stat
źródło