Jak poradzić sobie z niestabilnymi oszacowaniami

Stabilność beta w regresji liniowej z wysoką wielokolinearnością?

Powiedzmy, że w regresji liniowej zmienne i mają wysoką wielokoliniowość (korelacja wynosi około 0,9). $x_1$ $x_2$

Jesteśmy zaniepokojony stabilności współczynnika więc musimy traktować multi-kolinearność. $\beta$

Rozwiązaniem podręcznika byłoby po prostu wyrzucenie jednej ze zmiennych.

Ale nie chcemy stracić przydatnych informacji, po prostu wyrzucając zmienne.

Jakieś sugestie?

regression multicollinearity

— Luna
źródło

Czy próbowałeś jakiegoś programu regularyzacji (np. Regresji grzbietu)?

— Néstor,

Odpowiedzi:

Możesz wypróbować podejście regresji grzbietu w przypadku, gdy macierz korelacji jest bliska liczbie pojedynczej (tzn. Zmienne mają wysokie korelacje). Zapewni to wiarygodne oszacowanie . $\beta$

Jedyne pytanie brzmi: jak wybrać parametr regularyzacji . Nie jest to prosty problem, ale sugeruję wypróbowanie różnych wartości. $\lambda$

Mam nadzieję że to pomoże!

— Paweł
źródło

Walidacja krzyżowa to zwykła rzecz do wybrania ;-).

λ

$\lambda$

— Néstor,

faktycznie (+1 za odpowiedź i komentarz Nestora), a jeśli wykonasz obliczenia w „formie kanonicznej” (używając rozkładu własnego , możesz znaleźć minimalizującą pomijany błąd weryfikacji krzyżowej metodą Newtona bardzo tanio

X^{T} X

$X^TX$

λ

$\lambda$

— Dikran Marsupial

wielkie dzięki! Jakieś samouczki / uwagi, jak to zrobić, w tym weryfikację krzyżową w R?

— Luna,

Sprawdź rozdział 3 tej książki: stanford.edu/~hastie/local.ftp/Springer/ESLII_print5.pdf . Wdrożenie regresji grzbietu odbywa się w języku R przez niektórych autorów (Google jest twoim przyjacielem!).

— Néstor,

Możesz użyć lm.ridgeprocedury w pakiecie MASS. Jeśli przekażesz mu zakres wartości dla , np. Wywołanie podobne , otrzymasz z powrotem uogólnione statystyki walidacji krzyżowej i możesz wykreślić je względem : aby wybrać minimum.

λ

$\lambda$ foo <- lm.ridge(y~x1+x2,lambda=seq(0,10,by=0.1))foo

λ

$\lambda$ plot(foo$GCV~foo$lambda)

— jbowman

Jest jedna metoda ad hoc, której użyłem wcześniej. Nie jestem pewien, czy ta procedura ma nazwę, ale ma sens intuicyjnie.

Załóżmy, że Twoim celem jest dopasowanie modelu

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$

$X_i, Z_i$ $p$

Z_{i} = α_{0} + α_{1} X_{i} + η_{i}

$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$

$\eta_i$ $X_i$ $Z_i$ $X_i$

Y_{i} = θ_{0} + θ_{1} X_{i} + θ_{2} η_{i} + ν_{i}

$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$

$R^2$

Edycja: OP poprosił o wyjaśnienie, dlaczego reszty nie mają definitywnie przykładowej korelacji zera z predyktorem, gdy pominiesz przechwytywanie, tak jak robią to, gdy przechwycenie jest uwzględnione. To zbyt długo, aby móc dodawać komentarze, więc dokonałem edycji tutaj. To wyprowadzenie nie jest szczególnie pouczające (niestety nie mogłem wymyślić rozsądnego intuicyjnego argumentu), ale pokazuje, czego wymagało OP :

$\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ $e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$ $x_i$ $e_i$

\bar{x e} - \bar{x} \bar{e}

$\overline{xe} - \overline{x}\overline{e}$

\bar{\cdot}

$\overline{\cdot}$

Najpierw mamy

\bar{x e} = \frac{1}{n} (\sum x_{i} y_{i} - x_{i}^{2} \cdot \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}}) = \bar{x y} (1 - \frac{\sum x_{i}^{2}}{\sum x_{i}^{2}}) = 0

$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$

ale

\bar{x} \bar{e} = \bar{x} (\bar{y} - \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}) = \bar{x} \bar{y} - \frac{{\bar{x}}^{2} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$

$e_i$ $x_i$ $\overline{x}\overline{e}$ $0$

\bar{y} = \frac{\bar{x} \cdot \bar{x y}}{\bar{x^{2}}}

$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$

$x, y$

— Makro
źródło

To przypomina mi wykresy częściowej regresji .

— Andy W

(X, Z)

$(X, Z)$

X

$X$

Z

$Z$

Cześć Macro, dziękuję za doskonały dowód. Tak, teraz to rozumiem. Kiedy mówimy o korelacji próbki między x a resztami, wymaga to uwzględnienia terminu przechwytywania, aby korelacja próbki wynosiła 0. Z drugiej strony, kiedy mówimy o ortogonalności między x a resztami, nie wymaga to terminu przechwytywania należy uwzględnić, aby zachować ortogonalność.

— Luna

@Luna, szczególnie nie zgadzam się z regresją kalenicową - właśnie to przyszło mi do głowy (odpowiedziałem wcześniej, niż to zasugerowano). Jedno mogę powiedzieć, że szacunki regresji grzbietu są tendencyjne, więc w pewnym sensie faktycznie szacujesz nieco inną (skurczoną) wielkość niż w przypadku zwykłej regresji, co sprawia, że interpretacja współczynników może być trudniejsza (jako gung nawiązuje do). Ponadto to, co tu opisałem, wymaga jedynie zrozumienia podstawowej regresji liniowej i może być dla niektórych bardziej intuicyjne.

— Makro

Podobają mi się obie dotychczasowe odpowiedzi. Pozwól mi dodać kilka rzeczy.

Inną opcją jest możliwość łączenia zmiennych. Odbywa się to poprzez standaryzację obu (tj. Przekształcenie ich w z-score), uśrednienie ich, a następnie dopasowanie modelu do zmiennej złożonej. To byłoby dobre podejście, jeśli uważasz, że są to dwie różne miary tego samego konstruktu bazowego. W takim przypadku masz dwa pomiary, które są zanieczyszczone błędem. Najbardziej prawdopodobna prawdziwa wartość zmiennej, którą naprawdę masztroska jest między nimi, dlatego uśrednienie ich daje dokładniejsze oszacowanie. Standaryzujesz je najpierw, aby umieścić je w tej samej skali, aby problemy nominalne nie zanieczyszczały wyniku (np. Nie chciałbyś uśredniać kilku pomiarów temperatury, jeśli niektóre to Fahrenheita, a niektóre Celsjusza). Oczywiście, jeśli są już w tej samej skali (np. Kilka bardzo skorelowanych sondaży opinii publicznej), możesz pominąć ten krok. Jeśli uważasz, że jedna ze zmiennych może być dokładniejsza niż druga, możesz zrobić średnią ważoną (być może wykorzystując odwrotność błędów pomiaru).

$r>.98$ połączyłem je, ale po co? Zależy to jednak krytycznie od faktu, że zmienne są skorelowane, ponieważ są to dwie różne wersje tej samej rzeczy; jeśli istnieje inny powód ich korelacji, może to być całkowicie niewłaściwe.

$X_1\rightarrow X_2\rightarrow Y$ $X$ $Z$ $X$ $x_1$ $x_2$ $X$ $Z$

Zgadzam się, że regresja grzbietu jest prawdopodobnie lepsza, ponieważ pozwala na użycie zmiennych, które pierwotnie zamierzałeś, i może dać bety, które są bardzo zbliżone do ich prawdziwych wartości (chociaż będą tendencyjne - zobacz tutaj lub tutaj, aby uzyskać więcej informacji ). Niemniej jednak uważam, że ma również dwa potencjalne wady: jest bardziej skomplikowany (wymaga większego zaawansowania statystycznego), a moim zdaniem model wynikowy jest trudniejszy do interpretacji.

Rozumiem, że być może najlepszym rozwiązaniem byłoby dopasowanie modelu równania strukturalnego. To dlatego, że pozwoliłoby ci sformułować dokładny zestaw relacji, które uważasz za działające, w tym zmienne ukryte. Jednak nie znam SEM wystarczająco dobrze, aby cokolwiek na ten temat powiedzieć, oprócz wspominania o możliwości. (Podejrzewam również, że byłoby to przesadą w sytuacji, którą opisujesz za pomocą tylko dwóch zmiennych towarzyszących).

— gung - Przywróć Monikę
źródło

X_{1}

$X_1$

e

$e$

X_{1}

$X_1$

X_{2} = X_{1} + e

$X_2=X_1+e$

X_{1}

$X_1$

Y = e

$Y=e$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y = X_{2} - X_{1}

$Y=X_2-X_1$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

Y

$Y$

Wielkie dzięki Gung! Pytanie 1 Dlaczego to podejście działa: „Odbywa się to poprzez standaryzację obu (tj. Przekształcenie ich w z-score), uśrednienie ich, a następnie dopasowanie do modelu tylko zmiennej złożonej”. Q2 Dlaczego regresja Ridge'a byłaby lepsza? Pytanie 3 Dlaczego SEM byłby lepszy? Czy ktoś mógłby rzucić na to trochę światła? Dziękuję Ci!

— Luna

Cześć Luna, miło mi pomóc. Mam zamiar to ponownie edytować; @ whuber miał więcej racji, niż początkowo się spodziewałem. Spróbuję dodać więcej, aby pomóc w dodatkowych pytaniach, ale zajmie to dużo czasu, więc może to chwilę potrwać. Zobaczymy jak to będzie.

— gung - Przywróć Monikę