Czy istnieje powód, aby preferować konkretną miarę wielokoliniowości?

Pracując z wieloma zmiennymi wejściowymi, często martwimy się wielokoliniowością . Istnieje wiele miar wielokoliniowości, które są wykorzystywane do wykrywania, myślenia i / lub komunikowania wielokoliniowości. Niektóre typowe zalecenia to:

1. Wielokrotność dla danej zmiennej $R^2_j$
2. Tolerancja, dla określonej zmiennej $1-R^2_j$
3. Współczynnik inflacji wariancji, dla konkretnej zmiennej $\text{VIF}=\frac{1}{\text{tolerance}}$

4. Numer warunku macierzy projektowej jako całości:

   $$\sqrt{\frac{\text{max(eigenvalue(X'X))}}{\text{min(eigenvalue(X'X))}}}$$

(Istnieje kilka innych opcji omówionych w artykule w Wikipedii i tutaj w SO w kontekście R.)

Fakt, że pierwsze trzy są dla siebie idealną funkcją, sugeruje, że jedyną możliwą przewagą netto między nimi byłaby psychologia. Z drugiej strony, pierwsze trzy pozwalają badać zmienne indywidualnie, co może być zaletą, ale słyszałem, że metoda numeryczna jest uważana za najlepszą.

• Czy to prawda? Najlepsze na co?
• Czy numer warunku jest idealną funkcją ? (Myślę, że tak będzie.) $R^2_j$
• Czy ludzie uważają, że jeden z nich jest najłatwiejszy do wyjaśnienia? (Nigdy nie próbowałem wyjaśniać tych liczb poza klasą, po prostu podaję luźny, jakościowy opis wielokoliniowości).

W późnych latach 90. napisałem rozprawę o kolinearności.

Doszedłem do wniosku, że wskaźniki stanu były najlepsze.

Głównym powodem było to, że zamiast patrzeć na poszczególne zmienne, pozwala spojrzeć na zestawy zmiennych. Ponieważ kolinearność jest funkcją zbiorów zmiennych, jest to dobra rzecz.

Ponadto wyniki moich badań Monte Carlo wykazały lepszą wrażliwość na problematyczną kolinearność, ale dawno temu zapomniałem o szczegółach.

$R^2$

Więcej informacji na ten temat można znaleźć w książkach Davida Belsleya. Lub, jeśli naprawdę chcesz, możesz dostać moją rozprawę Diagnostyka wielokoliniowości dla regresji wielokrotnej: badanie Monte Carlo