Jak działa regresja krokowa?

Użyłem następującego kodu R, aby dopasować model probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Chcę wiedzieć, co dokładnie robi stepwisei co robi backward/forwardi jak wybierać zmienne?

Zasada stopniowego wyboru

1. Pasujesz do modelu ze wszystkimi zmiennymi, które chcesz. To twój obecny najlepszy model.
2. Usuwasz jedną zmienną (lub dodajesz jedną spośród zmiennych nieużywanych w bieżącym najlepszym modelu), a dla każdej z nich dopasowujesz nowy model i porównujesz je z każdą inną i oryginalną, zgodnie z BIC (lub dowolnym inne kryterium, takie jak AIC ). Otrzymasz kolejny „aktualny najlepszy model”.

Powtarzasz 2., dopóki nie nastąpi redukcja BIC. Masz tylko lokalne minimum BIC, co oznacza, że ​​możesz nie uzyskać najlepszego modelu spośród wszystkich możliwych wyborów podzbiorów zmiennych. Ale i tak zwykle jest ich zbyt wiele, więc jest to sposób na optymalizację, bez zbytniego nakładu pracy.

Zobacz także regresję krokową i wybór modelu na Wikipedii.

Regresja krokowa zasadniczo pasuje do modelu regresji, dodając / upuszczając zmienne towarzyszące pojedynczo na podstawie określonego kryterium (w powyższym przykładzie kryterium byłoby oparte na BIC).

Określając „naprzód” mówisz R, że chcesz zacząć od najprostszego modelu (tj. Jednej zmiennej towarzyszącej), a następnie dodawać jedną zmienną towarzyszącą na raz, zachowując tylko te, które skutkują ulepszeniem modeli BIC.

Podając wstecz, mówisz R, że chcesz zacząć od pełnego modelu (tj. Modelu ze wszystkimi zmiennymi towarzyszącymi), a następnie porzucać zmienne towarzyszące, po jednym, co spowoduje poprawę BIC.

Regresja krokowa może być bardzo niebezpieczną procedurą statystyczną, ponieważ nie jest optymalną procedurą wyboru modelu. Metoda może prowadzić do bardzo złego wyboru modelu, ponieważ nie chroni cię przed problemami, takimi jak wielokrotne porównania.