Czy nie powoduje to nadmiernego dopasowania? Czy moje wyniki byłyby bardziej wiarygodne, jeśli w ramach analizy dodałem procedurę typu jack-knife lub bootstrap?
Czy nie powoduje to nadmiernego dopasowania? Czy moje wyniki byłyby bardziej wiarygodne, jeśli w ramach analizy dodałem procedurę typu jack-knife lub bootstrap?
Odpowiedzi:
Myślę, że budowanie modelu i testowanie go to różne rzeczy. Eliminacja wsteczna jest częścią budowy modelu. Nóż typu jack i pasek startowy są bardziej używane do jego testowania.
Z pewnością możesz mieć bardziej wiarygodne szacunki z bootstrap i nożem podnośnikowym niż prosta eliminacja do tyłu. Ale jeśli naprawdę chcesz przetestować nadmierne dopasowanie, ostatecznym testem jest próba podzielona, trening na jednych, test na innych. Pominięcie jest zbyt niestabilne / zawodne w tym celu: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html
Myślę, że co najmniej 10% badanych musi wyjść na zewnątrz, aby uzyskać bardziej stabilne oszacowania niezawodności modelu. A jeśli masz 20 przedmiotów, 2 przedmiotów to wciąż bardzo niewiele. Ale wtedy pojawia się pytanie, czy masz wystarczająco dużą próbkę, aby zbudować model, który można zastosować do reszty populacji.
Mam nadzieję, że przynajmniej częściowo odpowiedziała na twoje pytanie.