Optymalizacja: źródło wszelkiego zła w statystykach?

Słyszałem wcześniej następujące wyrażenie:

„Optymalizacja jest źródłem wszelkiego zła w statystykach”.

Na przykład najlepsza odpowiedź w tym wątku zawiera to stwierdzenie w związku z niebezpieczeństwem zbyt agresywnej optymalizacji podczas wyboru modelu.

Moje pierwsze pytanie brzmi: czy ten cytat można przypisać komukolwiek w szczególności? (np. w literaturze statystycznej)

Z tego, co rozumiem, oświadczenie odnosi się do ryzyka nadmiernego dopasowania. Tradycyjna mądrość mówi, że właściwa walidacja krzyżowa już zwalcza ten problem, ale wygląda na to, że w tym problemie jest coś więcej.

Czy statystycy i praktycy ML powinni obawiać się nadmiernej optymalizacji swoich modeli, nawet jeśli przestrzegają ścisłych protokołów krzyżowej weryfikacji (np. 100 zagnieżdżonych 10-krotnych CV)? Jeśli tak, to skąd wiemy, kiedy przestać szukać „najlepszego” modelu?

Cytat jest parafrazą cytatu Donalda Knutha , który sam przypisał Hoare. Trzy fragmenty z powyższej strony:

Przedwczesna optymalizacja jest źródłem wszelkiego zła (a przynajmniej większości) w programowaniu.

Przedwczesna optymalizacja jest źródłem wszelkiego zła.

Knuth nazywa to „Hoare's Dictum” 15 lat później ...

Nie wiem, czy zgadzam się z parafrazą statystyczną *. W statystykach jest mnóstwo „zła”, które nie dotyczy optymalizacji.

Czy statystycy i praktycy ML powinni zawsze uważać na nadmierną optymalizację swoich modeli, nawet jeśli przestrzegają ścisłych protokołów krzyżowej weryfikacji (np. 100 zagnieżdżonych 10-krotnych CV)? Jeśli tak, to skąd wiemy, kiedy przestać szukać „najlepszego” modelu?

Myślę, że najważniejsze jest pełne zrozumienie (lub tak pełne, jak to możliwe) właściwości podejmowanych procedur.

$\,^\text{* I won't presume to comment on Knuth's use of it, since there's little I could}$ $\quad ^\text{say that he couldn't rightly claim to understand ten times as well as I do.}$

Kilka sposobów parsowania cytatu (w statystykach), przy założeniu, że optymalizacja odnosi się do wyboru modelu (opartego na danych):

• Jeśli zależy Ci na prognozowaniu, lepiej będzie, jeśli uśrednisz model niż wybierzesz pojedynczy model.
• Jeśli wybierzesz model na tym samym zbiorze danych używane w celu dopasowania modelu, będzie siać spustoszenie na zwykłych narzędzi wnioskowania / procedur, które zakładam, że wybrał model a priori . (Powiedzmy, że wykonujesz regresję krokową, wybierając rozmiar modelu poprzez krzyżową walidację. W przypadku analizy Frequentist zwykłe wartości p lub CI dla wybranego modelu będą niepoprawne. Jestem pewien, że istnieją podobne problemy dla analiz bayesowskich, które dotyczą modelu wybór.)
• Jeśli Twój zestaw danych jest wystarczająco duży w porównaniu do rozważanej rodziny modeli, przeregulowanie może nawet nie stanowić problemu, a wybór modelu może być niepotrzebny. (Załóżmy, że dopasujesz regresję liniową przy użyciu zestawu danych z kilkoma zmiennymi i bardzo wieloma obserwacjami. Wszelkie fałszywe zmienne powinny i tak uzyskać współczynniki oszacowane na poziomie zbliżonym do 0, więc być może nie musisz nawet zawracać sobie głowy wyborem mniejszego modelu.)
• Jeśli Twój zestaw danych jest wystarczająco mały, możesz nie mieć wystarczającej ilości danych, aby dopasować się do „prawdziwego” lub „najlepszego” modelu problemu. Co w takim razie znaczy właściwie dobra selekcja modeli? (Powrót do regresji liniowej: należy dążyć, aby wybrać „prawdziwą” model z odpowiednich zmiennych, nawet jeśli nie masz wystarczająco dużo danych, aby mierzyć je wszystkie odpowiednio należy po prostu wybrać największy model, dla którego nie ma wystarczających danych ?)
• Wreszcie, nawet jeśli jest jasne, że możesz i powinieneś dokonać wyboru modelu, weryfikacja krzyżowa nie jest panaceum. Ma wiele wariantów, a nawet własny parametr strojenia (liczba zgięć lub stosunek pociąg: test), który wpływa na jego właściwości. Więc nie ufaj temu ślepo.