Krzyżowa walidacja i optymalizacja parametrów

Mam pytanie dotyczące optymalizacji parametrów, gdy korzystam z 10-krotnej walidacji krzyżowej.

Chcę zapytać, czy parametry powinny zostać naprawione podczas treningu modelu każdego złożenia, tj. (1) wybierz jeden zestaw zoptymalizowanych parametrów dla średniej dokładności każdego złożenia.

lub

(2) Powinienem znaleźć zoptymalizowany parametr dla każdego zagięcia, a następnie każde zagięcie używa różnych zoptymalizowanych parametrów do trenowania swojego modelu, a następnie przetestować odpowiednio dane testowe zagięcia, a na koniec uśrednić dokładność każdego zagięcia?

Która metoda jest poprawna do weryfikacji krzyżowej? Wielkie dzięki.

Rozróżnijmy najpierw dwa zestawy parametrów: parametry modelu (np. Wagi cech w regresji) oraz parametry algorytmu uczenia się (i hiperparametrów). Celem walidacji krzyżowej jest identyfikacja parametrów uczenia się, które dobrze się uogólniają w próbkach populacji, z których uczymy się w każdym folderze.

Mówiąc dokładniej: globalnie przeszukujemy przestrzeń nad parametrami uczenia się, ale w ramach każdej zakładki naprawiamy parametry uczenia się i uczymy się parametrów modelu. Rezultatem powinny być parametry uczenia się, które zapewniają średnio najlepszą wydajność we wszystkich zakładach. Możemy ich następnie użyć do wyszkolenia modelu w całym zestawie danych.

Myślę, że obecnie zaakceptowana odpowiedź jest niepełna w niefortunny sposób. Nie zgadzam się z tym zdaniem

Celem walidacji krzyżowej jest identyfikacja parametrów uczenia się, które dobrze się uogólniają w próbkach populacji, z których uczymy się w każdym folderze.

Jest to rzeczywiście jedno bardzo ważne zastosowanie krzyżowej weryfikacji, ale nie jedyne. Zwykle chcesz zrobić dwie rzeczy:

1. Zbuduj najlepszy model, jaki możesz
2. Uzyskaj dokładne informacje na temat jego skuteczności

Teraz, aby zrealizować cel 1 w zależności od algorytmu, może być konieczne dostrojenie niektórych hiperparametrów, a tak naprawdę często odbywa się to przez krzyżową weryfikację. Ale to jeszcze nie pomaga w celu 2. W tym celu musisz w zasadzie zagnieździć krzyżową walidację, tak jak to:

• Podziel dane na n-fałdy
• Dla każdego z nich ponownie podziel dane treningowe na podfoldery
• Użyj krzyżowej weryfikacji w podfolderach, aby poznać dobre hiperparametry
• Za pomocą tych hiperparametrów zbuduj model na danych treningowych tej zakładki
• Przetestuj model na danych testowych
• Powtórz przy następnym pasowaniu

Aby zbudować dobry model, potrzebujesz tylko wewnętrznej weryfikacji krzyżowej. Nadal będziesz musiał to zrobić, aby uzyskać dobry model. Ale aby uzyskać dobre oszacowanie wydajności modelu, musisz wykonać cały proces budowy modelu w ramach schematu weryfikacji krzyżowej. Obejmuje to również kroki takie jak przypisanie itp.