Często caret
trenuję kilka różnych modeli predykcyjnych przy użyciu w R. Wyszkolę je wszystkie na tych samych fałdach sprawdzania krzyżowego, używając caret::: createFolds
, a następnie wybieram najlepszy model na podstawie błędu zweryfikowanego krzyżowo.
Jednak mediana prognoz z kilku modeli często przewyższa najlepszy pojedynczy model w niezależnym zestawie testów. Zastanawiam się nad napisaniem niektórych funkcji do układania w stosy / zestawiania modeli karetki, które były trenowane z tymi samymi fałdami walidacji krzyżowej, na przykład poprzez przyjmowanie mediany przewidywań z każdego modelu przy każdym fałdzie lub przez trenowanie „meta-modelu”.
Oczywiście może to wymagać zewnętrznej pętli weryfikacji krzyżowej. Czy ktoś wie o istniejących pakietach / otwartym kodzie źródłowym do zestawiania modeli Caret (i ewentualnie krzyżowej weryfikacji tych zestawów)?