Ocenianie wydajności modelu regresji za pomocą zestawów szkoleniowych i testowych?


10

Często słyszę o ocenie wydajności modelu klasyfikacyjnego poprzez trzymanie zestawu testowego i szkolenie modelu na zestawie treningowym. Następnie tworzymy 2 wektory, jeden dla przewidywanych wartości i jeden dla prawdziwych wartości. Oczywiście dokonanie porównania pozwala ocenić wydajność modelu na podstawie jego mocy predykcyjnej przy użyciu takich parametrów, jak F-Score, statystyki Kappa, precyzja i przywołanie, krzywe ROC itp.

Jak to się ma do oceny prognoz numerycznych, takich jak regresja? Zakładam, że można wyszkolić model regresji na zestawie treningowym, użyć go do przewidywania wartości, a następnie porównać te przewidywane wartości z wartościami rzeczywistymi znajdującymi się w zestawie testowym. Oczywiście miary wydajności musiałyby być inne, ponieważ nie jest to zadanie klasyfikacyjne. Zwykłe reszty i statystyki są oczywiste środki, ale są tam więcej / lepsze sposoby oceny wydajności dla modeli regresji? Wygląda na to, że klasyfikacja ma tak wiele opcji, ale regresję pozostawia się R.R2) i pozostałości.R2)


1
Nie jestem pewien, jakie dokładnie pytanie zadajesz, ale oczywistą miarą błędu dla modelu regresji z ciągłym wyjściem jest średni błąd kwadratowy (MSE) między wyjściem modelu a zmienną wynikową.
BGreene

Tak więc tylko miara błędu między faktycznym a przewidywanym.
StatTime

Tak, zoptymalizowany na zestawie treningowym i zatwierdzony przy użyciu zestawu testowego.
BGreene,

Odpowiedzi:


2

Jak powiedziano, zwykle stosuje się średni błąd kwadratu. Obliczasz model regresji na podstawie zestawu treningowego i oceniasz jego wydajność przy użyciu osobnego zestawu testowego (zestawu na wejściach x i znanych przewidywanych wyjściach y) poprzez obliczenie MSE między wyjściami zestawu testowego (y) a danymi wyjściowymi według modelu (f (x)) dla tych samych danych wejściowych (x).

Alternatywnie możesz użyć następujących wskaźników: Błąd pierwiastkowy do kwadratu, Błąd względny do kwadratu, Błąd średni bezwzględny, Błąd względny bezwzględny ... (definicje w Google)


mirr=ZA(x-xja)+b(x-xja)2)
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.