Jak interpretować błąd średniej kwadratowej (RMSE) vs. odchylenie standardowe?

Powiedzmy, że mam model, który daje mi prognozowane wartości. Obliczam RMSE tych wartości. A potem odchylenie standardowe wartości rzeczywistych.

Czy ma sens porównywanie tych dwóch wartości (wariancji)? Myślę, że jeśli RMSE i odchylenie standardowe są podobne / takie same, błąd / wariancja mojego modelu jest taka sama, jak w rzeczywistości. Jeśli jednak porównanie tych wartości nie ma sensu, wniosek ten może być błędny. Jeśli moja myśl jest prawdziwa, to czy to znaczy, że model jest tak dobry, jak może być, ponieważ nie może przypisać przyczyny tego wariantu? Myślę, że ostatnia część jest prawdopodobnie nieprawidłowa lub przynajmniej potrzebuje więcej informacji, aby odpowiedzieć.

Załóżmy, że nasze reakcje są a nasze przewidywane wartości y 1 , ... , y n .$y_1, \dots, y_n$$\hat y_1, \dots, \hat y_n$

Próbka wariancji ( dla uproszczenia używa zamiast n - 1 ) wynosi $n$$n-1$podczas gdy MSE wynosi$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$. Zatem wariancja próbki podaje, jak bardzo odpowiedzi różnią się wokół średniej, podczas gdy MSE podaje, jak bardzo odpowiedzi różnią się wokół naszych prognoz. Jeśli pomyślimy, że ogólna średnia ˉ y jest najprostszym predyktorem, jaki kiedykolwiek rozważaliśmy, to porównując MSE z próbką wariancji odpowiedzi, możemy zobaczyć, o ile więcej wariancji wyjaśniliśmy naszym modelem. To jest dokładnie to, co$\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$ wartość robi w regresji liniowej.

Rozważ następujący obraz: Przykładową wariancją jest zmienność wokół linii poziomej. Jeśli rzutujemy wszystkie dane na oś Y, możemy to zobaczyć. MSE to średni kwadratowy odległość do linii regresji, czyli zmienność wokół linii regresji (czyli Y i ). Zatem zmienność mierzona przez wariancję próbki jest uśrednioną kwadratową odległością do linii poziomej, która, jak widzimy, jest znacznie większa niż średnia kwadratowa odległość do linii regresji. $y_i$$Y$$\hat y_i$

$\hat{y}_i = \bar{y}$$\bar{y}$

$\hat{y}_i$

który jest najłatwiejszy do obliczenia.

W przypadku braku lepszych informacji średnią wartość zmiennej docelowej można uznać za proste oszacowanie wartości zmiennej docelowej, czy to podczas próby modelowania istniejących danych, czy próby przewidzenia przyszłych wartości. To proste oszacowanie zmiennej docelowej (to znaczy przewidywanych wartości równych średniej zmiennej docelowej) zostanie wyłączone przez pewien błąd. Standardowym sposobem pomiaru średniego błędu jest odchylenie standardowe (SD) ,$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$, ponieważ SD ma przyjemną właściwość dopasowania rozkładu w kształcie dzwonu (Gaussa), jeśli zmienna docelowa jest zwykle rozkładana. Zatem SD można uznać za błąd, który naturalnie występuje w oszacowaniach zmiennej docelowej. To sprawia, że ​​jest to punkt odniesienia, który każdy model musi pokonać.

Istnieją różne sposoby pomiaru błędu oszacowania modelu ; wśród nich wspomniany przez ciebie Root Mean Squared Error (RMSE) ,$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$, jest jednym z najpopularniejszych. Jest on koncepcyjnie dość podobny do SD: zamiast mierzyć odległość rzeczywistą od średniej, używa zasadniczo tej samej formuły do ​​pomiaru, jak daleko rzeczywista wartość jest od prognozy modelu dla tej wartości. Dobry model powinien mieć średnio lepsze prognozy niż naiwne oszacowanie średniej dla wszystkich prognoz. Zatem miara zmienności (RMSE) powinna zmniejszyć losowość lepiej niż SD.

Ten argument dotyczy innych miar błędu, nie tylko RMSE, ale RMSE jest szczególnie atrakcyjny do bezpośredniego porównania z SD, ponieważ ich formuły matematyczne są analogiczne.