Czy RMSE i MAE mogą mieć tę samą wartość?

Wdrażam weryfikację krzyżową i obliczanie wskaźników błędów, takich jak RMSE, , MAE, MSE itp.$R^2$

Czy RMSE i MAE mogą mieć tę samą wartość?

Tak, teoretycznie. Najprostszym przypadkiem, jaki mogę sobie wyobrazić, jest zestaw danych, w którym wszystkie błędy predykcji (tj. Wartości resztowe) wynoszą dokładnie 1. RMSE i MAE zwrócą identyczne wartości 1. Można również skonstruować inne scenariusze, ale żaden nie wydaje się bardzo prawdopodobny.$\pm$

EDYCJA: Dzięki @DilipSarwate za wskazanie (dalej rozwinięte przez @ user20160 w ich doskonałej odpowiedzi), że ten wynik jest możliwy wtedy i tylko wtedy, gdy bezwzględne wartości wszystkich błędów prognoz są identyczne. Innymi słowy, nie ma nic specjalnego w wartości 1; każda inna liczba działałaby zamiast 1.$\pm$

Średni błąd bezwzględny (MAE) może być równy średniemu kwadratowemu błędowi (MSE) lub pierwszoplanowemu średniemu kwadratowemu błędowi (RMSE) w określonych warunkach, które pokażę poniżej. Warunki te są mało prawdopodobne w praktyce.

Czynności wstępne

Niechoznacza wartość bezwzględną reszty dla tego punktu danych i niech będzie wektorem zawierającym bezwzględne reszty dla wszystkich punktów w zbiorze danych. Niech oznacza wektor , MAE, MSE i RMSE można zapisać jako:$r_i = |y_i - \hat{y}_i|$$i$$r = [r_i, \dots, r_n]^T$$n$$\vec{1}$$n \times 1$

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Ustawienie MSE równego MAE i przegrupowanie daje:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE i MAE są równe dla wszystkich zestawów danych, w których wartości bezwzględne rozwiązują powyższe równanie. Dwa oczywiste rozwiązania to: (błąd zerowy) i (reszty to wszystkie , jak wspomniano mkt). Ale istnieje nieskończenie wiele rozwiązań.$r = \vec{0}$$r = \vec{1}$$\pm 1$

Można interpretować równania geometrycznie następująco: LHS kropka produkt i . Produkt o zerowej kropce oznacza ortogonalność. Zatem MSE i MAE są równe, jeśli odjęcie 1 od każdej absolutnej reszty daje wektor, który jest ortogonalny do oryginalnych absolutnych reszt.$(2)$$r-\vec{1}$$r$

Ponadto, wypełniając kwadrat, równanie można przepisać jako:$(2)$

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

To równanie opisuje wymiarową kulę wyśrodkowaną na o promieniu . MSE i MAE są równe wtedy i tylko wtedy, gdy absolutne reszty leżą na powierzchni tej hipersfery.$n$$[\frac{1}{2}, \dots, \frac{1}{2}]^T$$\frac{1}{2} \sqrt{n}$

RMSE

Ustawienie wartości RMSE równej MAE i zmiana kolejności daje:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

gdzie matrycą tożsamości. Zestaw rozwiązaniem jest miejsce zerowa od ; to znaczy zbiór wszystkich taki, że . Aby znaleźć przestrzeń zerową, zwróć uwagę, że jest macierzą z elementami ukośnymi równymi i wszystkimi innymi elementami równymi . Instrukcja odpowiada układowi równań:$I$$A$$r$$A r = \vec{0}$$A$$n \times n$$n-1$$-1$$A r = \vec{0}$

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Lub przestawianie rzeczy:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Oznacza to, że każdy element musi być równy średniej pozostałych elementów. Jedynym sposobem spełnienia tego wymogu jest wyrównanie wszystkich pierwiastków (ten wynik można również uzyskać, biorąc pod uwagę składową składową ). Dlatego zestaw rozwiązań składa się ze wszystkich nieujemnych wektorów z identycznymi wpisami:$r_i$$A$

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Tak więc RMSE i MAE są równe wtedy i tylko wtedy, gdy bezwzględne wartości reszt są równe dla wszystkich punktów danych.