Jaka jest różnica między „współczynnikiem determinacji” a „średnim kwadratowym błędem”?

W przypadku problemu z regresją widziałem, jak ludzie używają „współczynnika determinacji” (inaczej R do kwadratu), aby dokonać wyboru modelu, np. Znajdując odpowiedni współczynnik kary dla uregulowania.

Jednak często stosuje się „średni błąd kwadratowy” lub „średni błąd kwadratowy” jako miarę dokładności regresji.

Więc jaka jest główna różnica między tymi dwoma? Czy można je stosować zamiennie do zadań „regularyzacji” i „regresji”? A jakie są główne zastosowania każdego z nich w praktyce, na przykład w uczeniu maszynowym, w eksploracji danych?

$R^2=1-\frac{SSE}{SST}$ , gdzie jest sumą błędu do kwadratu (reszty lub odchylenia od linii regresji), a jest sumą do kwadratu odchyleń od średniej zależnej .$SSE$$SST$$Y$

$MSE=\frac{SSE}{n-m}$ , gdzie jest rozmiarem próbki, a jest liczbą parametrów w modelu (włączając przechwytywanie, jeśli istnieje).$n$$m$

$R^2$ jest znormalizowaną miarą stopnia przewidywalności lub dopasowania w próbce. to oszacowanie wariancji reszt lub niedopasowania w populacji. Dwie miary są wyraźnie powiązane, jak widać w najczęściej stosowanym wzorze na skorygowane (oszacowanie dla populacji):$MSE$ $R^2$$R^2$

$R_{adj}^2=1-(1-R^2)\frac{n-1}{n-m}=1-\frac{SSE/(n-m)}{SST/(n-1)}=1-\frac{MSE}{\sigma_y^2}$ .