Średni błąd kwadratu i rezydualna suma kwadratów

31

Patrząc na definicje Wikipedii:

Mean Squared Error (MSE)
Resztkowa suma kwadratów (RSS)

Tak mi się wydaje

MSE = \frac{1}{N} RSS = \frac{1}{N} \sum (f_{i} - y_{i})^{2}

$\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2$

gdzie $N$ jest numerem on próbek i $f_i$ jest nasza ocena $y_i$ .

Jednak żaden z artykułów Wikipedii nie wspomina o tym związku. Czemu? Czy coś brakuje?

residuals mse

— Josh
źródło

6

Wiem, że wydaje się to nieprzydatne i trochę wrogie, ale nie wspominają o tym, ponieważ jest to oczywiste. Tutaj też chcesz być trochę ostrożny. Zwykle, gdy w rzeczywistej pracy empirycznej napotkasz MSE, nie jest to

podzielone przez

ale

podzielone przez

gdzie

jest liczbą (łącznie z przecięciem) zmiennych po prawej stronie w niektórych modelach regresji .

R S S

$RSS$

N

$N$

R S S

$RSS$

N - K

$N-K$

K

$K$

— Bill

10

@Bill: Cóż, właśnie taki związek zwykle prowadzi do linkowania artykułów na Wikipedii. Twój punkt widzenia na temat stopnia wolności pokazuje również, że nie jest to tak oczywiste i zdecydowanie coś wartego wspomnienia.

— bluenote10,

2

@ Bill: Zgadzam się, jednak oczywistość jest bardzo subiektywna. Szara strefa statystyki / uczenia maszynowego jest zaśmiecona zapisem piekła, dlatego dobrze jest ją wyrazić.

— rnoodle

30

Właściwie jest to wspomniane w sekcji Regresja średniego błędu kwadratu w Wikipedii:

W analizie regresji czasami stosuje się termin średni błąd kwadratu w odniesieniu do obiektywnej oceny wariancji błędu: rezydualna suma kwadratów podzielona przez liczbę stopni swobody.

Można również znaleźć tutaj niektóre informacje: Błędy i resztki w statystykach Mówi, że wyrażenie oznacza błąd kwadratu może mieć różne znaczenie w różnych przypadkach, co czasami jest trudne.

— whenov
źródło

4

Pamiętaj jednak, że czasami suma kwadratów błędów (SSE) i suma kwadratów pozostałości (RSS) są czasami używane zamiennie, co dezorientuje czytelników. Na przykład sprawdź ten adres URL: https://365datascience.com/sum-squares/, aby uzyskać więcej informacji na temat regresji liniowej.

Ściśle mówiąc, ze statystycznego punktu widzenia, Błędy i Pozostałości to zupełnie inne pojęcia. Błędy odnoszą się głównie do różnicy między rzeczywistymi obserwowanymi wartościami próbki a przewidywanymi wartościami i są używane głównie w statystykach, takich jak Root Means Squared Errors (RMSE) i Mean Absollute Errors (MAE). Natomiast reszty odnoszą się wyłącznie do różnic między zmiennymi zależnymi i oszacowaniami z regresji liniowej.

— Dr.CYY
źródło

0

Nie sądzę, że jest to poprawne, jeśli uważamy MSE za obszar RMSE. Na przykład masz szereg próbkowanych danych na temat prognoz i obserwacji, teraz próbujesz wykonać regresję liniową: Obserwacja (O) = a + b X Prognozowanie (P). W tym przypadku MSE jest sumą kwadratowej różnicy między O i P i podzieloną przez wielkość próbki N.

Ale jeśli chcesz zmierzyć skuteczność regresji liniowej, musisz obliczyć średnią kwadratową pozostałość (MSR). W tym samym przypadku najpierw oblicza się resztkową sumę kwadratów (RSS), która odpowiada sumie kwadratowych różnic między rzeczywistymi wartościami obserwacji i przewidywanymi obserwacjami pochodzącymi z regresji liniowej, a następnie następuje podział na RSS podzielony przez N-2 do uzyskać MSR.

Mówiąc prosto, w przykładzie MSE nie można oszacować za pomocą RSS / N, ponieważ komponent RSS nie jest już taki sam dla komponentu użytego do obliczenia MSE.

— Dr.CYY
źródło

1

Nie rozumiem tej odpowiedzi.

— Michael R. Chernick

Spójrz, na podstawie wspomnianego przykładu prognozy próbkowanej i obserwowanych wartości danych, regresja liniowa jest ustalana: Obserwacja (O) = a + b X Predykcja (P) (a, b są odpowiednio przechwyceniem i nachyleniem). W tym przypadku MSE = Σ (OP) ^ 2 / n, gdzie Σ (OP) ^ 2 to suma kwadratów Erros (SSE), a n to wielkość próbki. Jednak średnie kwadratowe pozostałości (MSR) = Σ (OO´) ^ 2 / n-2, gdzie Σ (OO´) ^ 2 jest równe sumie pozostałości kwadratów (RSS) i O` = a + b X P. MSR i RSS są używane głównie do testowania ogólnego znaczenia regresji liniowej. Zauważ też, SSE = Systematyczne błędy (SE) + RSS, gdzie SE = Σ (PO´) ^ 2

— Dr.CYY