Koncepcyjne zrozumienie średniego błędu kwadratowego i średniego odchylenia odchylenia


13

Chciałbym uzyskać koncepcyjne zrozumienie Root Mean Squared Error (RMSE) i Mean Bias Deviation (MBD). Po obliczeniu tych miar dla własnych porównań danych często byłem zakłopotany stwierdzeniem, że RMSE jest wysoki (na przykład 100 kg), podczas gdy MBD jest niski (na przykład mniej niż 1%).

Mówiąc dokładniej, szukam odniesienia (nie online), które zawiera listę i omówienie matematyki tych miar. Jaki jest zwykle akceptowany sposób obliczenia tych dwóch miar i jak powinienem je zgłosić w artykule z czasopisma?

W kontekście tego postu bardzo przydatne byłoby posiadanie zestawu danych „zabawki”, którego można by użyć do opisu obliczenia tych dwóch miar.

Załóżmy na przykład, że mam znaleźć masę (w kg) 200 widgetów wyprodukowanych przez linię montażową. Mam również model matematyczny, który będzie próbował przewidzieć masę tych widżetów. Model nie musi być empiryczny i może być oparty na fizyce. Obliczam RMSE i MBD między rzeczywistymi pomiarami a modelem, stwierdzając, że RMSE wynosi 100 kg, a MBD wynosi 1%. Co to oznacza koncepcyjnie i jak interpretowałbym ten wynik?

Załóżmy teraz, że z wyniku tego eksperymentu stwierdzam, że RMSE wynosi 10 kg, a MBD wynosi 80%. Co to znaczy i co mogę powiedzieć o tym eksperymencie?

Jakie jest znaczenie tych środków i co oznaczają te dwa (razem)? Jakie dodatkowe informacje podaje MBD, gdy rozważa się je z RMSE?


2
Rozejrzałeś się po naszej stronie, Nicholas? Rozważ rozpoczęcie od strony stats.stackexchange.com/a/17545, a następnie zapoznaj się z niektórymi tagami, które dodałem do twojego pytania.
whuber

@whuber: Thanks whuber !. Rozejrzałem się po tej stronie, ale dla mnie wciąż trudno jest zrozumieć, co tak naprawdę oznacza w kontekście moich własnych badań.
Nicholas Kinar

Odpowiedzi:


21

Myślę, że te pojęcia są łatwe do wyjaśnienia. Wolałbym więc to tutaj opisać. Jestem pewien, że obejmuje to wiele książek ze statystyk podstawowych, w tym moją książkę „Podstawy biostatystyki dla lekarzy, pielęgniarek i klinicystów”.

Pomyśl o celu z tarczą w środku. Średni błąd kwadratu reprezentuje średnią kwadratową odległość od strzały trafionej w cel i środek. Teraz, jeśli twoje strzały rozrzucają się równomiernie wokół środka, strzelec nie ma uprzedzeń celowniczych, a średni błąd kwadratowy jest taki sam jak wariancja.

Ale ogólnie strzały mogą rozproszyć się wokół punktu oddalonego od celu. Średnia kwadratowa odległość strzałek od środka strzałek jest wariancją. To centrum może być postrzegane jako punkt celowania strzelców. Odległość od środka strzelca lub punktu celowania do środka celu jest wartością bezwzględną odchylenia.

Myśląc o prostokątnym trójkącie, w którym kwadrat przeciwprostokątnej jest sumą kwadratów dwóch boków. Zatem kwadratowa odległość od strzały do ​​celu jest kwadratem odległości od strzały do ​​punktu celowania i kwadratu odległości między środkiem celu a punktem celowania. Uśrednianie wszystkich tych kwadratowych odległości daje średni błąd kwadratowy jako sumę kwadratów odchylenia do kwadratu i wariancji.


Dziękuję Ci; jest to bardzo mile widziane. Wciąż trudno mi zrozumieć, jaka jest różnica między RMSE a MBD. Jak rozumiem, RMSE określa ilościowo, jak blisko model jest do danych eksperymentalnych, ale jaka jest rola MBD? Może moje nieporozumienie wiąże się tylko z terminologią.
Nicholas Kinar

1
Średnie odchylenie odchylenia, jak to nazywacie, to opisany przeze mnie błąd odchylenia. Mierzy, jak daleko punkt celu znajduje się od celu. Odchylenie przyczynia się do niedokładności strzału.
Michael R. Chernick

Jeszcze raz dziękuję, Michael. Tak więc wysoki RMSE i niski MBD sugerują, że jest to dobry model?
Nicholas Kinar

Brak wysokiego RMSE i niskiego MBD mówi tylko, że model jest zły z powodu dużej wariancji, a nie dużego odchylenia. RMSE to liczba decydująca o tym, jak dobry jest model.
Michael R. Chernick

1
@badyadyina: są to niezależne informacje, tak samo jak góra / dół i lewo / prawo są niezależne. Twoje pytanie jest jak pytanie „czy punkt jest wyśrodkowany pionowo, a daleko w lewo, czy jest na środku?” lub „Jeśli punkt jest wysoko, ale poziomo w środku, czy jest na środku?”
naught101

1

RMSE to sposób pomiaru, jak dobry jest nasz model predykcyjny względem rzeczywistych danych, im mniejszy RMSE, tym lepszy sposób zachowania modelu, to znaczy, jeśli przetestowaliśmy to na nowym zbiorze danych (nie na naszym zestawie treningowym), ale znowu wartość RMSE wynosząca 0,37 w zakresie od 0 do 1 odpowiada za wiele błędów w porównaniu z wartością RMSE wynoszącą 0,01 jako lepszym modelem. BIAS służy do przeszacowania lub niedoszacowania.


Czy możesz podać więcej szczegółów i wypracowany przykład? OP szuka intuicyjnego wyjaśnienia znaczenia RMSE, powiedzmy, 100, w stosunku do swojego problemu oszacowania.
Xi'an,

Wydaje się, że nie zapewnia to wiele intuicji. Czy możesz to bardziej wyjaśnić?
Glen_b

0

O ile rozumiem, RMSE podaje dokładniejszą wartość błędu między modelem a zaobserwowanym, jednak BIAS, oprócz podania wartości błędu (mniej dokładnej niż RMSE), może również określić, czy model jest dodatnia lub ujemna, jeśli model nie docenia lub nie docenia obserwowanych wartości.


Nie. Możesz myśleć o RMSE jako o „precyzji” modelu - np. O tym, ile rozpiętości istnieje w błędach jego prognoz (uwaga: precyzja jest odwrotnością wariancji - duża wariancja = niska precyzja). I możesz myśleć o odchyleniu jako o błędzie systematycznym w modelu - np. Średniej wartości wszystkich błędów. „Dokładność” pracy jest niejasnym połączeniem obu tych elementów, a zatem powoduje wiele zamieszania.
naught101
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.