Jako alternatywne wyjaśnienie rozważ następującą intuicję:
Minimalizując błąd, musimy zdecydować, jak ukarać te błędy. Rzeczywiście, najprostszym podejściem do karania błędów byłoby użycie linearly proportional
funkcji kary. Przy takiej funkcji każde odchylenie od średniej otrzymuje proporcjonalny błąd odpowiadający. Dwukrotnie większa od średniej spowodowałaby zatem dwukrotną karę.
Bardziej powszechnym podejściem jest rozważenie squared proportional
związku między odchyleniami od średniej a odpowiadającą jej karą. Zapewni to, że im dalej będziesz od średniej, tym proporcjonalnie więcej zostaniesz ukarany. Dzięki tej funkcji kary wartości odstające (z dala od średniej) są uważane za proporcjonalnie bardziej pouczające niż obserwacje w pobliżu średniej.
Aby uzyskać wizualizację tego, możesz po prostu wykreślić funkcje karne:
Szczególnie teraz, gdy rozważa się oszacowanie regresji (np. OLS), różne funkcje karne przyniosą różne wyniki. Korzystając z linearly proportional
funkcji kary regresja przypisze mniejszą wagę do wartości odstających niż podczas korzystania z squared proportional
funkcji kary. Mediana Absolute Deviation (MAD) jest zatem znana jako bardziej solidny estymator. Ogólnie rzecz biorąc, dlatego jest tak, że solidny estymator dobrze pasuje do większości punktów danych, ale „ignoruje” wartości odstające. Dla porównania, dopasowanie co najmniej kwadratów jest bardziej przyciągane w kierunku wartości odstających. Oto wizualizacja do porównania:
Teraz, mimo że OLS jest w zasadzie standardem, z pewnością wykorzystywane są również różne funkcje karne. Jako przykład możesz przyjrzeć się funkcji solidfitfit Matlaba, która pozwala wybrać inną funkcję kary (zwaną również „wagą”) dla regresji. Funkcje karne obejmują andrews, bisquare, cauchy, fair, huber, logistic, ols, talwar i welsch. Ich odpowiednie wyrażenia można również znaleźć na stronie internetowej.
Mam nadzieję, że to pomoże ci uzyskać nieco więcej intuicji w zakresie funkcji karnych :)
Aktualizacja
Jeśli masz Matlaba, mogę polecić grę z robustdemo Matlaba , który został zbudowany specjalnie do porównania zwykłych najmniejszych kwadratów z solidną regresją:
Demo pozwala przeciągać poszczególne punkty i natychmiast zobaczyć wpływ zarówno na zwykłe najmniejsze kwadraty, jak i solidną regresję (co jest idealne do celów dydaktycznych!).