Funkcja kosztu w regresji liniowej OLS

Jestem trochę mylony z wykładem na temat regresji liniowej wygłoszonym przez Andrew Ng na Coursera na temat uczenia maszynowego. Tam podał funkcję kosztu, która minimalizuje sumę kwadratów jako:

$$\frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2$$

Rozumiem gdzie $\frac{1}{2}$ pochodzi z. Myślę, że zrobił to tak, że gdy wykonał pochodną na kwadracie, 2 w kwadracie skasowałoby się z połową. Ale nie rozumiem, gdzie$\frac{1}{m}$ pochodzą.

Dlaczego musimy to zrobić $\frac{1}{m}$ ? W standardowej regresji liniowej nie mamy jej, po prostu minimalizujemy resztki. Dlaczego go tutaj potrzebujemy?

Jak zdajesz sobie sprawę, z pewnością nie potrzebujemy współczynnika / m , aby uzyskać regresję liniową. Minimalizatory będą oczywiście dokładnie takie same, z nim lub bez niego. Jednym z typowych powodów normalizacji przez m jest to, że możemy postrzegać funkcję kosztu jako przybliżenie „błędu uogólnienia”, który jest oczekiwaną stratą kwadratową na losowo wybranym nowym przykładzie (nie w zestawie treningowym):$1/m$$m$

Załóżmy, że są próbkowane z niektórych rozkładów. Zatem dla dużych m oczekujemy, że $(X,Y),(X^{(1)},Y^{(1)}),\ldots,(X^{(m)},Y^{(m)})$$m$

$$\frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 \approx \mathbb{E}\left(h_\theta(X)-Y\right)^2.$$

Dokładniej, przez silne prawo wielkich liczb, mamy z prawdopodobieństwem 1.

$$\lim_{m\to\infty} \frac{1}{m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 = \mathbb{E}\left(h_\theta(X)-Y\right)^2$$

Uwaga: Każde z powyższych stwierdzeń dotyczy dowolnego konkretnego , wybranego bez oglądania zestawu treningowego. Dla uczenia maszynowego, chcemy te oświadczenia utrzymywać przez jakiś $\theta$$\hat{\theta}$ wybrany w oparciu o jego dobre wyniki na zbiorze treningowym. Twierdzenia te mogą nadal obowiązywać w tym przypadku, choć musimy poczynić pewne założenia dotyczące zestawu funkcji $\{h_\theta \,|\, \theta \in \Theta\}$ , a będziemy potrzebować czegoś silniejszego niż Prawo Dużych Liczb.

Nie mają do. Funkcja straty ma to samo minimum, niezależnie od tego, czy uwzględnisz$\frac{1}{m}$ lub stłumić. Jeśli jednak go uwzględnisz, uzyskasz dobrą interpretację minimalizacji (połowy) średniego błędu na punkt danych. Innymi słowy, jesteś w błędzie, minimalizując tempo zamiast całkowitego błędu.

Rozważ porównanie wydajności dwóch zestawów danych o różnych rozmiarach. Surowa suma błędów w kwadracie nie jest bezpośrednio porównywalna, ponieważ większe zestawy danych zwykle zawierają więcej błędów całkowitych tylko ze względu na ich rozmiar. Z drugiej strony średni błąd na punkt danych wynosi .

Czy możesz trochę rozwinąć?

Pewnie. Twój zestaw danych to zbiór punktów danych . Gdy masz model h , błąd najmniejszych kwadratów h w pojedynczym punkcie danych wynosi$\{ x_i, y_i \}$$h$$h$

$$(h(x_i) - y_i)^2$$

jest to oczywiście inne dla każdego punktu danych. Teraz, jeśli po prostu zsumujemy błędy (i pomnożymy przez połowę z powodu, który opisujesz) otrzymamy błąd całkowity

$$\frac{1}{2} \sum_i (h(x_i) - y_i)^2$$

ale jeśli podzielimy przez liczbę sum, otrzymamy średni błąd na punkt danych

$$\frac{1}{2m} \sum_i (h(x_i) - y_i)^2$$

$\{ x_i, y_i \}$$\{ x'_i, y'_i \}$ z differeing rozmiary , wtedy możemy porównać średnie błędy, ale nie całkowite błędów. Jeśli bowiem drugi zestaw danych jest, powiedzmy, dziesięciokrotnie większy niż pierwszy, to spodziewalibyśmy się, że całkowity błąd będzie około dziesięć razy większy dla tego samego modelu. Z drugiej strony przeciętny błąd dzieli wpływ wielkości zbioru danych, dlatego spodziewalibyśmy się, że modele o podobnej wydajności będą miały podobne średnie błędy w różnych zestawach danych.