„Najmniejsze kwadraty” i „Regresja liniowa”, czy są to synonimy?

Jaka jest różnica między regresem najmniejszych kwadratów a regresją liniową? Czy to to samo?

regression least-squares terminology

— bbadyalina
źródło

Powiedziałbym, że zwykłe najmniejsze kwadraty to jedna metoda szacowania w ramach szerszej kategorii regresji liniowej . Możliwe jest jednak, że jakiś autor używa „najmniejszych kwadratów” i „regresji liniowej” tak, jakby były one wymienne.

— Matthew Gunn

Jeśli robisz zwykłe najmniejsze kwadraty , użyłbym tego terminu. To mniej dwuznaczne.

— Matthew Gunn

Zobacz także, co to jest model regresji .

— Richard Hardy

Odpowiedzi:

Regresja liniowa zakłada liniową zależność między zmienną niezależną i zależną. Nie mówi ci, jak model jest dopasowany. Najmniejsze dopasowanie do kwadratu jest po prostu jedną z możliwości. Inne metody szkolenia modelu liniowego znajdują się w komentarzu.

Nieliniowe najmniejsze kwadraty są powszechne ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Na przykład popularny algorytm Levenberga-Marquardta rozwiązuje coś takiego:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

Jest to optymalizacja metodą najmniejszych kwadratów, ale model nie jest liniowy.

Nie są tym samym .

— Witaj świecie
źródło

Oprócz poprawnej odpowiedzi @Student T, chcę podkreślić, że najmniejsze kwadraty to funkcja potencjalnej straty dla problemu optymalizacji, podczas gdy regresja liniowa jest problemem optymalizacji.

Biorąc pod uwagę określony zestaw danych, regresja liniowa służy do znalezienia najlepszej możliwej funkcji liniowej, co wyjaśnia związek między zmiennymi.

W tym przypadku „najlepsze” możliwe jest określone przez funkcję straty, porównując przewidywane wartości funkcji liniowej z rzeczywistymi wartościami w zbiorze danych. Najmniejsze kwadraty to możliwa funkcja straty.

Artykuł w Wikipedii dotyczący najmniejszych kwadratów pokazuje również zdjęcia po prawej stronie, które pokazują użycie najmniejszych kwadratów dla innych problemów niż regresja liniowa, takich jak:

stożkowy
dopasowanie funkcji kwadratowej

Poniższy gif z artykułu w Wikipedii pokazuje kilka różnych funkcji wielomianowych dopasowanych do zestawu danych przy użyciu najmniejszych kwadratów. Tylko jeden z nich jest liniowy (wielomian 1). Zostało to zaczerpnięte z niemieckiego artykułu Wikipedii na ten temat.

— Nikolas Rieble
źródło

Możemy argumentować, że nieliniowe przykłady w animacji są nadal liniowe w parametrach.

— Firebug

To prawda, ale relacja modelu między celem a zmienną wejściową jest nieliniowa. Czy nazwałbyś to pasującą „regresją liniową”? Wolałbym nie.

— Nikolas Rieble

Powinniśmy rozróżniać między „liniowymi najmniejszymi kwadratami” a „regresją liniową”, ponieważ przymiotnik „liniowy” w obu przypadkach odnosi się do różnych rzeczy. Pierwszy odnosi się do dopasowania liniowego w parametrach, a drugi odnosi się do dopasowania do modelu, który jest funkcją liniową zmiennych niezależnych.

— JM nie jest statystykiem

@JM Wiele źródeł utrzymuje, że regresja „liniowa” w „regresji liniowej” oznacza „liniową w parametrach” raczej „liniową w IV”. Artykuł WIkipedia na temat regresji liniowej jest przykładem. Oto jeszcze jedno i drugie . Wiele tekstów statystycznych robi to samo; Twierdziłbym, że to konwencja.

— Glen_b

y = m x + b

$y=mx+b$