Co jest zwyczajne w zwykłych najmniejszych kwadratach?

Mój przyjaciel niedawno zapytał, co jest takiego zwyczajnego, o zwykłych najmniejszych kwadratach. Wydaje się, że nigdzie nie rozmawialiśmy. Obaj zgodziliśmy się, że OLS jest specjalnym przypadkiem modelu liniowego, ma wiele zastosowań, jest dobrze znany i jest szczególnym przypadkiem wielu innych modeli. Ale czy to naprawdę wszystko?

Dlatego chciałbym wiedzieć:

Skąd tak naprawdę pochodzi nazwa?
Kto pierwszy użył tej nazwy?

— Repmat
źródło

Jest to zwyczajne, ponieważ istnieją teraz inne warianty. Ważony Krzepki. nieliniowy. ... Zwykłe jest to, w jaki sposób można uniknąć pomylenia z czymś innym.

— EngrStudent

Przypuszczalnie OLS jest prawdopodobnie pierwszym opracowanym algorytmem dopasowania numerycznego około 1805 r . Nazwa zwykła została prawdopodobnie dodana po opracowaniu odmian tematu.

— Carl

Najmniej kwadratów w $y$ jest często nazywany zwykłą metodą najmniejszych kwadratów (OLS), ponieważ była to pierwsza w historii procedura statystyczna opracowana około 1800 r., patrz historia . Jest to równoważne z minimalizacją $L_2$ norma, $||Y-f(X)||_2$ . Następnie ważone najmniejszych kwadratów, minimalizacja innych norm (np. $L_1$ ), uogólnione metody najmniejszych kwadratów , Oszacowanie M , minimalizacja dwuwymiarowa (np. regresja Deminga), regresja nieparametryczna, regresja maksymalnego prawdopodobieństwa, regularyzacja (np. Tichonow, grzbiet) i inne techniki odwrotnych problemów oraz opracowano wiele innych narzędzi. Nadal istnieją kontrowersje dotyczące tego, kto pierwszy go zastosował, Gaussa lub Legendre (patrz link ). Termin „zwykły” (oznaczający w $y$ ) zostało oczywiście dodane do „najmniejszych kwadratów” dopiero po pojawieniu się tak wielu alternatywnych metod, że (wciąż najbardziej) popularny OLS musiał zostać odróżniony od mnóstwa innych minimalizacji, które stały się dostępne. Kiedy dokładnie dodajesz zwykłe $+$ najmniejszych kwadratów byłoby trudnych do wyśledzenia, ponieważ miało to miejsce, gdy stało się to naturalne lub oczywiste.

— Carl
źródło

Możesz także kontrastować OLS z WLS, ważonymi najmniejszymi kwadratami, co minimalizuje ważone kwadraty.

— AdamO,

W rzeczywistości jest już nieco pod „innymi” normami, na przykład

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$ jest ważony.

— Carl

To stare pytanie, jeśli dobrze pamiętam, byłem bardzo zainteresowany (wtedy), kto pierwszy użył terminu OLS ... Chyba nigdy się nie dowiem ... Dobra odpowiedź na +1

— Repmat

Nigdy nie słyszałem o „najmniejszych kwadratach” używanych do opisania minimalizacji, która nie jest

L_{2}

$L_2$ norma. (Należy zauważyć, że „normy energetyczne”, takie jak stosowane w regularyzacji Tichonowa, są po prostu an

L_{2}

$L_2$ transformowanego wektora.) Ogólniejszym terminem byłoby po prostu „regresja”, a może „ oszacowanie M ”.

— GeoMatt22,

Zgadzam się z @AdamO, że zwykły vs. ważony * wydaje się prawdopodobnym kontrastem. (* Raczej „uogólniony” . W naukach obliczeniowych myślę, że nadal byłby to po prostu ważony? Dlaczego macierz wagowa musiałaby być diagonalna?)

— GeoMatt22,