Definicja wag najmniejszych kwadratowych: R lm funkcja vs.

Czy ktoś mógłby mi powiedzieć, dlaczego otrzymuję różne wyniki od Rważonego najmniejszego kwadratu i ręcznego rozwiązania przez operację macierzy ?

W szczególności próbuję ręcznie rozwiązać , gdzie to macierz diagonalna na wagach, to macierz danych, to odpowiedź wektor. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Próbuję porównać wyniki z R lmfunkcją za pomocą weightsargumentu.

— Haitao Du
źródło

Edytowałem tagi: zdecydowanie nie było to [samokształcenie]. Nie chodzi też o GLS (ale o bardzo specjalny przypadek), więc też go usunąłem.

— ameba

Jak widać z wyrażeń matematycznych do obliczeń, otrzymujesz

((W. ZA)^{'} (W. ZA))^{- 1} ((W. ZA)^{'} (W. b)) = ({ZA}^{'} {W.}^{2)} ZA)^{- 1} ({ZA}^{'} {W.}^{2)} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Najwyraźniej twoje ciężary są $W^2$ , nie $W$ . Dlatego powinieneś porównać swoją odpowiedź z wynikami

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

Zgoda jest idealna (w ramach błędu zmiennoprzecinkowego - wewnętrznie Rwykorzystuje bardziej stabilny numerycznie algorytm.)

— Whuber
źródło

Prawdopodobnie mówimy tutaj o konwencjach oprogramowania: tam, gdzie oprogramowanie oczekuje „wag”, czy chce, abyś je nadał

W

$W$ lub

W^{2}

$W^2$ ? Pomyślałem, że to cenne pytanie, ponieważ problem może wpłynąć na każdy pakiet statystyczny. Niezależnie od konwencji krótka analiza w tej odpowiedzi sugeruje, z jakimi alternatywnymi interpretacjami „wag” może być rozsądna i warta eksperymentowania w każdych okolicznościach.

— whuber

Tak, myślę, że jest to mylące, mam wyrażenie z algebry liniowej Gilberta Stranga, rozdział 8.6, w którym mówi on, że ważona najmniejsza kwadratowa jest tylko korektą z

A x = b

$Ax=b$ do

W A x = W b

$WAx=Wb$

— Haitao Du

Dziwny ma rację, ale ma orientację pedagogiczną do tyłu: zaczyna od odpowiedzi, a nie od problemu. Problem dotyczy sposobu wykonania analogu procedury najmniejszych kwadratów, gdy wariancje reszt mają znane, ale różne wartości. Z różnych (ale prostych) powodów teoretycznych dane powinny być ważone odwrotnymi wariancjami (czasami nazywanymi „dokładnościami”). Na tej podstawie można to wypracować

W

$W$ musi być pierwiastkiem kwadratowym z wag.

— whuber