Jak rozumieć znormalizowane resztki w analizie regresji?

Według analizy regresji według przykładu , reszta jest różnicą między odpowiedzią a wartością przewidywaną, a następnie mówi się, że każda reszta ma inną wariancję, więc musimy rozważyć standaryzowane reszty.

Ale wariancja dotyczy grupy wartości, w jaki sposób pojedyncza wartość może mieć wariancję?

regression residuals

— ccshao
źródło

Przydałby się bezpośredni cytat z podręcznika lub (jeśli jest on dostępny online) podanie linku do niego. Wiele może się zgubić, jeśli choć jedno słowo zostanie usunięte z kontekstu lub z kontekstu. (Na przykład, reszty są zwykle definiowane jako różnica między prognozowaniem a odpowiedzią, a nie na odwrót.)

— whuber

Pojedyncze zmienne losowe mają wariancje. Reszty są zmiennymi losowymi - są funkcjami danych. Tak więc pojedyncze reszty (znormalizowane lub nie) mają wariancje.

— gość

#whuber Podręcznik to „Regresja.Analiza.przykład”, strona, 89. Omówiono rodzaje pozostałości. zwykła reszta to przewidywanie odpowiedzi. @guest „Pojedyncze zmienne losowe mają wariancje”, tego nie rozumiem, zmienne są własnością próbki, prawda? dlaczego pojedyncza wartość w próbce (taka jak wartość rezydualna) ma wariancję?

— ccshao

Czy książka ma autora ...? Zwykle ułatwia to znalezienie. Myślę, że otrzymujesz wariancję próby i wariancję populacji. Pozostałość nie jest znana przed przeprowadzeniem eksperymentu. Odpowiedź jest losowa, podobnie jak resztkowa, ponieważ jest funkcją odpowiedzi. Kiedy mówimy o wariancji resztkowej, mówimy o wariancji leżącej u podstaw zmiennej losowej.

— MånsT

przepraszam za niedogodności, autorami są SAMPRIT CHATTEFUEE i ALI S. HADI, Analiza regresji według przykładu, wydanie czwarte.

— ccshao

Powiedziałbym, że indywidualna liczba (taka jak liczba resztkowa), która wynikała z losowego losowania z rozkładu prawdopodobieństwa, jest wartością zrealizowaną , a nie zmienną losową . Podobnie, powiedziałbym, że zbiór reszt, obliczony na podstawie twoich danych i dopasowania modelu za pomocą , jest zbiorem zrealizowanych wartości. Ten zestaw liczb może być luźno konceptualizowany jako niezależne czerpanie z podstawowej dystrybucji ~ . (Niestety, istnieje tutaj kilka dodatkowych zawiłości. Na przykład tak naprawdę nie masz $N$ $\bf{e}=\bf{y}-\bf{\hat{y}}$ $\epsilon$ $\mathcal{N}(\mu,\sigma^2)$ $N$ niezależne informacje, ponieważ reszty, , muszą spełniać dwa warunki: i ). $\bf{e}$ $\sum e_i=0$ $\sum x_ie_i=0$

Teraz, biorąc pod uwagę pewien zestaw liczb, niezależnie od tego, czy są to reszty, czy cokolwiek innego, z pewnością jest prawdą, że mają one wariancję, , ale to nie jest interesujące. Chodzi nam o to, aby móc powiedzieć coś o procesie generowania danych (na przykład, aby oszacować wariancję rozkładu populacji). Korzystając z powyższego wzoru, możemy podać przybliżenie, zastępując resztkowymi stopniami swobody, ale może to nie być dobre przybliżenie. Jest to temat, który może bardzo szybko się skomplikować, ale kilka możliwych przyczyn może być heteroscedastycznością (tzn. Że wariancja populacji różni się na różnych poziomach ) i obecność wartości odstających $\sum(e_i-\bar{e})^2/N$ $N$ $x$ (tj. że dana reszta pochodzi całkowicie z innej populacji). Niemal na pewno w praktyce nie będziesz w stanie oszacować wariancji populacji, z której wyciągnięto wartość odstającą, ale teoretycznie ma ona wariancję. Podejrzewam, że coś podobnego do tego mieli na myśli autorzy, ale powinienem zauważyć, że nie przeczytałem tej książki.

Aktualizacja: po ponownym przeczytaniu pytania podejrzewam, że cytat może odnosić się do tego, w jaki sposób wartość punktu wpływa na dopasowaną linię regresji, a tym samym wartość reszty związanej z tym punktem. Kluczowym pomysłem, który należy tutaj zrozumieć, jest dźwignia . Omawiam te tematy w mojej odpowiedzi tutaj: Interpreting plot.lm () . $x$

— gung - Przywróć Monikę
źródło

Dzięki! Dźwignia jest rzeczą, której wcześniej nie rozumiem. Nie ma żadnego efektu regresji lub ma on niewielki wpływ na dane, które mają x zbliżone do avg (x), a więc dużą wariancję.

— ccshao