Jakie zalety oferują „wewnętrznie uczone resztki” w porównaniu z surowymi szacowanymi resztkami pod względem diagnozowania potencjalnych wpływowych punktów danych?

10

Powodem, dla którego o to pytam, jest to, że wydaje się, że wewnętrznie uczone reszty wydają się mieć ten sam wzór, co surowe szacunkowe reszty. Byłoby wspaniale, gdyby ktoś mógł wyjaśnić.

residuals

— Scortchi - Przywróć Monikę
źródło

13

$\bf{y} = \bf{X} \bf{\beta} + \bf{\epsilon}$ $\bf{X}$ $\bf{1}$ $\hat{\bf{y}} = \bf{X} (\bf{X}' \bf{X})^{-1} \bf{X}' \bf{y} = \bf{H} \bf{y}$ $\bf{H}$ $\bf{e} = \bf{y} - \hat{\bf{y}}$ $\bf{\epsilon}$

homoskedastyczność

$V(\bf{e}) = \sigma^{2} (\bf{I} - \bf{H})$ $e_{i}$ $\sigma^{2} (1-h_{ii})$ $\sigma^{2} (\bf{I} - \bf{H})$ $\bf{H}$ $h_{ii}$

$\bf{e} / (\sigma \sqrt{1 - h_{ii}})$ $\sigma$ $\bf{e} / (\hat{\sigma} \sqrt{1 - h_{ii}})$ $\hat{\sigma}$

$\epsilon$

— karakal
źródło

Różnice definicyjne między dwoma różnymi typami reszt (jak również resztkami zewnętrznymi studentami) są dla mnie jasne. W praktyce jednak nie sądzę, że spotkałem się z przypadkami (przynajmniej z własnymi danymi), w których resztki uczone wewnętrznie mają wyraźny wzorzec w porównaniu z resztami szacowanymi. Z drugiej strony, resztki uczone zewnętrznie mogą potencjalnie wykazywać inny wzór niż resztki szacunkowe. * Nie twierdzę, że dwa rodzaje reszt są takie same. Mam na myśli ich ogólne wzorce.

@AlexH. Zgadzam się, że deklarowana przeze mnie korzyść jest teoretyczna . Dobrym uzupełnieniem byłoby stworzenie symulowanej sytuacji empirycznej, w której surowe reszty wprowadzają w błąd, a reszty studenckie zapewniają dokładniejszy obraz rozkładów warunkowych.

— caracal

12

Na jakich typach danych przeprowadzałeś swoje wykresy testowe? Kiedy wszystkie założenia się utrzymują (lub zbliżają się), nie spodziewałbym się dużej różnicy między resztami surowymi i studenckimi, główną zaletą jest to, że istnieją wysoce wpływowe punkty. Rozważ te (symulowane) dane, które mają pozytywny trend liniowy i wysoce wpływową wartość odstającą:

wprowadź opis zdjęcia tutaj

Oto wykres dopasowanych wartości w porównaniu do surowych reszt:

wprowadź opis zdjęcia tutaj

Zauważ, że wartość reszty naszego wpływowego punktu jest bliższa 0 niż minimalna i maksymalna reszta z pozostałych punktów (nie jest to w 3 najbardziej ekstremalnych surowych resztach).

Teraz jest wykres ze znormalizowanymi (wewnętrznie studentizowanymi) resztami:

wprowadź opis zdjęcia tutaj

Na tym wykresie znormalizowana pozostałość wyróżnia się, ponieważ uwzględniono jej wpływ.

$x$

— Greg Snow
źródło