Dlaczego Ograniczone maksymalne prawdopodobieństwo daje lepsze (obiektywne) oszacowanie wariancji?

Czytam artykuł teoretyczny Douga Batesa o pakiecie R4, aby lepiej zrozumieć drobiazgowość mieszanych modeli, i natknąłem się na intrygujący wynik, który chciałbym lepiej zrozumieć, o zastosowaniu ograniczonego maksymalnego prawdopodobieństwa (REML) do oszacowania wariancji .

W części 3.3 dotyczącej kryterium REML stwierdza, że ​​zastosowanie REML do oszacowania wariancji jest ściśle związane z zastosowaniem korekcji stopni swobody przy szacowaniu wariancji od odchyleń resztkowych w dopasowanym modelu liniowym. W szczególności, „chociaż zwykle nie jest uzyskiwany w ten sposób”, stopnie korekcji swobody można uzyskać przez oszacowanie wariancji poprzez optymalizację „kryterium REML” (równanie (28)). Kryterium REML jest w zasadzie tylko prawdopodobieństwem, ale parametry dopasowania liniowego zostały wyeliminowane przez marginalizację (zamiast ustawiania ich jako równe oszacowaniu dopasowania, co dałoby stronniczą wariancję próbki).

Zrobiłem matematykę i zweryfikowałem deklarowany wynik dla prostego modelu liniowego z tylko ustalonymi efektami. Walczę z interpretacją. Czy jest jakaś perspektywa, z której naturalne jest oszacowanie wariancji poprzez optymalizację prawdopodobieństwa marginalizacji parametrów dopasowania? To trochę bayesowskie, jakbym myślał o prawdopodobieństwie późniejszym i marginalizował parametry dopasowania, jakby to były zmienne losowe.

Czy uzasadnienie jest przede wszystkim tylko matematyczne - działa w przypadku liniowym, ale jest również uogólnialne?

Tolerancja wariancji wynika z faktu, że średnią oszacowano na podstawie danych, a zatem „rozłożenie tych danych wokół tej oszacowanej średniej” (tj. Wariancji) jest mniejsze niż rozrzut danych wokół „prawdziwej” średniej . Zobacz także: Intuicyjne wyjaśnienie dzielenia przez przy obliczaniu odchylenia standardowego?$n-1$

Stałe efekty określają model „dla średniej”, dlatego jeśli można znaleźć oszacowanie wariancji, które zostało uzyskane bez oszacowania średniej z danych (poprzez „marginalizację ustalonych efektów (tj. Średniej)”), wówczas to niedoszacowanie spread (tj. wariancja) zostanie złagodzony.

Jest to „intuicyjne” zrozumienie, dlaczego szacunki REML eliminują błąd systematyczny; znajdziesz oszacowanie wariancji bez użycia „szacowanej średniej”.

Sprawdź DODATEK: METODA SZACOWANIA USUŃ z tego zasobu związanego z SAS autorstwa Davida Dickeya.

„ Zawsze możemy znaleźć (n-1) liczby Z o znanej średniej 0 i tej samej sumie kwadratów i wariancji teoretycznej jak wartości n Y. To motywuje podział sumy Z kwadratów przez liczbę Zs, która wynosi n -1. ”

Kiedy byłem w szkole podstawowej, REML okazało się być najlepszą rzeczą od krojonego chleba. Studiując pakiet lme4 , dowiedziałem się, że tak naprawdę nie uogólnia tak dobrze i może nie jest to tak ważne w wielkim schemacie rzeczy.