Próbuję udowodnić, że obserwowana matryca informacji oceniana przy mało spójnym estymatorze maksymalnego prawdopodobieństwa (MLE), jest słabo spójnym estymatorem oczekiwanej matrycy informacji. Jest to często cytowany wynik, ale nikt nie podaje odniesienia ani dowodu (wyczerpałem się, myślę, że pierwsze 20 stron wyników Google i podręczników statystyk)!
Używając słabo spójnej sekwencji MLE, mogę użyć słabego prawa wielkich liczb (WLLN) i twierdzenia o ciągłym odwzorowaniu, aby uzyskać pożądany wynik. Uważam jednak, że nie można zastosować twierdzenia o ciągłym odwzorowaniu. Zamiast tego uważam, że należy zastosować jednolite prawo dużych liczb (ULLN). Czy ktoś wie o referencji, która ma na to dowód? Mam próbę na ULLN, ale na razie pomijam ją dla zwięzłości.
Przepraszam za długość tego pytania, ale należy wprowadzić notację. Notacja jest następująca (mój dowód znajduje się na końcu).
Załóżmy, że mamy próbkę losowych zmiennych o gęstości , gdzie (tutaj to po prostu ogólna zmienna losowa o takiej samej gęstości, jak dowolny z członków próby). Wektor jest wektorem wszystkich wektorów przykładowych, w których dla wszystkich . Prawdziwa wartość parametru dla gęstości to , a \ hat {\ theta} _ {N} (Y) jest słabo spójnym estymatorem maksymalnego prawdopodobieństwa (MLE) dla \ theta_ {0}θ N ( Y ) θ 0. Z zastrzeżeniem warunków prawidłowości matrycę informacji Fisher można zapisać jako
gdzie jest macierzą Hesji. Odpowiednikiem próbki jest
gdzie . Obserwowana macierz informacji to;
,
(niektóre osoby żądają, aby macierz była oceniana w ale niektórzy nie). Przykładowa matryca informacji obserwowana to;
gdzie .
Potrafię udowodnić zbieżność prawdopodobieństwa estymatora do , ale nie do . Oto mój dowód do tej pory;I ( θ ) N - 1 J N ( θ N ( Y ) ) I ( θ 0 )
Teraz jest elementem z , dla dowolnego . Jeśli próbka ma tę samą wartość, wówczas przy słabym prawie dużych liczb (WLLN) średnia prawdopodobieństwa tych sum jest zbieżna z prawdopodobieństwem do . Zatem dla wszystkich , a więc . Niestety nie możemy po prostu zawrzeć ( r , s ) J N ( θ ) r , s = 1 , … , k - E θ [ ( H θ ( log f ( N - 1 ( J N ( θ ) ) r s P → ( I ( θ ) ) r s r , s = 1 , … , k N N - 1 J N ( θ N (Y)) P → I( θ 0 ) N - 1 J N (⋅)I(⋅)używając twierdzenia o ciągłym odwzorowaniu, ponieważ nie jest tą samą funkcją co .
Każda pomoc w tym zakresie byłaby bardzo mile widziana.