Rozważ losową zmienną Bernoulliego z parametrem (prawdopodobieństwo sukcesu). Funkcja prawdopodobieństwa i informacje Fishera (a macierz) to:
Rozważmy teraz wersję „o zbyt dużej parametryzacji” z dwoma parametrami: prawdopodobieństwo sukcesu i prawdopodobieństwo niepowodzenia . (Należy zauważyć, że , a to ograniczenie oznacza, że jeden z parametrów jest zbędny.) W tym przypadku funkcja prawdopodobieństwa i macierz informacji Fishera (FIM) to:
Zauważ, że wyznaczniki tych dwóch FIM-ów są identyczne. Ponadto ta właściwość rozciąga się na bardziej ogólny przypadek modeli jakościowych (tj. Więcej niż dwa stany). Wydaje się, że obejmuje również logarytmiczne modele z różnymi podzbiorami parametrów ograniczonymi do zera; w tym przypadku dodatkowy „redundantny” parametr odpowiada funkcji podziału logu, a równoważność dwóch wyznaczników FIM można wykazać na podstawie uzupełnienia Schur większego FIM. (W rzeczywistości dla modeli logarytmiczno-liniowych mniejszy FIM jest tylko uzupełnieniem Schur większego FIM.)
Czy ktoś może wyjaśnić, czy ta właściwość rozciąga się na większy zestaw modeli parametrycznych (np. Na wszystkie rodziny wykładnicze), umożliwiając wyprowadzenie wyznaczników FIM na podstawie takiego „rozszerzonego” zestawu parametrów? Tj. Zakładamy dowolny model statystyczny z parametrami, które leżą na wymiarowym kolektorze osadzonym w przestrzeni . Teraz, jeśli rozszerzymy zestaw parametrów, aby obejmował jeszcze jeden wymiar (który jest całkowicie ograniczony w oparciu o inne) i obliczymy te parametry na podstawie FIM , zawsze otrzymamy tę samą determinantę, jak ta oparta na oryginale (niezależne) parametry? W jaki sposób te dwa FIM są powiązane?
Powód, dla którego zadaję to pytanie, jest taki, że FIM z dodatkowym parametrem często wydaje się prostszy. Moja pierwsza myśl jest taka, że to nie powinno działać w ogóle. FIM polega na obliczeniu częściowych pochodnych prawdopodobieństwa logarytmu względem każdego parametru. Te częściowe pochodne zakładają, że podczas gdy parametr, o którym mowa, zmienia się, wszystkie inne parametry pozostają stałe, co nie jest prawdą, gdy uwzględnimy parametr dodatkowy (ograniczony). W tym przypadku wydaje mi się, że częściowe pochodne nie są już ważne, ponieważ nie możemy założyć, że pozostałe parametry są stałe; Muszę jednak znaleźć dowody, że jest to problem. (Jeśli pochodne częściowe są problematyczne w przypadkach o parametrach zależnych, są to pochodne ogółempotrzebujesz zamiast tego? Nie widziałem jeszcze przykładu obliczania FIM z całkowitymi pochodnymi, ale może to jest rozwiązanie ...)
Jedyny przykład, jaki mogłem znaleźć w Internecie, który oblicza FIM na podstawie takiego „rozszerzonego” zestawu parametrów, jest następujący: te uwagi zawierają przykład rozkładu kategorycznego, obliczając jak zwykle wymagane częściowe pochodne (tj. Jakby każdy parametr był niezależny , mimo że wśród parametrów występuje ograniczenie).