Dlaczego matryca Fisher Information jest pozytywnie półfinałowa?

18

Niech . Matrycę informacji Fisher definiuje się jako: $\theta \in R^{n}$

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

Jak mogę udowodnić, że Matryca Informacyjna Fishera jest dodatnia półfinałowa?

inference linear-algebra fisher-information

— madprob
źródło

7

Czy nie jest to oczekiwana wartość zewnętrznego wyniku wyniku?

— Neil G

19

Sprawdź to: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Z definicji mamy

I_{i j} = E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ dla

i, j = 1, \dots, k

$i,j=1,\dots,k$ , w których

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$ . Twoje wyrażenie dla

I_{i j}

$I_{ij}$ wynika z tego wyrażenia w warunkach prawidłowości.

Dla wektora niepustego wynika z liniowości oczekiwań, że $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$

\sum_{i, j = 1}^{k} u_{i} I_{i j} u_{j} = \sum_{i, j = 1}^{k} (u_{i} E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] u_{j}) = E_{θ} [(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\sum_{j = 1}^{k} u_{j} \partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] = E_{θ} [{(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ))}^{2}] \geq 0 .

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

Jeśli mądra notacja tego komponentu jest zbyt brzydka, zauważ, że macierz informacji Fishera można zapisać jako , w którym wektor wyników jest zdefiniowany jako $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

S = {(\partial_{1} \log f_{X ∣ Θ} (X ∣ θ), \dots, \partial_{k} \log f_{X ∣ Θ} (X ∣ θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

Dlatego mamy jednowierszowy

u^{⊤} H u = u^{⊤} E_{θ} [S S^{⊤}] u = E_{θ} [u^{⊤} S S^{⊤} u] = E_{θ} [| | S^{⊤} u | |^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— Zen
źródło

3

(+1) Dobra odpowiedź i witaj z powrotem, Zen. Obawiałem się, że mogliśmy stracić cię na stałe, biorąc pod uwagę długość przerwy. To byłby prawdziwy wstyd!

— kardynał

5

UWAGA: nie ogólna odpowiedź!

Jeśli odpowiada rodzinie wykładniczej pełnej rangi, to ujemny Hesjan logarytmu prawdopodobieństwa jest macierzą kowariancji wystarczającej statystyki. Macierze kowariancji są zawsze dodatnie półokreślone. Ponieważ informacja Fishera jest wypukłą kombinacją dodatnich półokreślonych macierzy, więc musi być również dodatnia półokreślona. $f(X|\theta)$

— gusl
źródło