Co to jest identyfikowalność modelu?

Wiem, że w przypadku modelu, którego nie można zidentyfikować, można powiedzieć, że dane są generowane przez wiele różnych przypisań do parametrów modelu. Wiem, że czasami można ograniczyć parametry, aby wszystkie były identyfikowalne, jak w przykładzie w wydaniu Cassella i Berger, wyd. 2, sekcja 11.2.

Biorąc pod uwagę konkretny model, jak mogę ocenić, czy można go zidentyfikować?

identifiability

— Jack Tanner
źródło

W celu zidentyfikowania mówimy o parametrze (który może być wektorem), który rozciąga się na przestrzeń parametrów , i rodzinie rozkładów (dla uproszczenia, pomyśl PDF) indeksowanej przez którą zwykle piszemy jak $\theta$ $\Theta$ $\theta$ . Na przykład może być a może być $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

co oznaczałoby, że. Aby model był identyfikowalny, transformacja odwzorowującanapowinna byćjeden na jeden. Biorąc pod uwagę model w kolanach, najprostszym sposobem na sprawdzenie tego jest zacząć równanie , (równość ta powinna posiadać dla (prawie) wszystkichw

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$ wsparcie ) i spróbować użyć algebry (lub innego argumentu), aby pokazać, że właśnie takie równanie implikuje, że w rzeczywistości

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Jeśli odniesiesz sukces z tym planem, twój model jest możliwy do zidentyfikowania; kontynuuj swoją działalność. Jeśli nie, to albo twój model nie jest identyfikowalny, albo musisz znaleźć inny argument. Intuicja jest taka sama, niezależnie od tego: w możliwym do zidentyfikowania modelu dwa różne parametry (które mogą być wektorami) nie mogą dać tej samej funkcji prawdopodobieństwa.

Ma to sens, ponieważ jeśli dla stałych danych dwa unikalne parametry spowodowałyby takie samo prawdopodobieństwo, wówczas niemożliwe byłoby rozróżnienie dwóch parametrów kandydujących na podstawie samych danych. W takim przypadku niemożliwe byłoby zidentyfikowanie prawdziwego parametru.

$f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

$f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Ładne, wyczerpujące, praktyczne wyjaśnienie. Rysowane przez ciebie analogie wyjaśniają pojęcia.

— kardynał

Z pewnością odpowiedziałeś na pytanie, które zadałem, ale jestem zbyt początkującym, aby naprawdę zrozumieć twoją odpowiedź. Jeśli znasz wyjaśnienie, które jest lepsze dla początkującego, daj mi znać.

— Jack Tanner

@cardinal, dzięki. Do Jacka, w porządku, rozumiem. A co powiesz na to: jeśli jest coś powyżej, co nie jest jeszcze jasne, a jeśli mi to wskazujesz, to mogę spróbować go jeszcze bardziej rozwinąć. Lub, jeśli wolisz, możesz napisać kolejne pytanie, które wymaga wyjaśnienia „laika” lub przykładów tych pomysłów. Myślę, że można śmiało powiedzieć, że identyfikowalność jest tematem, który zwykle pojawia się po typowym wstępnym okresie studiów, więc jeśli chcesz podać kontekst, z jakiego powodu się z nim spotkałeś, może pomóc potencjalnym odbiorcom.

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

$\Sigma$ $\Sigma$ $\Sigma$

$\Sigma$

Jeśli robisz problem z maksymalnym prawdopodobieństwem, wiesz, że asymptotyczna macierz kowariancji twoich szacunków jest równa odwrotności informacji Fishera ocenianych w MLE. Zatem sprawdzenie matrycy informacji Fishera pod kątem (przybliżonej) osobliwości jest również rozsądnym sposobem oceny identyfikowalności. Działa to również tam, gdzie trudno jest obliczyć teoretyczną informację o rybaku, ponieważ często możliwe jest bardzo dokładne przybliżenie liczbowe spójnego estymatora macierzy informacji o rybach, na przykład poprzez oszacowanie oczekiwanego zewnętrznego produktu funkcji wyniku przez zaobserwowany średni produkt zewnętrzny .

$\Sigma$

— Makro
źródło

(+1) Dobra robota. Nawet nie pomyślałem o podejściu do tego pytania z tego kierunku.

Jednym z powodów, dla których pomysł obliczenia macierzy kowariancji w oparciu o symulowane dane jest szczególnie schludny, jest to, że należy mimo wszystko symulować dane, aby wykonać kontrolę Cooka-Gelmana-Rubina .

— Jack Tanner