Kiedy Markowa pól losowych

W swoim podręczniku, graficznych modelach rodziny wykładniczej i wariacyjne Inference , M. Jordana i M. Wainwright omówić związek między rodzinami wykładnicze i Markowa pól losowych (nieukierunkowane modeli graficznych).

Staram się lepiej zrozumieć związek między nimi za pomocą następujących pytań:

Czy wszyscy członkowie MRF należą do rodzin wykładniczych?
Czy wszyscy członkowie z rodziny wykładniczej mogą być reprezentowani jako MRF?
Jeśli MRF Rodziny wykładnicze, jakie są dobre przykłady rozkładów jednego typu nieuwzględnionych w drugim ? $\neq$

Z tego, co rozumiem w ich podręczniku (rozdział 3), Jordan i Wainwright przedstawiają kolejny argument:

Powiedzmy, że mamy skalarną zmienną losową X, która podąża za pewnym rozkładem , i narysujemy obserwacje , i chcemy zidentyfikować . $p$ $n$ $X^1, \ldots X^n$ $p$
Obliczamy oczekiwania empiryczne niektórych funkcji $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ dla wszystkich $\alpha \in \mathcal{I}$

gdzie każdy w jakimś zbiorze indeksuje funkcję $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
Następnie, jeśli wymuszimy spójność następujących dwóch zestawów wielkości, tj. Dopasowania (w celu zidentyfikowania ): $p$
- Oczekiwania wystarczających statystyk rozkładu $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Oczekiwania w ramach rozkładu empirycznego

otrzymujemy niedookreślony problem w tym sensie, że istnieje wiele rozkładów które są zgodne z obserwacjami. Potrzebujemy więc zasady wyboru między nimi (aby zidentyfikować ). $p$ $p$

Jeśli zastosujemy zasadę maksymalnej entropii do usunięcia tej nieokreśloności, możemy uzyskać pojedynczy : $p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ zastrzeżeniem for all $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

gdzie to przyjmuje postać exp gdzie reprezentuje parametryzację rozkładu w postaci wykładniczej rodziny. $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

Innymi słowy, jeśli my

Spraw, aby oczekiwania dotyczące rozkładów były zgodne z oczekiwaniami w ramach rozkładu empirycznego
Użyj zasady maksymalnej entropii, aby pozbyć się nieokreślenia

$\rightarrow$ z rozkładem rodziny wykładniczej.

Jednak wygląda to bardziej na argument za wprowadzeniem wykładniczych rodzin i (o ile rozumiem) nie opisuje związku między MRF a exp. rodziny. Czy coś mi brakuje?

mathematical-statistics graphical-model

— Amelio Vazquez-Reina
źródło

Myślę, że jest tam pewne zamieszanie: [MRF] ( en.wikipedia.org/wiki/Markov_random_field ) nie są zdefiniowane zgodnie z zasadą maksymalnej entropii, ale same w sobie, przez fakt, że gęstość rozkłada się zgodnie z klikami wykres. MRF to rodziny wykładnicze ze względu na ich logarytmiczną reprezentację.

— Xi'an

Dzięki @ Xi'an. Ta część „ MRF są zdefiniowane przez fakt, że gęstość gęstości zależy od kliku wykresu ”, to, co zawsze uważałem, definiuje MRF. Ale dlaczego ta właściwość sprawia, że wszystkie MRF należą do rodzin wykładniczych? A jakie są przykłady (jeśli istnieją) dowolnego typu (MRF lub rodziny exp), które nie są członkami innego typu?

— Amelio Vazquez-Reina,

Nie jestem pewien, ile to dla ciebie doda, ale jedną rzeczą, która może to uczynić bardziej zrozumiałym, jest przeczytanie oryginalnej formuły dystrybucji Gibbs i MRF w tym artykule Gemana i Gemana . Zasadniczo, cała idea polega na zamodelowaniu czegoś z rozkładem Boltzmana (exp do minus coś), a następnie zapytaniu, jak to coś rozkłada. Z powodu takiego sposobu opisu może być bardziej oczywiste ich związek z wykładniczymi rodzinami.

— ely

Rodziny wykładnicze są zdefiniowane przez fakt, że gęstość logarytmiczna jest zasadniczo iloczynem skalarnym funkcji wektorowej obserwacji i funkcji wektorowej parametrów. W tej definicji nie ma struktury graficznej. MRF obejmują dodatkowo wykres, który definiuje kliki, dzielnice i tc. Stąd MRF to rodziny wykładnicze z dodatkową strukturą, wykresem.

— Xi'an

Myślę, że zamieszanie w sprzecznych komentarzach / odpowiedzi sprowadza się do tego, czy wolno ci wprowadzać czynniki, które nie są logiczne w odniesieniu do ich parametrów.

— Yaroslav Bulatov

Masz całkowitą rację - przedstawiony przez ciebie argument wiąże rodzinę wykładniczą z zasadą maksymalnej entropii, ale nie ma nic wspólnego z MRF.

Aby odpowiedzieć na trzy pierwsze pytania:

Czy wszyscy członkowie z rodziny wykładniczej mogą być reprezentowani jako MRF?

P. (X = x) = \prod_{do \in do l (sol)} ϕ_{do} (X_{do} = x_{do})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ . Na podstawie tej definicji widać, że w pełni połączony wykres, choć całkowicie pozbawiony informacji, jest zgodny z każdą dystrybucją.

Czy wszyscy członkowie MRF należą do rodzin wykładniczych?

$are$

$\neq$

Rozkłady mieszanin są częstymi przykładami niewykładniczych rozkładów rodzin. Rozważ liniowy model przestrzeni stanu Gaussa (jak ukryty model Markowa, ale z ciągłymi ukrytymi stanami oraz przejściami Gaussa i rozkładami emisji). Jeśli zamienisz jądro przejścia na mieszaninę Gaussów, wynikowy rozkład nie będzie już należał do rodziny wykładniczej (ale nadal zachowa bogatą strukturę niezależności warunkowej charakterystyczną dla praktycznych modeli graficznych).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Drew
źródło