Estymator największego prawdopodobieństwa wspólnego rozkładu, biorąc pod uwagę tylko marginalne liczby

Niech będzie łącznym rozkładem dwóch zmiennych kategorialnych , z . Powiedzmy, że próbek pobrano z tego rozkładu, ale podano nam tylko liczby krańcowe, mianowicie dla : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

Jaki jest estymator największej wiarygodności dla , biorąc uwagę ? Czy to jest znane? Wykonalne obliczeniowo? Czy istnieją inne uzasadnione podejścia do tego problemu inne niż ML? $p_{x,y}$ $S_j,T_j$

— RS
źródło

Marginesy tak naprawdę nie zawierają informacji * o wspólnym rozkładzie (w rzeczy samej jest to punkt kopul). * lub przynajmniej prawie wcale - oczywiście marginesy zawierają co najmniej pewne informacje, ponieważ wewnętrzne liczby nie mogą przekraczać marginesów, w których występują. Czy masz na myśli konkretny wspólny rozkład? Dlaczego użyłeś tagu? Czy szukasz rozwiązania z maksymalną entropią?

$\:$ maximum-entropy

— Glen_b

Nie znam się na kopulach. Czy mają również zastosowanie do przypadku kategorycznego? Co to znaczy - że każda wspólna dystrybucja z tymi samymi marżami miałaby takie samo prawdopodobieństwo? (Oznacziłem maksymalną entropię, ponieważ myślałem, że może być istotna.)

— RS

Nie mamy nawet określonego modelu dystrybucji, więc tak naprawdę nie jesteśmy w stanie obliczyć . Jest tu wiele możliwości. Istnieją kopuły dla uporządkowanego przypadku kategorycznego (jeśli nie unikatowego), ale moim celem w podniesieniu go było uzasadnienie, dlaczego marginesy nie były ogólnie bardzo pouczające. Jeśli chodzi o przypadek liczenia kategorycznego, Fisher traktował marginesy jako mało informujące o połączeniu, skąd dokładny test Fisher-Irwin. Jeśli chcesz maksymalnej entropii, prawdopodobnie możesz uzyskać rozwiązanie maksymalnej entropii, ale nie wiem, że będzie to bardzo pouczające o ...

P (x | θ)

$P(x|\theta)$

— Glen_b

(ctd) ... struktura. W obu przypadkach ME lub ML myślę, że najpierw będziesz potrzebować jakiegoś modelu, czy to będzie dwuwymiarowa wielomianowa, dwuwymiarowa hipergeometryczna, czy coś o większej strukturze. Zobacz to pytanie , w którym autor umieszcza odniesienie w odpowiedzi. To może być pomocne.

— Glen_b

Miałem na myśli ogólny dwumianowy rozkład wielomianowy. Pytanie dotyczy przypadku, w którym podane są sumy rozkładu i widzimy próbki ze wspólnego rozkładu. Tutaj mamy sumy próbki. Myślę, że problem jest dobrze zdefiniowany w przypadku ML (rozwiązanie może nie być unikalne, ale nie wiem).

— RS

Odpowiedzi:

Tego rodzaju problem został zbadany w pracy „Augmentacja danych w wielostronnych tabelach nieprzewidzianych ze stałymi marginalnymi sumami” , Dobra i in. (2006). Niech oznacza parametry modelu, niech oznacza nieobserwowaną tablicę liczb całkowitych zliczeń dla każdej pary , i niech będzie zbiorem tablic liczb całkowitych, których liczby brzeżne są równe . Zatem prawdopodobieństwo zaobserwowania wartości krańcowych wynosi: gdzie $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ jest wielomianowym rozkładem próbkowania. Definiuje to funkcję prawdopodobieństwa dla ML, ale bezpośrednia ocena jest niemożliwa, z wyjątkiem małych problemów. Zalecane przez nich podejście to MCMC, w którym na przemian aktualizujesz i , próbkując z rozkładu propozycji i akceptując zmianę zgodnie ze współczynnikiem akceptacji Metropolis-Hastings. Można to dostosować, aby znaleźć przybliżone maksimum ponad przy użyciu Monte Carlo EM.

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

Inne podejście zastosowałoby metody wariacyjne do przybliżenia sumy nad . Więzy krańcowe można zakodować jako wykres czynnikowy, a wnioskowanie nad można przeprowadzić za pomocą propagacji oczekiwań. $\mathbf{n}$ $\theta$

Aby zobaczyć, dlaczego ten problem jest trudny i nie pozwala na trywialne rozwiązanie, rozważ przypadek . Przyjmując jako sumy wierszy i jako sumy kolumn, istnieją dwie możliwe tabele zliczeń: Dlatego funkcja prawdopodobieństwo, MLE dla tego problemu to co odpowiada założeniu tabeli po lewej stronie. Natomiast szacunek, który można uzyskać, zakładając niezależność, to: $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ który ma mniejszą wartość prawdopodobieństwa.

— Tom Minka
źródło

Czy nie jest możliwe uzyskanie rozwiązania analitycznego?

— Ben Kuhn

Dzięki! Artykuł wydaje się trafny, choć wydaje się, że pochodzi z perspektywy bayesowskiej. Co z konkretnym przypadkiem, w którym jest w rzeczywistości samym rozkładem, a mianowicie , dla wszystkich par ? Czy podejrzewałby, że w tym przypadku byłoby rozwiązanie analityczne?

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

— RS

Nie podejrzewałbym, że istnieje rozwiązanie analityczne. Dodałem przykład, aby to zilustrować.

— Tom Minka,

Dzięki. Być może jest to prawda asymptotycznie? Zatem warunkowanie na sumy marginesów jest takie samo jak warunkowanie na rozkładach marginesów (po normalizacji), a prawdopodobieństwo logarytmiczne dla każdej nieobserwowanej tabeli liczb całkowitych jest proporcjonalne do jej entropii. Może więc coś z AEP?

— RS

Jak wskazał @Glen_b, nie jest to wystarczająco określone. Nie sądzę, abyś mógł wykorzystać maksymalne prawdopodobieństwo, chyba że możesz w pełni określić prawdopodobieństwo.

Jeśli byłeś gotów założyć niezależność, problem jest dość prosty (nawiasem mówiąc, myślę, że rozwiązaniem byłoby zaproponowane maksymalne rozwiązanie entropii). Jeśli nie chcesz ani nie jesteś w stanie narzucić dodatkowej struktury w swoim problemie i nadal chcesz jakieś przybliżenie wartości komórek, być może możesz użyć granic kopuły Frécheta – Hoeffdinga . Bez dodatkowych założeń nie sądzę, abyś mógł pójść dalej.

— F. Tusell
źródło

Prawdopodobieństwo tego może być wielomianowe. Dlaczego to nie wystarcza?

— RS

Jak rozumiem, prawdopodobieństwo jest funkcją parametrów podanych danych. Tutaj nie masz wartości dla każdej komórki, tylko marginesy, dlatego nie masz jednej funkcji parametrów, którą możesz obliczyć, a co dopiero maksymalizować. Zasadniczo istnieje wiele konfiguracji komórek zgodnych z marginesami i każda daje inne prawdopodobieństwo.

— F. Tusell,

Tak, ale w porządku. Parametry to , dane to marginesy. Nadal mogę obliczyć prawdopodobieństwo podanych marginesów - jest to suma wszystkich prawdopodobieństw konfiguracji komórek, które dają marginesy. To jedna funkcja, którą mogę zmaksymalizować.

p

$p$

p

$p$

— RS

Edycja: Ta odpowiedź opiera się na niepoprawnym założeniu, że prawdopodobieństwo podanych wartości krańcowych jest tylko funkcją prawdopodobieństw krańcowych i . Nadal o tym myślę. $p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Następują złe rzeczy:

Jak wspomniano w komentarzu, problem ze znalezieniem „estymatora największego prawdopodobieństwa dla polega na tym, że nie jest on unikalny. Rozważmy na przykład przypadek z binarnymi i marginesami . Dwa estymatory $p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

mają te same krańcowe prawdopodobieństwa i we wszystkich przypadkach, a zatem mają równe prawdopodobieństwo (oba z nich maksymalizują funkcję prawdopodobieństwa, jak można zweryfikować). $p_x$ $p_y$

Rzeczywiście, bez względu na marginesy (o ile dwa z nich są niezerowe w każdym wymiarze), rozwiązanie maksymalnego prawdopodobieństwa nie jest unikalne. Udowodnię to w przypadku pliku binarnego. Niech będzie rozwiązaniem o najwyższym prawdopodobieństwie. Bez utraty ogólności załóżmy, że . Zatem ma te same marginesy, a zatem jest również rozwiązaniem o najwyższym prawdopodobieństwie. $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

Jeśli chcesz dodatkowo zastosować ograniczenie maksymalnej entropii, otrzymujesz unikalne rozwiązanie, które, jak stwierdził F. Tussell, jest rozwiązaniem, w którym są niezależne. Możesz to zobaczyć w następujący sposób: $X, Y$

Entropia rozkładu to ; maksymalizacja z zastrzeżeniem i (równoważnie, gdzie i ) stosując mnożników Lagrange podaje równanie: $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

Wszystkie gradienty każdego wynoszą 1, więc współdziała to $g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

plus oryginalne ograniczenia i . Możesz sprawdzić, czy jest to spełnione, gdy oraz , dając $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— Ben Kuhn
źródło

W pierwszym przykładzie: podane są liczby krańcowe , a nie krańcowe prawdopodobieństwa. W opisanym przypadku prawdopodobieństwo dla lewego oznacza prawdopodobieństwo które wynosi . Dla prawej jest to , czyli . Nawet jeśli nie ma unikalnego rozwiązania, nie oznacza to, że nie możemy wskazać jakiegoś rozwiązania. Maksymalna entropia daje unikalne rozwiązanie, ale może nie być maksymalnego prawdopodobieństwa.

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

— RS

Niepoprawnie obliczyłeś prawdopodobieństwa; na przykład zapomniałeś podać współczynniki dwumianowe. Ale masz rację, że dwie macierze dają różne wspólne rozkłady wartości krańcowych, nawet jeśli dają taki sam rozkład krańcowy liczb krańcowych. (Yikes!) Pomyślę o tym więcej.

— Ben Kuhn