Jak modelować sumę zmiennych losowych Bernoulliego dla danych zależnych?

Mam prawie takie same pytania: Jak mogę skutecznie modelować sumę losowych zmiennych Bernoulliego?

Ale ustawienie jest zupełnie inne:

1. $S=\sum_{i=1,N}{X_i}$ , , ~ 20, ~ 0,1$P(X_{i}=1)=p_i$$N$$p_i$

2. Mamy dane dotyczące wyników zmiennych losowych Bernoulliego: ,$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. Jeśli oszacujemy z oszacowaniem maksymalnego prawdopodobieństwa (i uzyskamy ), okaże się, że jest znacznie większy niż oczekiwane według innych kryteriów:$p_i$$\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. Tak więc i nie mogą być traktowane jako niezależne (mają małą zależność).$X_{i}$$X_{j}$ $(j>k)$

5. Istnieje kilka takich ograniczeń: i (znane), które powinny pomóc w oszacowaniu .$p_{i+1} \ge p_i$$\sum_{s \le 2}\hat P\{S=s\}=A$$P\{S\}$

Jak moglibyśmy spróbować modelować sumę losowych zmiennych Bernoulliego w tym przypadku?

Jaka literatura może być przydatna do rozwiązania zadania?

AKTUALIZACJA

Istnieje kilka innych pomysłów:

(1) Można założyć, że nieznana zależność między ${X_i}$zaczyna się po 1 lub więcej sukcesach w serii. Więc kiedy$\sum_{i=1,K}{X_i} > 0$, $p_{K+1} \to p'_{K+1}$ i $p'_{K+1} < p_{K+1}$.

(2) Aby korzystać z MLE, potrzebujemy najmniej wątpliwego modelu. Oto wariant:

$P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$if dla dowolnego k $\sum_{i=1,k}{X_i} = 0$$P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$ jeśli$\sum_{i=1,k-1}{X_i} = 0$i , a dla dowolnego k.$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

(3) Ponieważ interesujemy się tylko , możemy ustawić (prawdopodobieństwo sukcesów dla sum N- (k + 1) +1 od ogona). I użyj parametryzacji$P\{S\}$$P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) Użyj MLE dla modelu opartego na parametrach i z dla (i dowolnego ) oraz niektórych innych ograniczeń natywnych .$p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

Czy wszystko jest w porządku z tym planem?

AKTUALIZACJA 2

Niektóre przykłady rozkładu empirycznego (czerwony) w porównaniu z rozkładem Poissona (niebieski) (średnie Poissona to 2,22 i 2,45, rozmiary próbek to 332 i 259):$P\{S\}$

Dla próbek (A1, A2) ze środkami Poissona 2.28 i 2.51 (wielkości próbek wynoszą 303 i 249):

W przypadku połączonych próbek A1 + A2 (wielkość próby wynosi 552):

Wygląda na to, że poprawka Poissona powinna być najlepszym modelem :).

Jednym podejściem byłoby modelowanie za pomocą uogólnionego modelu liniowego (GLM). W tym przypadku sformułujesz , prawdopodobieństwo sukcesu w próbie jako funkcję (logistyczną liniową) najnowszej historii obserwacji. Więc zasadniczo dopasowujesz autoregresyjny GLM, w którym szum to Bernoulli, a funkcja link jest logit. Konfiguracja jest następująca:$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ , gdzie

$f(x) = \frac{1}{1+\exp(x)}$ i

$X_i \sim Bernoulli(p_i)$

Parametry modelu to , które można oszacować za pomocą regresji logistycznej. (Wszystko, co musisz zrobić, to skonfigurować macierz projektową przy użyciu odpowiedniej części historii obserwacji na każdej próbie i przekazać ją do funkcji szacowania regresji logistycznej; prawdopodobieństwo logarytmiczne jest wklęsłe, więc istnieje unikalne globalne maksimum dla parametrów). Jeżeli wyniki są rzeczywiście niezależne, wówczas wartości zostaną ustawione na zero; dodatnie oznacza, że ​​kolejne wzrastają za każdym razem, gdy obserwuje się sukces.$\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

Model nie zapewnić ekspresję proste dla prawdopodobieństwa nad sumy z jest, ale jest łatwo obliczyć na podstawie symulacji (filtr cząsteczek lub MCMC), ponieważ model ten prosty Markowian strukturę.$X_i$

Ten rodzaj modelu z dużym powodzeniem wykorzystano do modelowania zależności czasowych między „skokami” neuronów w mózgu i istnieje obszerna literatura na temat autoregresywnych modeli procesów punktowych. Patrz np. Truccolo i in. 2005 (chociaż w tym dokumencie wykorzystano Poissona zamiast prawdopodobieństwa Bernoulliego, ale mapowanie między nimi jest proste).

Jeśli zależność jest spowodowana zbijaniem, złożonym modelem Poissona może być rozwiązanie jako model $S_j$. Nieco przypadkowym odniesieniem jest ten autorstwa Barbour i Chryssaphinou.

W zupełnie innym kierunku, skoro to wskazujesz $N$ wynosi 20, a zatem względnie mały, można zbudować model graficzny $X_{ij}$, ale nie wiem, czy Twoja konfiguracja i dane to umożliwiają. Jak komentuje @chl, przydatne będzie opisanie tego, co$X_{i,j}$są.

Jeśli… $X_{i,j}$reprezentują sekwencyjne pomiary, np. w czasie, i zależność jest z tym związana, trzecią możliwością - i do pewnego stopnia kompromisem między dwiema powyższymi sugestiami - jest zastosowanie ukrytego modelu Markowa $X_{i,j}$„s.