Zmienić modelowanie procesu za pomocą rozkładu Poissona, aby zastosować ujemny rozkład dwumianowy?

$\newcommand{\P}{\mathbb{P}}$ Mamy procesu losowego, które mogą, albo nie, może wystąpić wiele razy w zadanym okresie czasu . Mamy plik danych z wcześniej istniejącego modelu tego procesu, który zapewnia prawdopodobieństwo wystąpienia wielu zdarzeń w okresie . Ten istniejący model jest stary i musimy przeprowadzać bieżące kontrole danych kanału w celu wykrycia błędów szacunkowych. Stary model generujący źródło danych (który zapewnia prawdopodobieństwo wystąpienia zdarzeń w pozostałym czasie ) ma w przybliżeniu rozkład Poissona. $T$ $0 \leq t < T$ $n$ $t$

Aby więc sprawdzić anomalie / błędy, niech $t$ będzie czasem pozostałym, a $X_t$ będzie całkowitą liczbą zdarzeń, które wystąpią w pozostałym czasie $t$ . Stary model zakłada oszacowania $\P(X_t \leq c)$ . Zatem przy naszym założeniu $X_t\sim \operatorname{Poisson}(\lambda_{t})$ mamy:

P (X_{t} \leq c) = e^{- λ} \sum_{k = 0}^{c} \frac{λ_{t}^{k}}{k!} .

$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$ Aby uzyskać naszą częstotliwość zdarzeń

λ_{t}

$\lambda_t$ z danych wyjściowych starego modelu (obserwacje

y_{t}

$y_{t}$ ), używamy podejścia do przestrzeni stanów i modelujemy relację stanu jako:

y_{t} = λ_{t} + ε_{t} (ε_{t} \sim N (0, H_{t})) .

$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$

obserwacje ze starego modelu, używając modelu przestrzeni [rozpadu stałej prędkości] do ewolucji

λ_{t}

$\lambda_t$ celu uzyskania stanu filtrowanego

E (λ_{t} | Y_{t})

$E(\lambda_t|Y_t)$ i

anomalię / błąd w szacowanej częstotliwości zdarzeń z dane kanału, jeśli

E (λ_{t} | Y_{t}) < y_{t}

$E(\lambda_t|Y_t) < y_t$ .

To podejście działa fantastycznie dobrze przy wykrywaniu błędów w szacowanych liczbach zdarzeń w pełnym okresie $T$ , ale nie tak dobrze, jeśli chcemy zrobić to samo dla innego okresu $0 \leq t < \sigma$ gdzie $\sigma < \frac{2}{3} T$ . Aby obejść ten problem, zdecydowaliśmy, że chcemy teraz przełączyć się na stosowanie ujemnego rozkładu dwumianowego, więc przyjmujemy teraz $X_t\sim NB(r, p)$ i mamy:

P (X_{t} \leq c) = p^{r} \sum_{k = 0}^{c} (1 - p)^{k} (\binom{k + r - 1}{r - 1}),

$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$ gdzie parametr

λ

$\lambda$ został zastąpiony przez

r

$r$ i

p

$p$ . Powinno to być łatwe do wdrożenia, ale mam pewne trudności z interpretacją, dlatego mam pytania, w których chciałbym pomóc:

1. Czy możemy jedynie ustawić $p = \lambda$ w ujemnym rozkładzie dwumianowym? Jeśli nie, dlaczego nie?

2. Zakładając, że możemy ustawić $p = f(\lambda)$ gdzie $f$ jest jakąś funkcją, w jaki sposób możemy poprawnie ustawić $r$ (czy musimy dopasować $r$ używając wcześniejszych zestawów danych)?

3. Czy $r$ zależy od liczby zdarzeń, których spodziewamy się podczas danego procesu?

Dodatek do wyodrębniania oszacowań dla $r$ (i $p$ ):

Zdaję sobie sprawę, że jeśli w rzeczywistości miał ten problem odwrócone, i mieliśmy liczby zdarzeń dla każdego procesu, możemy przyjąć maksymalny estymator prawdopodobieństwa dla i . Oczywiście maksymalny estymator prawdopodobieństwa istnieje tylko dla próbek, dla których wariancja próbki jest większa niż średnia próbki, ale gdyby tak było, moglibyśmy ustawić funkcję prawdopodobieństwa dla niezależnych identycznie rozmieszczonych obserwacji as: z którego możemy zapisać funkcję logarytmu wiarygodności jako: $r$ $p$ $N$ $k_1, k_2, \ldots, k_{N}$

L. (r, p) = \prod_{ja = 1}^{N.} P. (k_{ja}; r, p),

$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$

l (r, p) = \sum_{ja = 1}^{N.} \ln (Γ (k_{ja} + r)) - \sum_{i = 1}^{N} \ln (k_{i}!) - N \ln (Γ (r)) + \sum_{i = 1}^{N} k_{i} \ln (p) + N r \ln (1 - p) .

$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$ Aby znaleźć maksimum, bierzemy pochodne cząstkowe w odniesieniu do i i ustawiamy je na zero: Ustawienie i ustawienie znajdujemy:

r

$r$

p

$p$

\begin{aligned} \partial_{r} l (r, p) & = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (1 - p), \\ \partial_{p} l (r, p) & = \sum_{i = 1}^{N} k_{i} \frac{1}{p} - N r \frac{1}{1 - p} . \end{aligned}

$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$

\partial_{r} l (r, p) = \partial_{p} l (r, p) = 0

$\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$

p = \sum_{i = 1}^{N} \frac{k_{i}}{(N r + \sum_{i = 1}^{N} k_{i})},

$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$

\partial_{r} l (r, p) = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (\frac{r}{r + \sum_{i = 1}^{N} \frac{k_{i}}{N}}) = 0.

$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$ To równanie nie może być rozwiązane dla rw postaci zamkniętej przy użyciu Newtona lub nawet EM. W tej sytuacji tak jednak nie jest. Chociaż moglibyśmy użyć danych z przeszłości, aby uzyskać statyczne wartości i tak naprawdę nie ma to żadnego zastosowania w naszym procesie, musimy dostosować te parametry w czasie, tak jak to zrobiliśmy za pomocą Poissona.

r

$r$

p

$p$

— Księżycowy rycerz
źródło

Dlaczego nie podłączyć danych do modelu regresji Poissona lub ujemnej dwumianowej?

— StatsStudent

Nie czuję powinien mieć do użycia. Biorąc pod uwagę, że Poisson jest ograniczającym przypadkiem ujemnego dwumianu, powinien istnieć sposób na sparametryzowanie tego problemu w podobny sposób, jaki zrobiłem dla Poissona. Ponadto proces ten zachodzi jednocześnie dla tysięcy procesów różnicowych i żaden z nich nie ma tej samej „częstotliwości zdarzeń”, co oznacza, że analiza regresji dla tych parametrów musiałaby być wykonywana przy każdej nowej obserwacji dla wszystkich procesów na żywo. To nie jest możliwe. Bardzo dziękuję za

— poświęcenie

Jeśli chodzi o powiązanie poissona z NB, jeśli masz z ukrytą zmienną dyspersji , aby i . To da marginalny rozkład NB po zintegrowaniu . Możesz użyć tego, aby pomóc.

(X_{t} | λ_{t}, r_{t}, g_{t}) \sim P o i s (λ_{t} g_{t})

$(X_t|\lambda_t,r_t,g_t)\sim Pois (\lambda_tg_t)$

(g_{t} | r_{t}) \sim G a m m a (r_{t}, r_{t})

$(g_t|r_t)\sim Gamma (r_t,r_t)$

E (g_{t}) = 1

$E (g_t)=1$

v a r (g_{t}) = r_{t}^{- 1}

$var(g_t)=r_t^{-1}$

g_{t}

$g_t$

— probabilityislogic

To świetna pomoc, ale czy potrafisz to jeszcze bardziej rozwinąć i podać pewne wyraźne szczegóły? Dziękuję bardzo za

— poświęcony

Co powiesz na użycie dwumianu zamiast ujemnego dwumianu? To może być łatwiejsze do zrobienia. Anscombe FJ. Transformacja danych Poissona, danych dwumianowych i ujemno-dwumianowych. Biometrika. 1948; 35: 246–54.

— Carl

Ujemny rozkład dwumianowy jest bardzo podobny do dwumianowego modelu prawdopodobieństwa. ma zastosowanie, gdy spełnione są następujące założenia (warunki) 1) Każdy eksperyment jest przeprowadzany w tych samych warunkach, aż do osiągnięcia określonej liczby sukcesów, powiedzmy C, 2) Wynik każdego eksperymentu można zaklasyfikować do jednej z dwóch kategorii , sukces lub porażka 3) Prawdopodobieństwo P sukcesu jest takie samo dla każdego eksperymentu 40 Każdy eksperyment jest niezależny od pozostałych. Pierwszy warunek jest jedynym kluczowym czynnikiem odróżniającym dwumianowy od ujemnego dwumianowego

— Vishwa Dharma
źródło

Rozkład Poissona może być rozsądnym przybliżeniem dwumianu w pewnych warunkach, takich jak 1) Prawdopodobieństwo sukcesu dla każdej próby jest bardzo małe. P -> 0 2) np = m (powiedzmy) jest drobna Reguła najczęściej stosowana przez statystyków jest taka, że poissona jest dobrym przybliżeniem dwumianu, gdy n jest równe lub większe niż 20, a p jest równe lub mniejsze niż 5 %

— Vishwa Dharma
źródło