Intuicyjnie rozumiem, dlaczego rozkład Poissona jest ograniczającym przypadkiem rozkładu dwumianowego

W „Analizie danych” DS Sivii istnieje pochodna rozkładu Poissona z rozkładu dwumianowego.

Twierdzą, że rozkład Poissona jest ograniczającym przypadkiem rozkładu dwumianowego, gdy $M\rightarrow\infty$ , gdzie $M$ jest liczbą prób.

Pytanie 1: Jak intuicyjnie zrozumieć ten argument?

Pytanie 2: Dlaczego dużymi $M$ limit $\frac{M!}{N!(M-N)!}$równa$\frac{M^{N}}{N!}$, gdzie$N$jest liczbą sukcesów wpróbach$M$? (Ten krok jest używany do wyprowadzenia).

Spróbuję prostego, intuicyjnego wyjaśnienia. Zapisz, że dla dwumianowej zmiennej losowej $X \sim \text{Bin}(n,p)$ spodziewamy się, że $n p$ a wariancja to $n p (1-p)$ . Teraz pomyśl, że $X$ rejestruje liczbę zdarzeń w bardzo dużej liczbie $n$ prób, z których każde z bardzo małym prawdopodobieństwem $p$ , tak, że jesteśmy bardzo blisko $1-p=1$ (naprawdę $\approx$ ). Mamy zatem $np=\lambda$powiedzmy, i $n p (1-p) \approx n p 1 =\lambda$ , więc zarówno średnia, jak i wariancja są równe $\lambda$ . Pamiętaj więc, że dla losowej zmiennej rozkładanej poissonem zawsze mamy średnią i wariancję równe! Jest to przynajmniej prawdopodobny argument za przybliżeniem Poissona, ale nie dowód.

Następnie spójrz na to z innego punktu widzenia, proces punktu Poissona https://en.wikipedia.org/wiki/Poisson_point_process na prawdziwej linii. Oto rozkład losowych punktów na linii, który otrzymujemy, jeśli losowe punkty wystąpią zgodnie z zasadami:

1. punkty w rozłącznych odstępach są niezależne
2. prawdopodobieństwo losowego punktu w bardzo krótkim przedziale jest proporcjonalne do długości przedziału
3. prawdopodobieństwo dwóch lub więcej punktów w bardzo krótkim przedziale wynosi zasadniczo zero.

Zatem rozkład liczby punktów w danym przedziale (niekoniecznie krótki) wynosi Poissona (z parametrem proporcjonalnym do długości). Teraz, jeśli podzielimy ten przedział na bardzo wiele, równie bardzo krótkich podinterwali ( n ), prawdopodobieństwo dwóch lub więcej punktów w danej podinterval będzie zasadniczo zerowe, więc liczba ta będzie miała, w bardzo dobrym przybliżeniu, rozkład bernolli, to znaczy Bin ( 1 , p ) , więc suma tego wszystkiego będzie Bin ( n , p ) , więc dobre przybliżenie rozkładu poissona liczby punktów w tym (długim) przedziale.$\lambda$$n$$\text{Bin}(1,p)$$\text{Bin}(n,p)$

Edytuj z @Ytsen de Boer (OP): na pytanie nr 2 zadowalająco odpowiada @ Łukasz Grad.

Pozwól, że przedstawię alternatywną heurystykę. Pokażę, jak aproksymować proces Poissona jako dwumianowy (i argumentować, że aproksymacja jest lepsza dla wielu prób o niskim prawdopodobieństwie). Dlatego rozkład dwumianowy musi mieć tendencję do rozkładu Poissona.

Powiedzmy, że wydarzenia dzieją się ze stałą szybkością w czasie. Chcemy poznać rozkład liczby zdarzeń, które miały miejsce w ciągu dnia, wiedząc, że oczekiwana liczba zdarzeń wynosi $\lambda$ .

Oczekiwana liczba zdarzeń na godzinę to $\lambda/24$ . Udawajmy, że oznacza to, że prawdopodobieństwo wystąpienia zdarzenia w danej godzinie wynosi $\lambda/24$ . [to nie do końca właściwe, ale jest to przyzwoite przybliżenie, jeśli $\lambda/24 \ll 1$ zasadzie, jeśli możemy założyć, że wiele zdarzeń nie wydarzy się w tej samej godzinie]. Następnie możemy aproksymować rozkład liczby zdarzeń jako dwumianowy z próbami $M=24$ , z których każde ma prawdopodobieństwo powodzenia $\lambda/24$ .

Poprawiamy przybliżenie, zmieniając interwał na minuty. To jest $p=\lambda/1440$ z $M=1440$ prób. Jeśli $\lambda$ jest w pobliżu, powiedzmy 10, możemy być całkiem pewni, że żadna minuta nie miała dwóch zdarzeń.

Oczywiście będzie lepiej, jeśli przejdziemy do sekund. Teraz patrzymy na $M=86400$ zdarzeń z małym prawdopodobieństwem $\lambda/86400$ .

Bez względu na to jak duże $\lambda$ jest, mogę w końcu wybrać na tyle mała $\Delta t$ taki, że jest to bardzo prawdopodobne, że nie ma dwóch zdarzeń zdarzy się w tym samym przedziale. Następnie rozkładu dwumianowego odpowiadające tym $\Delta t$ będzie doskonale pasuje do prawdziwego rozkładu Poisson'a.

Jedynym powodem, dla którego nie są dokładnie takie same, jest to, że istnieje niezerowe prawdopodobieństwo, że dwa zdarzenia wystąpią w tym samym przedziale czasu. Ale biorąc pod uwagę, że istnieje tylko około zdarzeń $\lambda$ i są one podzielone na pewną liczbę przedziałów znacznie większych niż $\lambda$ , jest mało prawdopodobne, aby jakieś dwa z nich leżały w tym samym pojemniku.

Albo innymi słowy, rozkład dwumianowy tendencję do rozkładu Poissona jako $M \to \infty$ , jeśli prawdopodobieństwo sukcesu jest $p=\lambda/M$ .

Pytanie 1

Przypomnijmy definicję rozkładu dwumianowego:

rozkład częstotliwości możliwej liczby wyników zakończonych sukcesem w danej liczbie prób, z których każda ma takie samo prawdopodobieństwo sukcesu.

Porównaj to z definicją rozkładu Poissona:

dyskretny rozkład częstotliwości, który daje prawdopodobieństwo wystąpienia szeregu niezależnych zdarzeń w ustalonym czasie .

Zasadnicza różnica między 2 polega na tym, że dwumian jest w $n$ próbach Poissona jest w okresie czasu . W jaki sposób limit może występować intuicyjnie?$t$

Powiedzmy, że musisz kontynuować próby Bernoulli przez całą wieczność. Ponadto wykonujesz na minutę. Na minutę liczysz każdy sukces. Tak więc przez całą wieczność co minutę uruchamiasz proces B i n ( p , 30 ) . W ciągu 24 godzin, masz B i n ( p , 43200 ) .$n = 30$$Bin(p,30)$$Bin(p,43200)$

Kiedy się zmęczysz, pytasz: „ile sukcesów miało miejsce między 18:00 a 19:00?”. Twoja odpowiedź może wynosić , tzn. Zapewniasz średni sukces w ciągu godziny. Brzmi dla mnie bardzo podobnie do parametru Poissona λ .$30*60*p$$\lambda$

Pytanie 2)

$$\frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \frac{M(M-1)\dots(M - N + 1)}{M^N} = 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M})$$

Biorąc limit dla ustalonego $N$

$$\lim_{M \to \infty} \frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \lim_{M \to \infty} 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M}) = 1$$

The problem is that your characterization of the Poisson as a limiting case of the binomial distribution is not quite correct as stated.

The Poisson is a limiting case of the binomial when:

$$M \to \infty \quad \color{red}{\text{and} \quad Mp \to \lambda.}$$ The second part is important. If $p$ remains fixed, the first condition implies that the rate will also increase without bound.

What the Poisson distribution assumes is that events are rare. What we mean by "rare" is not that the rate of events is small--indeed, a Poisson process may have a very high intensity $\lambda$--but rather, that the probability of an event occurring at any instant in time $[t, t + dt)$ is vanishingly small. This is in contrast to a binomial model where the probability $p$ of an event (e.g. "success") is fixed for any given trial.

To illustrate, suppose we model a series of $M$ independent Bernoulli trials each with probability of success $p$, and we look at what happens to the distribution of the number of successes $X$ as $M \to \infty$. For any $N$ as large as we please, and no matter how small $p$ is, the expected number of successes $\operatorname{E}[X] = Mp > N$ for $M > N/p$. Put another way, no matter how unlikely the probability of success, eventually you can achieve an average number of successes as large as you please if you perform sufficiently many trials. So, $M \to \infty$ (or, just saying "$M$ is large") is not enough to justify a Poisson model for $X$.

It is not difficult to algebraically establish

$$\Pr[X = x] = e^{-\lambda} \frac{\lambda^x}{x!}, \quad x = 0, 1, 2, \ldots$$ as a limiting case of $$\Pr[X = x] = \binom{M}{x} p^x (1-p)^{M-x}, \quad x = 0, 1, 2, \ldots, M$$ by setting $p = \lambda/M$ and letting $M \to \infty$. Other answers here have addressed the intuition behind this relationship and provided computational guidance as well. But it is important that $p = \lambda/M$. You can't ignore this.

I can only attempt a part answer and it is about the intuition for Question 2, not a rigorous proof.

The binomial coefficient gives you the number of samples of size $N$, from $M$, without replacement and without order.

Here though $M$ becomes so large that you may approximate the scenario as sampling with replacement in which case you get $M^N$ ordered samples. If you don't care about the order of the $N$ objects chosen this reduces to $M^N/N!$ because those $N$ objects can be ordered in $N!$ ways.

I think this is the best example that intuitively explains how binomial distribution converges to normal with large number of balls. Here, each ball has equal probability of falling on either side of the peg in each layer and all the balls have to face same number of pegs. It can be easily seen that as the number of balls goes very high the distribution of balls in different sections will be like normal distribution.

My answer to your question 2 is same as the answer given by Lukasz.