Co dzieje się ze współczynnikiem prawdopodobieństwa, gdy gromadzonych jest coraz więcej danych?

11

Niech $f$ , $g$ i $h$ są gęstości i załóżmy, że masz $x_i \sim h$ , $i \in \mathbb{N}$ . Co dzieje się ze współczynnikiem prawdopodobieństwa

\prod_{ja = 1}^{n} \frac{fa (x_{ja})}{sol (x_{ja})}

$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$ jak

n \to \infty

$n \rightarrow \infty$ ? (Czy to się zbiega? Do czego?)

Na przykład możemy założyć $h = g$ . Interesujący jest również ogólny przypadek.

convergence asymptotics likelihood-ratio

— Olivier
źródło

Możliwy duplikat rozbieżności Kullbacka-Leiblera BEZ teorii informacji

— Xi'an

4

@ Xi'an. Myślę, że dodanie tego pytania do SE pozwala na powiązanie między pytaniami w odpowiedzi. Chociaż mogą występować podobieństwa odpowiedzi, pytania nie są takie same.

— John

1

Dzięki za link. Pytanie to nie jest duplikatem, chociaż odpowiedzi na moje pytanie mogą dotyczyć rozbieżności Kullbacka-Leiblera.

— Olivier

15

Jeśli weźmie się logarytm tego produktu, i zamienia go w średnią

r = \log \prod_{ja = 1}^{n} \frac{fa (x_{ja})}{sol (x_{ja})} = \sum_{ja = 1}^{n} \log \frac{fa (x_{ja})}{sol (x_{ja})}

${\mathfrak{r}}=\log \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} = \sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$

stosuje się prawo wielkich liczb, stąd uzyskuje się prawie pewną zbieżność

{\bar{r}}_{n} = \frac{1}{n} \sum_{ja = 1}^{n} \log \frac{fa (x_{ja})}{sol (x_{ja})}

$\bar{\mathfrak{r}}_n=\frac{1}{n}\sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$

zakładając, że ta całka jest dobrze zdefiniowana [kontrprzykłady są łatwe do zdobycia].

{\bar{r}}_{n} \overset{tak jak}{⟶} {mi}_{h} [\log \frac{fa (X)}{sol (X)}] = \int_{X} \log \frac{fa (x)}{sol (x)} h (x) re x

$\bar{\mathfrak{r}}_n\stackrel{\text{a.s.}}{\longrightarrow}\mathbb{E}_h\left[\log \frac{f(X)}{g(X)}\right]=\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$

Na przykład, jeśli , i są gęstościami dla rozkładów normalnych ze średnimi , odpowiednio, , i zero, wszystkie z wariancją 1, wartość $f$ $g$ $h$ $\mu_1$ $\mu_2$ to

\int_{X} \log \frac{fa (x)}{sol (x)} h (x) re x

$\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$

\int_{X} {(x - μ_{1})^{2)} - (x - μ_{2)}^{2)})} φ (x) re x = μ_{1}^{2)} - μ_{2)}^{2)} .

$\int_\mathfrak{X} \{(x-\mu_1)^2-(x-\mu^2_2)\}\,\varphi(x)\,\text{d}x= \mu_1^2-\mu^2_2\,.$

Należy również zauważyć, że bez uśrednienia, iloczyn prawie na pewno zbiega się do zera (gdy

\prod_{ja = 1}^{n} \frac{fa (x_{ja})}{h (x_{ja})}

$\prod_{i=1}^n \frac{f(x_i)}{h(x_i)}$

x_{i} \sim h (x)

$x_i\sim h(x)\,$ ). Podczas gdy iloczyn

prawie na pewno zbiega się do zera lub nieskończoności w zależności od tego, czy

lub

jest bliżej

w sensie dywergencji Kullbacka-Leiblera (gdy

\prod_{ja = 1}^{n} \frac{fa (x_{ja})}{sol (x_{ja})}

$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$

g

$g$

f

$f$

h

$h$

x_{i} \sim h (x)

$x_i\sim h(x)\,$ ).

— Xi'an
źródło

g = h

$g=h$

1

f = g

$f=g$

f = h

$f=h$

g \neq h

$g\ne h$

g = h

$g=h$

f \neq h

$f\ne h$

f \neq h

$f\ne h$

f \neq g

$f\ne g$

g \neq h

$g \ne h$

f

$f$

g

$g$

h

$h$

h

$h$

1

r = n r_{n}

$\mathfrak{r}= n \mathfrak{r}_n$

0

$Z_n = \prod^n_i \frac{p(x)}{q(x)}$

{W.}_{n} = \frac{1}{n} l o sol (Z_{n}) = \frac{1}{n} \sum_{ja}^{n} l o sol (\frac{p (x)}{q (x)})

$W_n = \frac{1}{n}log(Z_n) = \frac{1}{n}\sum_i^n log(\frac{p(x)}{q(x)})$

lim_{n \to \infty} {W.}_{n} = {mi}_{q (x)} [l o sol (\frac{p (x)}{q (x)})] = \int_{X} l o sol (\frac{p (x)}{q (x)}) q (x) re x

$\lim_{n \rightarrow \infty} W_n = E_{q(x)}[log(\frac{p(x)}{q(x)})] = \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx$

$log(a) < a-1 \ \forall a > 0$ $a \neq 1$ $\frac{p(x)}{q(x)} > 0$ $p(x) \neq q(x)$

{W.}_{n} \to \int_{X} l o sol (\frac{p (x)}{q (x)}) q (x) re x < \int_{X} (\frac{p (x)}{q (x)} - 1) q (x) re x = \int_{X} p (x) re x - \int_{X} q (x) re x = 1 - 1 = 0

$W_n \rightarrow \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx < \int_\mathcal{X} (\frac{p(x)}{q(x)} - 1)q(x)dx = \int_\mathcal{X} p(x)dx - \int_\mathcal{X} q(x)dx = 1 - 1 = 0$

lim_{n \to \infty} {W.}_{n} < 0 ⟹ lim_{n \to \infty} \frac{1}{n} l o sol (Z_{n}) < 0 ⟹ lim_{n \to \infty} n \cdot \frac{1}{n} l o sol (Z_{n}) = - \infty ⟹ lim_{n \to \infty} l o sol (Z_{n}) = - \infty ⟹ lim_{n \to \infty} Z_{n} = 0 ◼

$\lim_{n \rightarrow \infty} W_n < 0 \implies \lim_{n \rightarrow \infty} \frac{1}{n}log(Z_n) < 0 \implies \lim_{n \rightarrow \infty} n \cdot \frac{1}{n}log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} Z_n = 0 \ \blacksquare$

— bgao
źródło