Czy istnieje obiektywny estymator odległości Hellingera między dwiema dystrybucjami?

W otoczeniu, w którym obserwujemy $X_1,\ldots,X_n$ rozproszone z rozkładu o gęstości $f$ , zastanawiam się, czy istnieje obiektywny estymator (oparty na $X_i$ ) odległości Hellingera do innego rozkładu o gęstości $f_0$ , mianowicie

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Xi'an
źródło

Więc f0 jest znany i naprawiony. Ale czy znany jest f lub pochodzi z rodziny parametrycznej, czy robi to w ramach nieparametrycznej ze wszystkim, co wiesz o f pochodzącym z próbki? Myślę, że to robi różnicę przy próbie odpowiedzi.

— Michael R. Chernick

@MichaelChernick: załóż, że wszystko, co wiesz o

to próbka

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Xi'an

Nie sądzę, żeby to zostało obliczone (jeśli istnieje). Jeśli istnieje, AIC ma zaginionego brata.

Atak na ten problem wydaje się możliwy, jeśli założymy, że

są dyskretne. Prowadzi to do oczywistego estymatora (oblicz odległość Hellingera między EDF i

). Bootstrapping (teoretycznie, nie poprzez symulację!) Da nam kontrolę nad możliwym uprzedzeniem, a także sposobem na zmniejszenie (a nawet wyeliminowanie) uprzedzenia. Mam nadzieję, że uda mi się odnieść dystans kwadratowy, a nie dystans, ponieważ jest on matematycznie łatwiejszy do pokonania. Założenie dyskretnego

nie stanowi problemu w aplikacjach; przestrzeń dyskretnego

jest zresztą gęstym podzbiorem.

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$

— Whuber

Przypomina mi się dowód Rosenblatta, że nie ma obiektywnego estymatora

„bona fide” . Czy możemy to przezwyciężyć i uzyskać niespieniony estymator

? Nie wiem

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Zen.

Odpowiedzi:

Dla istnieje żaden obiektywny estymator ani ani $\mathfrak{H}$ $\mathfrak{H}^2$ $f$ z dowolnego stosunkowo szerokim nieparametrycznego klasy dystrybucji.

Możemy to pokazać za pomocą pięknie prostego argumentu

Bickel and Lehmann (1969). Bezstronna ocena w rodzinach wypukłych . The Annals of Mathematical Statistics, 40 (5) 1523–1535. ( euclid projektu )

Napraw niektóre rozkłady , i o odpowiednich gęstościach , i . Niech oznaczają , niech jest nieco estymatorem na podstawie próbek IID . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Załóżmy, że jest obiektywne dla próbek z każdego podziału formy Ale potem $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$ so that

Q (α)

$Q(\alpha)$ must be a polynomial in

α

$\alpha$ of degree at most

n

$n$ .

Now, let's specialize to a reasonable case and show that the corresponding $Q$ is not polynomial.

Let $F_0$ be some distribution which has constant density on $[-1, 1]$ : $f_0(x) = c$ for all $\lvert x \rvert \le 1$ . (Its behavior outside that range doesn't matter.) Let $F$ be some distribution supported only on $[-1, 0]$ , and $G$ some distribution supported only on $[0, 1]$ .

Now

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$ where

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$ and likewise for

B_{G}

$B_G$ . Note that

B_{F} > 0

$B_F > 0$ ,

B_{G} > 0

$B_G > 0$ for any distributions

F

$F$ ,

G

$G$ which have a density.

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ is not a polynomial of any finite degree. Thus, no estimator $\hat H$ can be unbiased for $\mathfrak{H}$ on all of the distributions $M_\alpha$ with finitely many samples.

Likewise, because $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ is also not a polynomial, there is no estimator for $\mathfrak{H}^2$ which is unbiased on all of the distributions $M_\alpha$ with finitely many samples.

This excludes pretty much all reasonable nonparametric classes of distributions, except for those with densities bounded below (an assumption nonparametric analyses sometimes make). You could probably kill those classes too with a similar argument by just making the densities constant or something.

— Dougal
źródło

I don't know how to construct (if it exists) an unbiased estimator of the Hellinger distance. It seems possible to construct a consistent estimator. We have some fixed known density $f_0$ , and a random sample $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
źródło

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal