Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?

Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?

$$\int f(x)^2 dx$$

Niech oznacza funkcję gęstości prawdopodobieństwa (odpowiednio w odniesieniu do Lebesgue'a lub miary zliczania), ilość jest znana jako entropia Renyi rzędu . Jest to uogólnienie entropii Shannona, która zachowuje wiele takich samych właściwości. W przypadku interpretujemy jako , co odpowiada standardowej entropii Shannona .$f$$\newcommand{\rd}{\mathrm{d}}$

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Renyi przedstawił to w swoim artykule

A. Renyi, O miarach informacji i entropii , Proc. 4. Berkeley Symp. na Math., Stat. i Prob. (1960), s. 547–561.

które warto przeczytać, nie tylko ze względu na pomysły, ale także na przykładowy styl ekspozycji.

Przypadek jest jedną z bardziej powszechnych opcji a ten szczególny przypadek jest (również) często określany jako entropia Renyi. Widzimy tutaj, że dla zmienna losowa dystrybuowana z gęstością .$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

Zauważ, że jest funkcją wypukłą, a zatem, z powodu nierówności Jensena mamy gdzie prawa strona oznacza entropię Shannona. Stąd entropia Renyi stanowi dolną granicę dla entropii Shannona i, w wielu przypadkach, jest łatwiejsza do obliczenia.$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

Innym naturalnym przypadkiem, w którym powstaje entropia Renyi, jest rozważenie dyskretnej zmiennej losowej i niezależnej kopii . W niektórych scenariuszach chcemy poznać prawdopodobieństwo, że , która według elementarnego obliczenia to $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

Tutaj oznacza gęstość w odniesieniu do miary liczenia na zbiorze wartości .$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

(Ogólna) entropia Renyi jest również najwyraźniej związana z energią swobodną układu w równowadze termicznej, chociaż osobiście nie jestem tego przekonany. (Bardzo) najnowszy artykuł na ten temat to

JC Baez, entropia Renyi i energia swobodna , arXiv [quant-ph] 1101.2098 (luty 2011).