Teoretyczna informacja o centralnym twierdzeniu granicznym

11

Najprostsza forma teoretycznego CLT informacji jest następująca:

Niech będą równe średniej i wariancji . Niech będzie gęstością znormalizowanej sumy a będzie standardową gęstością Gaussa. Następnie teoretyczna informacja CLT stwierdza, że jeśli jest skończone dla jakiegoś , to jako . $X_1, X_2,\dots$ $0$ $1$ $f_n$ $\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$ $\phi$ $D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$ $n$ $D(f_n\|\phi)\to 0$ $n\to \infty$

Z pewnością ta konwergencja jest w pewnym sensie „silniejsza” niż dobrze ugruntowana konwergencja w literaturze, konwergencja w dystrybucji i konwergencja w $L_1$ metryczna, dzięki nierówności Pinskera $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . Oznacza to, że zbieżność w rozbieżności KL oznacza zbieżność w rozkładzie i zbieżność w odległości $L_1$ .

Chciałbym wiedzieć dwie rzeczy.

Co jest takiego wspaniałego w wyniku $D(f_n\|\phi)\to 0$ ?
Jest to po prostu ze względu na przyczyny podanej w akapicie trzecim mówimy zbieżność w KL-dywergencji ( tj , $D(f_n\|\phi)\to 0$ ) jest silniejszy?

NB: Zadałem to pytanie jakiś czas temu w mat.stackexchange, gdzie nie otrzymałem żadnej odpowiedzi.

mathematical-statistics information-theory central-limit-theorem

— Ashok
źródło

Podaj link do duplikatu pytania matematycznego.

— kardynał

6

Wydaje się, że twoje stwierdzenie domyślnie zakłada istnienie gęstości (w odniesieniu do miary Lebesgue'a). Być może zainteresuje Cię ten krótki i zachwycający artykuł: AR Barron (1986), Entropy and Central Limit Theorem Ann. Probab , tom 14, nr 1, 336–342. ( otwarty dostęp ).

— kardynał

2

Patrzyłem już na ten artykuł. W drugim akapicie strony 1. podał motywację z punktu widzenia teorii informacji. Nie było to dla mnie wtedy takie jasne. Teraz wygląda dobrze. Mimo to, jeśli można wyjaśnić następujące kwestie i opublikować jako odpowiedź, byłoby świetnie. „Z teorii informacji względna entropia jest najmniejszą górną granicą nadmiarowości (nadwyżki średniej długości opisu) kodu Shannona w oparciu o rozkład normalny przy opisie kwantyzacji próbek z .” Usunąłem to pytanie w matematyce, ponieważ nikogo tam nie przyciągnęło

D_{n}

$D_n$

f_{n}

$f_n$

— Ashok

@cardinal: tks za niezły papier.

— Zen

5

Jedną rzeczą, która jest świetna w przypadku tego twierdzenia, jest to, że sugeruje on twierdzenia o ograniczeniach w niektórych ustawieniach, w których zwykłe centralne twierdzenie o ograniczeniach nie mają zastosowania. Na przykład w sytuacjach, w których maksymalny rozkład entropii jest jakimś rozkładem nienormalnym, takim jak rozkłady na okręgu, sugeruje to zbieżność do rozkładu równomiernego.

— kjetil b halvorsen
źródło

Nie rozumiem. Jak już wspomniałem, konwergencja w dywergencji KL oznacza konwergencję w dystrybucji, rozumiesz? Niezależnie od tego, gdzie obowiązuje teoria informacji CLT, obowiązuje również zwykły CLT. Co więcej, teoretyczna informacja CLT zakłada również skończoną wariancję. A może coś mi brakuje?

— Ashok

2

Miałem na myśli to, że metoda entropii sugeruje, jaki może być limit w sytuacjach, w których limit nie jest rozkładem normalnym. Limit jest więc rozkładem, który maksymalizuje entropię.

— kjetil b halvorsen

3

Po rozejrzeniu się nie znalazłem żadnego przykładu zbieżności w rozkładzie bez zbieżności we względnej entropii, więc trudno jest zmierzyć „wielkość” tego wyniku.

Dla mnie wygląda na to, że ten wynik po prostu opisuje względną entropię produktów splotu. Jest to często postrzegane jako alternatywna interpretacja i ramy dowodowe centralnego twierdzenia granicznego i nie jestem pewien, czy ma to bezpośredni wpływ na teorię prawdopodobieństwa (nawet jeśli ma to miejsce w teorii informacji).

Z teorii informacji i centralnego twierdzenia granicznego (strona 19).

Druga zasada termodynamiki mówi, że entropia termodynamiczna zawsze wzrasta z czasem, co sugeruje pewną zbieżność ze stanem Gibbsa. Zachowanie energii oznacza, że pozostaje stała podczas tej ewolucji czasu, więc możemy od początku stwierdzić, który stan Gibbsa będzie granicą. W ten sam sposób będziemy traktować Centralne Twierdzenie Graniczne, pokazując, że entropia teoretyczna informacji wzrasta do maksimum, gdy przyjmujemy sploty, co sugeruje zbieżność z Gaussa. Odpowiednia normalizacja oznacza, że wariancja pozostaje stała podczas zwojów, dzięki czemu możemy od początku stwierdzić, który Gaussian będzie granicą. $E$

— gui11aume
źródło

2

Istnieje wiele przykładów zbieżności w rozkładzie bez zbieżności we względnej entropii - za każdym razem, gdy ma rozkład dyskretny i obowiązuje CLT.

X_{i}

$X_i$

— Mark Meckes,

1

$D(f_n\|\phi)\rightarrow 0$ zapewnia, że nie ma „odległości” między rozkładem sumy zmiennych losowych a gęstością gaussa jako tylko ze względu na definicję rozbieżności KL, więc jest to dowód samo. Być może źle zrozumiałem twoje pytanie. $n\rightarrow\infty$

O drugim punkcie, który wyznaczyłeś, odpowiedział w akapicie.

— inny użytkownik
źródło

1

Normalny (Lindberg) CLT stwierdza, że średnia próbki jest zbieżna w rozkładzie do normalnej RV. Oznacza to, że CDF zbiega się punktowo z . Istnieje subtelna teoretyczna różnica między tym a wynikiem PO, która nie znajduje odzwierciedlenia w twojej odpowiedzi tutaj.

Φ

$\Phi$

— AdamO