Pytania otagowane jako kullback-leibler

Muszę ustalić rozbieżność KL między dwoma Gaussami. Porównuję moje wyniki z tymi , ale nie mogę odtworzyć ich wyników. Mój wynik jest oczywiście błędny, ponieważ KL nie jest równe 0 dla KL (p, p). Zastanawiam się, gdzie popełniam błąd i pytam, czy ktokolwiek może to zauważyć. Niech p(x)=N(μ1,σ1)p(x)=N(μ1,σ1)p(x) = N(\mu_1, …

79 normal-distribution  kullback-leibler 

Dowiedziałem się o intuicji stojącej za dywergencją KL, jak bardzo funkcja rozkładu modelu różni się od teoretycznego / prawdziwego rozkładu danych. Źródłem Czytam mówi dalej, że intuicyjne rozumienie „odległość” między tymi dwoma dystrybucjami jest pomocny, ale nie powinny być brane dosłownie, bo dla dwóch rozkładów i , KL Rozbieżność nie …

47 distributions  distance  intuition  kullback-leibler 

Mam problem z wyprowadzeniem formuły dywergencji KL przy założeniu dwóch normalnych rozkładów wielowymiarowych. Zrobiłem przypadek jednoznaczny dość łatwo. Minęło jednak sporo czasu, odkąd wziąłem statystyki matematyczne, więc mam problem z rozszerzeniem go na przypadek wielowymiarowy. Jestem pewien, że brakuje mi czegoś prostego. Oto co mam ... Załóżmy, że zarówno jak …

46 normal-distribution  kullback-leibler  proof 

Moim zdaniem rozbieżność KL od rozkładu próbki do rozkładu rzeczywistego jest po prostu różnicą między entropią krzyżową a entropią. Dlaczego używamy entropii krzyżowej jako funkcji kosztów w wielu modelach uczenia maszynowego, a dywergencji Kullbacka-Leiblera w t-sne? Czy jest jakaś różnica w szybkości uczenia się?

39 kullback-leibler  tsne  cross-entropy 

Widzę, że istnieje wiele formalnych różnic między miarami odległości Kullback – Leibler vs. Kołmogorow-Smirnov. Oba są jednak używane do pomiaru odległości między rozkładami. Czy istnieje typowa sytuacja, w której należy użyć jednej zamiast drugiej? Jakie jest uzasadnienie tego?

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Szukam intuicyjnego wyjaśnienia następujących pytań: W statystyce i teorii informacji, jaka jest różnica między odległością Bhattaczarji a dywergencją KL, jako miary różnicy między dwoma dyskretnymi rozkładami prawdopodobieństwa? Czy nie mają absolutnie żadnych zależności i mierzą odległość między dwoma rozkładami prawdopodobieństwa w zupełnie inny sposób?

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Czy są jakieś miary podobieństwa lub odległości między dwiema symetrycznymi macierzami kowariancji (obie o tych samych wymiarach)? Mam tu na myśli analogie do dywergencji KL dwóch rozkładów prawdopodobieństwa lub odległości euklidesowej między wektorami, z wyjątkiem zastosowanych do macierzy. Wyobrażam sobie, że byłoby całkiem sporo pomiarów podobieństwa. Idealnie chciałbym również przetestować …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Spójrz na ten obrazek: Jeśli wyciągniemy próbkę z gęstości czerwonej, wówczas oczekuje się, że niektóre wartości będą mniejsze niż 0,25, podczas gdy niemożliwe jest wygenerowanie takiej próbki z rozkładu niebieskiego. W konsekwencji odległość Kullbacka-Leiblera od gęstości czerwonej do gęstości niebieskiej jest nieskończonością. Jednak dwie krzywe nie są tak wyraźne, w …

28 kullback-leibler 

Jaka jest praktyczna różnica między miarą Wassersteina a dywergencją Kullbacka-Leiblera ? Metryka Wassersteina jest również nazywana odległością przemieszczającego się Ziemi . Z Wikipedii: Metryka Wassersteina (lub Vasersteina) jest funkcją odległości zdefiniowaną między rozkładami prawdopodobieństwa w danej przestrzeni metrycznej M. i Rozbieżność Kullbacka – Leiblera jest miarą tego, jak jeden rozkład …

25 distributions  kullback-leibler  metric  wasserstein 

Po długim przeszukiwaniu Cross Validated nadal nie czuję, że jestem bliżej zrozumienia dywergencji KL poza sferą teorii informacji. To dość dziwne, gdy ktoś z wykształceniem matematycznym łatwiej jest zrozumieć wyjaśnienie teorii informacji. Podsumowując moje rozumienie na podstawie teorii informacji: jeśli mamy zmienną losową o skończonej liczbie wyników, istnieje optymalne kodowanie, …

23 inference  entropy  information-theory  kullback-leibler  compression 

Studiuję drzewa klasyfikacji i regresji, a jedną z miar podziału lokalizacji jest wynik GINI. Teraz jestem przyzwyczajony do określania najlepszego podziału lokalizacji, gdy logarytm stosunku prawdopodobieństwa tych samych danych między dwiema dystrybucjami wynosi zero, co oznacza, że ​​prawdopodobieństwo członkostwa jest równie prawdopodobne. Moja intuicja mówi, że musi istnieć jakieś połączenie, …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Czy ktoś może udowodnić następujący związek między wskaźnikiem informacji Fishera a względną entropią (lub dywergencją KL) w czysto matematyczny, rygorystyczny sposób? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) gdzie a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Rozważmy następujące dwa rozkłady prawdopodobieństwa P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Obliczyłem dywergencję Kullbacka-Leiblera, która jest równa Chcę ogólnie wiedzieć, co pokazuje ta liczba? Zasadniczo rozbieżność Kullbacka-Leiblera pokazuje mi, jak daleko jest jeden rozkład prawdopodobieństwa od …

18 interpretation  information-theory  kullback-leibler 

Dlaczego dywergencja KL nie jest ujemna? Z punktu widzenia teorii informacji rozumiem tak intuicyjnie: Powiedzmy, że istnieją dwa zespoły AAA i BBB które składają się z tego samego zestawu elementów oznaczonych xxx . p(x)p(x)p(x) i q(x)q(x)q(x) są różne rozkłady prawdopodobieństwa ponad zespołem AAA i BBB , odpowiednio. Z punktu widzenia …

18 information-theory  kullback-leibler 

Wybór sparametryzowania rozkładu gamma Γ(b,c)Γ(b,c)\Gamma(b,c) według pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} Rozbieżność Kullbacka-Leiblera międzyΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)iΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)jest podana przez [1] as KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Zgaduję, że Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) jest funkcją digamma . Jest …

15 kullback-leibler  gamma-distribution  exponential-family