Pytania otagowane jako kullback-leibler

Asymetryczna miara odległości (lub niepodobieństwa) między rozkładami prawdopodobieństwa. Można to zinterpretować jako wartość oczekiwaną współczynnika wiarygodności logarytmu w ramach hipotezy alternatywnej.

2
Rozbieżność KL między dwoma jednowymiarowymi gaussami
Muszę ustalić rozbieżność KL między dwoma Gaussami. Porównuję moje wyniki z tymi , ale nie mogę odtworzyć ich wyników. Mój wynik jest oczywiście błędny, ponieważ KL nie jest równe 0 dla KL (p, p). Zastanawiam się, gdzie popełniam błąd i pytam, czy ktokolwiek może to zauważyć. Niech p(x)=N(μ1,σ1)p(x)=N(μ1,σ1)p(x) = N(\mu_1, …


1
Rozbieżność KL między dwoma wielowymiarowymi gaussami
Mam problem z wyprowadzeniem formuły dywergencji KL przy założeniu dwóch normalnych rozkładów wielowymiarowych. Zrobiłem przypadek jednoznaczny dość łatwo. Minęło jednak sporo czasu, odkąd wziąłem statystyki matematyczne, więc mam problem z rozszerzeniem go na przypadek wielowymiarowy. Jestem pewien, że brakuje mi czegoś prostego. Oto co mam ... Załóżmy, że zarówno jak …



2
Różnice między odległością Bhattacharyya a dywergencją KL
Szukam intuicyjnego wyjaśnienia następujących pytań: W statystyce i teorii informacji, jaka jest różnica między odległością Bhattaczarji a dywergencją KL, jako miary różnicy między dwoma dyskretnymi rozkładami prawdopodobieństwa? Czy nie mają absolutnie żadnych zależności i mierzą odległość między dwoma rozkładami prawdopodobieństwa w zupełnie inny sposób?

4
Miary podobieństwa lub odległości między dwiema macierzami kowariancji
Czy są jakieś miary podobieństwa lub odległości między dwiema symetrycznymi macierzami kowariancji (obie o tych samych wymiarach)? Mam tu na myśli analogie do dywergencji KL dwóch rozkładów prawdopodobieństwa lub odległości euklidesowej między wektorami, z wyjątkiem zastosowanych do macierzy. Wyobrażam sobie, że byłoby całkiem sporo pomiarów podobieństwa. Idealnie chciałbym również przetestować …

4
Dostosowanie odległości Kullback-Leibler?
Spójrz na ten obrazek: Jeśli wyciągniemy próbkę z gęstości czerwonej, wówczas oczekuje się, że niektóre wartości będą mniejsze niż 0,25, podczas gdy niemożliwe jest wygenerowanie takiej próbki z rozkładu niebieskiego. W konsekwencji odległość Kullbacka-Leiblera od gęstości czerwonej do gęstości niebieskiej jest nieskończonością. Jednak dwie krzywe nie są tak wyraźne, w …

3
Jakie zalety ma metryka Wassersteina w porównaniu do dywergencji Kullbacka-Leiblera?
Jaka jest praktyczna różnica między miarą Wassersteina a dywergencją Kullbacka-Leiblera ? Metryka Wassersteina jest również nazywana odległością przemieszczającego się Ziemi . Z Wikipedii: Metryka Wassersteina (lub Vasersteina) jest funkcją odległości zdefiniowaną między rozkładami prawdopodobieństwa w danej przestrzeni metrycznej M. i Rozbieżność Kullbacka – Leiblera jest miarą tego, jak jeden rozkład …

3
Rozbieżność Kullbacka-Leiblera BEZ teorii informacji
Po długim przeszukiwaniu Cross Validated nadal nie czuję, że jestem bliżej zrozumienia dywergencji KL poza sferą teorii informacji. To dość dziwne, gdy ktoś z wykształceniem matematycznym łatwiej jest zrozumieć wyjaśnienie teorii informacji. Podsumowując moje rozumienie na podstawie teorii informacji: jeśli mamy zmienną losową o skończonej liczbie wyników, istnieje optymalne kodowanie, …

2
Jaki jest związek między wynikiem GINI a współczynnikiem logarytmu prawdopodobieństwa
Studiuję drzewa klasyfikacji i regresji, a jedną z miar podziału lokalizacji jest wynik GINI. Teraz jestem przyzwyczajony do określania najlepszego podziału lokalizacji, gdy logarytm stosunku prawdopodobieństwa tych samych danych między dwiema dystrybucjami wynosi zero, co oznacza, że ​​prawdopodobieństwo członkostwa jest równie prawdopodobne. Moja intuicja mówi, że musi istnieć jakieś połączenie, …

3
Związek między miernikiem Fishera a względną entropią
Czy ktoś może udowodnić następujący związek między wskaźnikiem informacji Fishera a względną entropią (lub dywergencją KL) w czysto matematyczny, rygorystyczny sposób? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) gdzie a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) …

3
Analiza dywergencji Kullbacka-Leiblera
Rozważmy następujące dwa rozkłady prawdopodobieństwa P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Obliczyłem dywergencję Kullbacka-Leiblera, która jest równa Chcę ogólnie wiedzieć, co pokazuje ta liczba? Zasadniczo rozbieżność Kullbacka-Leiblera pokazuje mi, jak daleko jest jeden rozkład prawdopodobieństwa od …

1
Dlaczego rozbieżność KL jest nieujemna?
Dlaczego dywergencja KL nie jest ujemna? Z punktu widzenia teorii informacji rozumiem tak intuicyjnie: Powiedzmy, że istnieją dwa zespoły AAA i BBB które składają się z tego samego zestawu elementów oznaczonych xxx . p(x)p(x)p(x) i q(x)q(x)q(x) są różne rozkłady prawdopodobieństwa ponad zespołem AAA i BBB , odpowiednio. Z punktu widzenia …

2
Rozbieżność Kullbacka – Leiblera między dwoma rozkładami gamma
Wybór sparametryzowania rozkładu gamma Γ(b,c)Γ(b,c)\Gamma(b,c) według pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} Rozbieżność Kullbacka-Leiblera międzyΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)iΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)jest podana przez [1] as KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Zgaduję, że Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) jest funkcją digamma . Jest …

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.