Rozbieżność KL jest różnicą całek formy
$$ \ eqalign {I (a, b, c, d) & = \ int_0 ^ {\ infty} \ log \ left (\ frac {e ^ {- x / a} x ^ {b-1}} {a ^ b \ Gamma (b)} \ right) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} dx \
& = - \ frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ Gamma (d)} \, dx - \ log (a ^ b \ Gamma (b)) \ int_0 ^ \ infty \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \ & \ quad + (b- 1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx \
& = - \ frac {cd} {a} - \ log (a ^ b \ Gamma (b)) + (b-1) \ int_0 ^ \ infty \ log (x) \ frac {e ^ {- x / c } x ^ {d-1}} {c ^ d \ Gamma (d)} \, dx} $$
Musimy tylko poradzić sobie z całką prawej ręki, którą uzyskuje się przez obserwację
∂∂dΓ(d)====∂∂d∫∞0e−x/cxd−1cddx∂∂d∫∞0e−x/c(x/c)d−1cdx∫∞0e−x/cxd−1cdlogxcdx∫∞0log(x)e−x/cxd−1cddx−log(c)Γ(d).
Skąd
b−1Γ(d)∫∞0log(x)e−x/c(x/c)d−1dx=(b−1)Γ′(d)Γ(d)+(b−1)log(c).
Podłączenie do poprzednich zbiorów
I(a,b,c,d)=−cda−log(abΓ(b))+(b−1)Γ′(d)Γ(d)+(b−1)log(c).
Rozbieżność KL pomiędzy i Γ ( a , b ) jest równa I ( c , d , c , d ) - I ( a , b , c , d ) , co jest łatwe do złożenia.Γ(c,d)Γ(a,b)I(c,d,c,d)−I(a,b,c,d)
Szczegóły dotyczące wdrożenia
Funkcje gamma rosną szybko, więc aby uniknąć przepełnienia, nie obliczaj gamma i przyjmuj jej logarytm: zamiast tego użyj funkcji log-gamma, która znajdzie się na dowolnej platformie obliczeń statystycznych (w tym Excelu).
Stosunek jest pochodną logarytmiczną y , ogólnie nazywane ψ , digamma funkcję. Jeśli nie jest on dostępny, istnieją stosunkowo proste sposoby jego przybliżenia, jak opisano w artykule w WikipediiΓ′(d)/Γ(d)Γ,ψ, .
Tutaj, aby zilustrować, jest bezpośrednim R
wdrożenie wzoru pod względem . Nie wykorzystuje to okazji do algebraicznego uproszczenia wyniku, co uczyniłoby go nieco bardziej wydajnym (poprzez wyeliminowanie zbędnego obliczania ψ ).Iψ
#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
i <- function(a,b,c,d)
- c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)