KL ma głębokie znaczenie, gdy wizualizujesz zestaw zębów jako kolektor w tensorze metrycznym Fishera, daje on odległość geodezyjną między dwoma „bliskimi” rozkładami. Formalnie:
ds2=2KL(p(x,θ),p(x,θ+dθ))
Poniższe wiersze mają wyjaśnić szczegółowo, co należy rozumieć przez te matematyczne formuły.
Definicja metryki Fishera.
Rozważ sparametryzowaną rodzinę rozkładów prawdopodobieństwa (daną przez gęstości w R n ), gdzie x jest zmienną losową, a theta jest parametrem w R p . Wszyscy możecie wiedzieć, że macierz informacji Fishera F = ( F i j ) jestD=(f(x,θ))RnxRpF= ( F.I j)
faI j= E[ d( logfa( x , θ ) ) / dθjare( logfa( x , θ ) ) / dθjot]
Z tą notacją jest kolektorem riemannowskim, a F ( θ )refa( θ ) jest tensorem metrycznym Riemanniana. (Zainteresowanie tą metryką wyraża twierdzenie Cramera Rao o dolnej granicy)
Możesz powiedzieć ... OK abstrakcja matematyczna, ale gdzie jest KL?
To nie jest abstrakcja matematyczna, jeśli można naprawdę wyobrazić sobie sparametryzowaną gęstość jako krzywą (zamiast podzbioru przestrzeni o nieskończonym wymiarze), a F 11 jest połączony z krzywizną tej krzywej ... (patrz seminarium dokument Bradley Efron http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )p = 1fa11
Geometryczna odpowiedź na część punktu a / w twoim pytaniu: kwadratowa odległość między dwoma (bliskimi) rozkładami p ( x , θ ) i p ( x , θ + d θ ) na kolektorze (pomyśl o odległości geodezyjnej na Ziemia dwóch bliskich punktów, jest związana z krzywizną ziemi) jest podana przez formę kwadratową:res2)p ( x , θ )p ( x , θ + dθ )
res2)= ∑ F.I jreθjareθjot
i wiadomo, że jest to podwójna dywergencja Kullbacka Leiblera:
res2)= 2 K.L ( p ( x , θ ) , p ( x , θ + dθ ) )
Jeśli chcesz dowiedzieć się więcej na ten temat, proponuję przeczytać artykuł Amari
http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779
(Myślę, że jest też książka Amari o geometria riemanniana w statystyce, ale nie pamiętam nazwy)