Czy istnieje jakaś odległość prawdopodobieństwa, która zachowuje wszystkie właściwości metryki?


13

Badając odległość Kullbacka – Leiblera, bardzo szybko dowiadujemy się dwóch rzeczy, że nie szanuje ani nierówności trójkąta, ani symetrii, wymaganych właściwości metryki.

Moje pytanie dotyczy tego, czy istnieje metryka funkcji gęstości prawdopodobieństwa, która spełnia wszystkie ograniczenia metryki .


Skupienie się na gęstości prawdopodobieństwa jest skupieniem się na „złym” obiekcie. Jeśli chodzi o metryki, istnieją te „klasyczne”, np. Lévy (i powiązana metryka Ky Fan na zmiennych losowych), Wasserstein oraz te bliższe duchem KL, np. Dywergencja Jensena-Shannona . Choć przeważnie pomijane historycznie należy pamiętać, że w oryginalnym papierze KL The rozbieżność KL rzeczywiście był symetryczny (choć nadal nie metryki).
kardynał

1
@ kardynał, cóż, nie jestem zbytnio w terenie, czy możesz zasugerować „właściwy” obiekt?
Jorge Leitao

2
JC: Przepraszam, pole komentarza stało się za małe na wszystko, co próbowałem tam zmieścić. Powinienem był opracować. Funkcja skumulowanego rozkładu okazuje się bardziej ogólnym i naturalnym przedmiotem badań. :-)
kardynał

@ kardynał dlaczego? ;)
Jorge Leitao

Odpowiedzi:


19

L2


2
To dobry papier - szczególnie rysunek 1. Zapisuję jego kopię na przyszłość.
Pat


1

Istnieją pewne modyfikacje dywergencji KL, które powodują, że nabywa ona niektóre właściwości metryki (choć nie wszystkie).

Na przykład dywergencja Jeffreya modyfikuje dywergencję KL, aby była symetryczna.

Istnieją pewne szczególne przypadki, patrz [1]: „Niestety, tradycyjne miary oparte na dywergencji Kullbacka – Leiblera (KL) i odległości Bhattacharyya nie spełniają wszystkich aksjomatów metrycznych niezbędnych dla wielu algorytmów. W tym artykule proponujemy modyfikację KL rozbieżność i odległość Bhattacharyya dla wielowymiarowych gęstości Gaussa, które przekształcają te dwie miary w wskaźniki odległości ”.

[1] K. Abou-Moustafa i F. Ferrie, „Nota o właściwościach metrycznych niektórych miar rozbieżności: przypadek Gaussa”, JMLR: Workshop and Conference Proceedings 25: 1–15, 2012.


Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.