Istnieje wiele sposobów pomiaru, jak podobne są dwa rozkłady prawdopodobieństwa. Wśród metod, które są popularne (w różnych kręgach) są:
odległość Kołmogorowa: sup odległość między funkcjami rozkładu;
odległość Kantorowicza-Rubinsteina: maksymalna różnica między oczekiwaniami względem dwóch rozkładów funkcji ze stałą Lipschitza , która również okazuje się być odległością między funkcjami rozkładu;L 1
odległość ograniczona-Lipschitza: podobnie jak odległość KR, ale funkcje muszą również mieć wartość absolutną co najwyżej .
Mają różne zalety i wady. Jedynie zbieżność w znaczeniu 3. dokładnie odpowiada dokładnie zbieżności w dystrybucji; konwergencja w sensie 1. lub 2. jest ogólnie nieco silniejsza. (W szczególności, jeśli z prawdopodobieństwem , to zbiega się w rozkładzie , ale nie w odległości Kołmogorowa. Jeśli jednak rozkład granic jest ciągły, to ta patologia nie występuje. ) 1Xn0
Z punktu widzenia elementarnej teorii prawdopodobieństwa lub miary 1. jest bardzo naturalne, ponieważ porównuje prawdopodobieństwo bycia w pewnym zbiorze. Z drugiej strony bardziej wyrafinowana perspektywa probabilistyczna skupia się bardziej na oczekiwaniach niż na prawdopodobieństwach. Również z punktu widzenia analizy funkcjonalnej odległości takie jak 2. lub 3. oparte na dualności z pewną przestrzenią funkcji są bardzo atrakcyjne, ponieważ istnieje duży zestaw narzędzi matematycznych do pracy z takimi rzeczami.
Jednak moje wrażenie (popraw mnie, jeśli się mylę!) Jest takie, że w statystykach odległość Kołmogorowa jest zwykle preferowanym sposobem pomiaru podobieństwa rozkładów. Mogę zgadnąć jeden powód: jeśli jeden z rozkładów jest dyskretny ze skończonym wsparciem - w szczególności, jeśli jest to rozkład niektórych rzeczywistych danych - to odległość Kołmogorowa do rozkładu modelu jest łatwa do obliczenia. (Odległość KR byłaby nieco trudniejsza do obliczenia, a odległość BL prawdopodobnie byłaby niemożliwa w praktyce.)
Moje pytanie (na koniec) brzmi: czy istnieją inne powody, praktyczne lub teoretyczne, aby faworyzować odległość Kołmogorowa (lub inną odległość) do celów statystycznych?