Dlaczego używamy dywergencji Kullbacka-Leiblera zamiast funkcji entropii krzyżowej w funkcji celu t-SNE?


39

Moim zdaniem rozbieżność KL od rozkładu próbki do rozkładu rzeczywistego jest po prostu różnicą między entropią krzyżową a entropią.

Dlaczego używamy entropii krzyżowej jako funkcji kosztów w wielu modelach uczenia maszynowego, a dywergencji Kullbacka-Leiblera w t-sne? Czy jest jakaś różnica w szybkości uczenia się?


Odpowiedzi:


81

Rozbieżność KL jest naturalnym sposobem pomiaru różnicy między dwoma rozkładami prawdopodobieństwa. Entropia rozkładu p daje minimalną możliwą liczbę bitów na komunikat, która byłaby potrzebna (średnio) do bezstratnego kodowania zdarzeń pobranych z p . Osiągnięcie tego ograniczenia wymagałoby użycia optymalnego kodu zaprojektowanego dla p , który przypisuje krótsze słowa kodowe do zdarzeń o wyższym prawdopodobieństwie. D K L ( p q ) można interpretować jako oczekiwaną liczbę dodatkowych bitów na komunikat potrzebną do zakodowania zdarzeń pochodzących z rozkładu rzeczywistego pH(p)pppDKL(pq)p, jeśli używasz optymalnego kodu dla dystrybucji zamiast p . Ma kilka dobrych właściwości do porównywania dystrybucji. Na przykład, jeśli p i q są równe, wówczas rozbieżność KL wynosi 0.qppq

H(p,q)pqDKL(pq)H(p,q)pH(p,q)qppH(p,q)p

Rozbieżność KL i entropia krzyżowa są powiązane jako:

DKL(pq)=H(p,q)H(p)

pqp

pq

pH(p)pH(p)p

pqDKL(pq)pqjipji jest dywergencją Kullbacka-Leiblera (która w tym przypadku jest równa entropii krzyżowej aż do stałej addytywnej). ”

van der Maaten i Hinton (2008) . Wizualizacja danych za pomocą t-SNE.


Czy mogę w jakiś sposób „ulubione” odpowiedzi? Chcę to zapisać, ponieważ jest to bardzo miłe wytłumaczenie
zwep

1
Dzięki, cieszę się, że ci to pomogło. Możesz zaznaczyć pytanie jako ulubione, aby zapisać cały wątek, klikając ikonę gwiazdki pod przyciskami głosowania. Możesz wyświetlić listę ulubionych na stronie swojego konta.
user20160
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.