Dlaczego używamy dywergencji Kullbacka-Leiblera zamiast funkcji entropii krzyżowej w funkcji celu t-SNE?

Moim zdaniem rozbieżność KL od rozkładu próbki do rozkładu rzeczywistego jest po prostu różnicą między entropią krzyżową a entropią.

Dlaczego używamy entropii krzyżowej jako funkcji kosztów w wielu modelach uczenia maszynowego, a dywergencji Kullbacka-Leiblera w t-sne? Czy jest jakaś różnica w szybkości uczenia się?

kullback-leibler tsne cross-entropy

— JimSpark
źródło

Zobacz tutaj trochę intuicji na KL: stats.stackexchange.com/questions/188903/...

— kjetil b halvorsen 27.04.17

Rozbieżność KL jest naturalnym sposobem pomiaru różnicy między dwoma rozkładami prawdopodobieństwa. Entropia rozkładu daje minimalną możliwą liczbę bitów na komunikat, która byłaby potrzebna (średnio) do bezstratnego kodowania zdarzeń pobranych z . Osiągnięcie tego ograniczenia wymagałoby użycia optymalnego kodu zaprojektowanego dla , który przypisuje krótsze słowa kodowe do zdarzeń o wyższym prawdopodobieństwie. można interpretować jako oczekiwaną liczbę dodatkowych bitów na komunikat potrzebną do zakodowania zdarzeń pochodzących z rozkładu rzeczywistego $H(p)$ $p$ $p$ $p$ $D_{KL}(p \parallel q)$ $p$ , jeśli używasz optymalnego kodu dla dystrybucji zamiast . Ma kilka dobrych właściwości do porównywania dystrybucji. Na przykład, jeśli i są równe, wówczas rozbieżność KL wynosi 0. $q$ $p$ $p$ $q$

$H(p, q)$ $p$ $q$ $D_{KL}(p \parallel q)$ $H(p, q)$ $p$ $H(p, q)$ $q$ $p$ $p$ $H(p, q)$ $p$

Rozbieżność KL i entropia krzyżowa są powiązane jako:

D_{K L} (p ∥ q) = H (p, q) - H (p)

$D_{KL}(p \parallel q) = H(p, q) - H(p)$

$p$ $q$ $p$

$p$ $q$

$p$ $H(p)$ $p$ $H(p)$ $p$

$p$ $q$ $D_{KL}(p \parallel q)$ $p$ $q_{j \mid i}$ $p_{j \mid i}$ jest dywergencją Kullbacka-Leiblera (która w tym przypadku jest równa entropii krzyżowej aż do stałej addytywnej). ”

van der Maaten i Hinton (2008) . Wizualizacja danych za pomocą t-SNE.

— user20160
źródło

Czy mogę w jakiś sposób „ulubione” odpowiedzi? Chcę to zapisać, ponieważ jest to bardzo miłe wytłumaczenie

— zwep

Dzięki, cieszę się, że ci to pomogło. Możesz zaznaczyć pytanie jako ulubione, aby zapisać cały wątek, klikając ikonę gwiazdki pod przyciskami głosowania. Możesz wyświetlić listę ulubionych na stronie swojego konta.

— user20160