Natknąłem się na termin zakłopotanie, które odnosi się do uśrednionego logarytmicznie odwrotnego prawdopodobieństwa na niewidzialnych danych. Artykuł Wikipedii na temat zakłopotania nie nadaje temu samemu intuicyjnego znaczenia.

Tę miarę zakłopotania wykorzystano w pracy pLSA .

Czy ktoś może wyjaśnić potrzebę i intuicyjne znaczenie pomiaru zakłopotania ?

Przeglądałeś artykuł Wikipedii na temat zakłopotania . Daje to kłopot z dyskretnym rozkładem jako

$$2^{-\sum_x p(x)\log_2 p(x)}$$

który można również zapisać jako

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

tj. jako ważona średnia geometryczna odwrotności prawdopodobieństw. W przypadku ciągłego rozkładu suma zamieniłaby się w całkę.

W artykule podano również sposób oszacowania zakłopotania dla modelu przy użyciu fragmentów danych testowych$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

które można również napisać

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

lub na wiele innych sposobów, a to powinno sprawić, że będzie jeszcze bardziej jasne, skąd pochodzi „log-średnie odwrotne prawdopodobieństwo”.

Uznałem to za dość intuicyjne:

Zakłopotanie wszystkiego, co oceniasz, na podstawie danych, które oceniasz, w pewnym sensie mówi ci, że „ta rzecz ma rację tak często, jak byłaby to kość x”.

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Też się zastanawiałem. Pierwsze wytłumaczenie nie jest złe, ale oto moje 2 naty za cokolwiek, co jest warte.

---

Po pierwsze, zakłopotanie nie ma nic wspólnego z określaniem, jak często odgadujesz coś dobrze. Ma to więcej wspólnego z charakteryzowaniem złożoności sekwencji stochastycznej.

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Najpierw anulujmy dziennik i potęgowanie.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Myślę, że warto zauważyć, że zakłopotanie jest niezmienne w stosunku do bazy, której używasz do definiowania entropii. W tym sensie zakłopotanie jest nieskończenie bardziej wyjątkowe / mniej arbitralne niż entropia jako miara.

Związek z kościami

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Tak więc zakłopotanie reprezentuje liczbę boków uczciwej kości, która po rzuceniu tworzy sekwencję z taką samą entropią, jak podany rozkład prawdopodobieństwa.

Liczba stanów

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

Kiedy sprawiasz, że przewracanie jednej strony kostki staje się coraz bardziej mało prawdopodobne, zakłopotanie kończy się na tym, że ta strona nie istnieje.

$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

Aby wyjaśnić, zakłopotanie jednolitym rozkładem X to po prostu | X | liczba elementów. Jeśli spróbujemy odgadnąć wartości, które przyjmą próbki z jednolitego rozkładu X, po prostu dokonując domysłów z X, będziemy poprawni 1 / | X | = 1 / zakłopotanie czasu. Ponieważ rozkład jednorodny jest najtrudniejszy do odgadnięcia, możemy użyć 1 / zakłopotanie jako dolnej granicy / heurystycznego przybliżenia tego, jak często nasze domysły będą prawidłowe.