Różne definicje funkcji utraty entropii krzyżowej

Zacząłem uczyć się o sieciach neuronowych w samouczku dotyczącym sieci neuronowych i programowania. W szczególności w trzecim rozdziale znajduje się sekcja o funkcji entropii krzyżowej i definiuje utratę entropii krzyżowej jako:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Jednak, czytając wprowadzenie Tensorflow , utratę entropii krzyżowej definiuje się jako:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (przy użyciu tych samych symboli jak powyżej)

Następnie, szukając tego, co się dzieje, znalazłem inny zestaw notatek: ( https://cs231n.github.io/linear-classify/#softmax-classifier ), który wykorzystuje zupełnie inną definicję utraty entropii krzyżowej, chociaż to czas na klasyfikator softmax, a nie na sieć neuronową.

Czy ktoś może mi wyjaśnić, co się tutaj dzieje? Dlaczego występują rozbieżności? co ludzie określają jako utratę entropii? Czy istnieje jakaś nadrzędna zasada?

Te trzy definicje są zasadniczo takie same.

1) Wprowadzenie do Tensorflow ,

$$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$$

2) W przypadku klasyfikacji binarnych , staje się oraz z powodu ograniczeń i , można go przepisać jako co jest takie samo jak w rozdziale trzecim .$j=2$

$$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$$ $\sum_ja_j=1$$\sum_jy_j=1$ $$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$$

3) Ponadto, jeśli jest wektorem rozgrzanym (co często ma miejsce w przypadku etykiet klasyfikacyjnych), przy czym jest jedynym niezerowym elementem, to utrata entropii krzyżowej odpowiedniej próbki wynosi $y$$y_k$

$$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$$

W notatkach cs231 utratę entropii krzyżowej jednej próbki podano wraz z normalizacją softmax jako

$$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$$

W trzecim rozdziale równanie (63) jest entropią krzyżową stosowaną do wielu sigmoidów (które nie mogą sumować się do 1), podczas gdy we wstępie do Tensoflow entropia krzyżowa jest obliczana na warstwie wyjściowej softmax.

Jak wyjaśniono przez dontloo, obie formuły są zasadniczo równoważne dla dwóch klas, ale nie jest tak, gdy rozważa się więcej niż dwie klasy. Softmax ma sens dla multiklas z klasami wyłącznymi ( tj. Gdy jest tylko jedna etykieta na próbkę, która pozwala na jednokrotne kodowanie etykiet), podczas gdy (wielokrotne) sigmoidy mogą być użyte do opisania problemu z wieloma etykietami (tj. Z próbkami, które są prawdopodobnie pozytywne dla kilku klas).

Zobacz także inną odpowiedź dontloo .