Programowanie cross-entropy

11

Jakie jest znaczenie słowa logits w TensorFlow?

W poniższej funkcji TensorFlow musimy zasilać aktywację sztucznych neuronów w końcowej warstwie. Że rozumiem Ale nie rozumiem, dlaczego nazywa się to logitami? Czy to nie jest funkcja matematyczna? loss_function = tf.nn.softmax_cross_entropy_with_logits( logits = last_layer, labels = target_output )

250 tensorflow machine-learning neural-network deep-learning cross-entropy

3

Jaka jest różnica między sparse_softmax_cross_entropy_with_logits i softmax_cross_entropy_with_logits?

Niedawno natknąłem się na tf.nn.sparse_softmax_cross_entropy_with_logits i nie mogę zrozumieć, jaka jest różnica w porównaniu do tf.nn.softmax_cross_entropy_with_logits . Czy jedyną różnicą jest to, że wektory szkoleniowe ymuszą być zakodowane na gorąco podczas używania sparse_softmax_cross_entropy_with_logits? Czytając API, nie mogłem znaleźć żadnej innej różnicy w porównaniu z softmax_cross_entropy_with_logits. Ale dlaczego potrzebujemy wtedy dodatkowej …

111 neural-network tensorflow softmax cross-entropy

3

Co to jest cross-entropia?

Wiem, że istnieje wiele wyjaśnień, czym jest cross-entropia, ale nadal jestem zdezorientowany. Czy jest to tylko metoda opisania funkcji straty? Czy możemy użyć algorytmu gradientu, aby znaleźć minimum za pomocą funkcji straty?

94 machine-learning cross-entropy

2

Jak wybrać stratę krzyżową entropii w TensorFlow?

Problemy klasyfikacyjne, takie jak regresja logistyczna lub wielomianowa regresja logistyczna, optymalizują utratę krzyżowej entropii . Zwykle warstwa cross-entropii podąża za warstwą softmax , co daje rozkład prawdopodobieństwa. W tensorflow istnieje co najmniej kilkanaście różnych funkcji straty krzyżowej entropii : tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ... Który z nich …

84 python tensorflow neural-network logistic-regression cross-entropy

Pytania otagowane jako cross-entropy