Jaka funkcja strat dla zadań klasyfikacyjnych wielu klas i wielu etykiet w sieciach neuronowych?

Uczę sieci neuronowej, aby klasyfikować zestaw obiektów do n-klas. Każdy obiekt może należeć do wielu klas jednocześnie (wiele klas, wiele etykiet).

Czytałem, że w przypadku problemów wieloklasowych ogólnie zaleca się stosowanie softmax i kategorycznej entropii krzyżowej jako funkcji straty zamiast mse i mniej więcej rozumiem dlaczego.

W przypadku mojego problemu wielu etykiet nie ma sensu stosowanie softmax, ponieważ prawdopodobieństwo każdej klasy powinno być niezależne od drugiej. Tak więc moją ostatnią warstwą są tylko jednostki sigmoidalne, które wyciskają swoje dane wejściowe w zakresie prawdopodobieństwa 0..1 dla każdej klasy.

Teraz nie jestem pewien, jakiej funkcji utraty powinienem użyć do tego. Patrząc na definicję kategorycznej crosssentropy, uważam, że nie przydałaby się ona dobrze do tego problemu, ponieważ uwzględni jedynie wyjście neuronów, które powinny wynosić 1, i ignoruje pozostałe.

Binarna entropia krzyżowa brzmi tak, jakby lepiej pasowała, ale widzę ją tylko wspomnianą w przypadku problemów z klasyfikacją binarną z jednym neuronem wyjściowym.

Używam Pythona i Keras do szkolenia na wypadek, gdyby miało to znaczenie.

Jeśli używasz keras, po prostu umieść sigmoidy na warstwie wyjściowej, a binary_crossentropy na funkcji kosztów.

$(y \cdot \ln(\text{sigmoid}(\text{logits})) + (1-y) \cdot \ln(1-\text{sigmoid}(\text{logits})))$

$n_{classes}$

Jeśli średnio do dowolnego wiersza jest przypisanych mniej etykiet, można użyć softmax_cross_entropy_with_logits, ponieważ przy tej stracie, podczas gdy klasy wzajemnie się wykluczają, ich prawdopodobieństwa nie muszą być. Wymagane jest jedynie, aby każdy wiersz etykiet był prawidłowym rozkładem prawdopodobieństwa. Jeśli nie, obliczenie gradientu będzie nieprawidłowe.

AKTUALIZACJA (18/04/18): Stara odpowiedź wciąż okazała się przydatna w moim modelu. Sztuka polega na tym, aby osobno modelować funkcję podziału i rozkład, wykorzystując w ten sposób moc softmax.

$y$$m$$y_{im}=\delta_{im}$$F(y_i,x_i)=-\log P(y_i|x_i)$$y_{im}=Z\cdot P(y_m)$ aby osiągnąć dwie właściwości:

1. $\sum_m P(y_m) = 1$
2. $Z$

$max(0.01,output)$

W praktyce wybór optymalizatora również robi ogromną różnicę. Moje doświadczenie z podejściem do faktoryzacji polega na tym, że działa najlepiej pod Adadeltą (Adagrad nie działa dla mnie, nie próbowałem jeszcze RMSprop, wydajność SGD jest zależna od parametru).

$Z$

AKTUALIZACJA : (losowo) Wydaje się, że zastosowanie procesu Dirichleta pozwoliłoby na włączenie niektórych wcześniejszych liczb etykiet?

AKTUALIZACJA : W eksperymencie zmodyfikowana dywergencja KL jest nadal skłonna do generowania wyników wielu klas, a nie wyników wielu etykiet.

(Stara odpowiedź)

Moje doświadczenie z sigmoidalną entropią krzyżową nie było zbyt przyjemne. W tej chwili używam zmodyfikowanej dywergencji KL. Przybiera formę

$\sum_x{P(x)}=2$

Improwizacja Keras

def abs_KL_div(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), None)
    y_pred = K.clip(y_pred, K.epsilon(), None)
    return K.sum( K.abs( (y_true- y_pred) * (K.log(y_true / y_pred))), axis=-1)

Nie korzystałem jeszcze z Keras. Biorąc na przykład caffe, możesz używać w SigmoidCrossEntropyLossLayerprzypadku problemów z wieloma etykietami.

Właściwie w tensorsflow nadal możesz używać sigmoid_cross_entropy_meanfunkcji obliczania strat w wielu etykietach, bardzo to potwierdzam

Jestem tu nowicjuszem, ale spróbuję spróbować z tym pytaniem. Szukałem tego samego, co Ty, i wreszcie znalazłem bardzo dobry samouczek klasyfikacji wieloklasowej Keras @ http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/ .

Autor tego samouczka używa kategorycznej funkcji utraty entropii krzyżowej, a jest inny wątek, który może pomóc ci znaleźć rozwiązanie @ tutaj .