Jak uzyskać prognozy za pomocą prognozy_generatora na temat transmisji danych testowych w Keras?

Na blogu Keras o konwencjach szkoleniowych od zera kod pokazuje tylko sieć działającą na danych szkoleniowych i walidacyjnych. Co z danymi testowymi? Czy dane walidacyjne są takie same jak dane testowe (nie sądzę). Jeśli istniał oddzielny folder testowy na podobnych liniach jak folder pociągu i sprawdzania poprawności, w jaki sposób otrzymujemy macierz nieporozumień dla danych testowych. Wiem, że do tego celu musimy użyć scikit learn lub jakiegoś innego pakietu, ale jak mogę uzyskać coś podobnego do klasowych prawdopodobieństw dla danych testowych? Mam nadzieję, że użyję tego do macierzy pomieszania.

Aby uzyskać macierz nieporozumień z danych testowych, należy przejść przez dwa kroki:

1. Wykonaj prognozy dla danych testowych

Na przykład użyj, model.predict_generatoraby przewidzieć pierwsze 2000 prawdopodobieństw z generatora testowego.

generator = datagen.flow_from_directory(
        'data/test',
        target_size=(150, 150),
        batch_size=16,
        class_mode=None,  # only data, no labels
        shuffle=False)  # keep data in same order as labels

probabilities = model.predict_generator(generator, 2000)

2. Oblicz macierz nieporozumień na podstawie prognoz etykiet

Na przykład porównaj prawdopodobieństwo z przypadkiem, że odpowiednio jest 1000 kotów i 1000 psów.

from sklearn.metrics import confusion_matrix

y_true = np.array([0] * 1000 + [1] * 1000)
y_pred = probabilities > 0.5

confusion_matrix(y_true, y_pred)

Dodatkowa uwaga na temat danych testowych i walidacyjnych

Dokumentacja Keras wykorzystuje trzy różne zestawy danych: dane treningowe, dane walidacyjne i dane testowe. Dane treningowe służą do optymalizacji parametrów modelu. Dane walidacyjne służą do dokonywania wyborów dotyczących meta-parametrów, np. Liczby epok. Po zoptymalizowaniu modelu z optymalnymi meta-parametrami dane testowe są wykorzystywane do uzyskania rzetelnego oszacowania wydajności modelu.

Oto kod, który próbowałem i pracował dla mnie:

pred= model.predict_generator(validation_generator, nb_validation_samples // batch_size)
predicted_class_indices=np.argmax(pred,axis=1)
labels = (validation_generator.class_indices)
labels2 = dict((v,k) for k,v in labels.items())
predictions = [labels[k] for k in predicted_class_indices]
print(predicted_class_indices)
print (labels)
print (predictions)

Następnie możesz użyć:

print (confusion matrix(predicted_class_indices,labels)

Upewnij się, że używasz shuffle=Falsew swoim generatorze testów (w moim przypadku jest to generator sprawdzania poprawności) i zresetuj go za pomocą validation_generator.reset()przed dokonaniem prognoz.

W przypadku macierzy pomieszania musisz użyć pakietu sklearn. Nie sądzę, że Keras może zapewnić macierz dezorientacji. Aby przewidzieć wartości w zestawie testowym, wystarczy wywołać metodę model.predict () w celu wygenerowania prognoz dla zestawu testowego. Rodzaj wartości wyjściowych zależy od typu modelu, tj. Dyskretnego lub prawdopodobieństwa.