Programowanie neural-network

6

Przeglądałem ten przykład modelu języka LSTM na github (link) . Ogólnie rzecz biorąc, jest dla mnie całkiem jasne. Ale wciąż staram się zrozumieć, co contiguous()robi wywołanie , co występuje kilka razy w kodzie. Na przykład w linii 74/75 kodu wejściowego i sekwencji docelowej LSTM są tworzone. Dane (przechowywane w ids) …

90 neural-network deep-learning lstm pytorch contiguous

5

Najczęstsze przyczyny nans podczas treningu

Zauważyłem, że pojawia się częste zjawisko podczas treningu NAN. Często wydaje się, że jest on wprowadzany przez nadmuchiwanie ciężarów w warstwach produktu wewnętrznego / w pełni połączonych lub splotowych. Czy dzieje się tak, ponieważ obliczenia gradientu wybuchają? A może jest to spowodowane inicjalizacją wagi (jeśli tak, dlaczego inicjalizacja wagi ma …

85 machine-learning neural-network deep-learning caffe gradient-descent

2

Jak wybrać stratę krzyżową entropii w TensorFlow?

Problemy klasyfikacyjne, takie jak regresja logistyczna lub wielomianowa regresja logistyczna, optymalizują utratę krzyżowej entropii . Zwykle warstwa cross-entropii podąża za warstwą softmax , co daje rozkład prawdopodobieństwa. W tensorflow istnieje co najmniej kilkanaście różnych funkcji straty krzyżowej entropii : tf.losses.softmax_cross_entropy tf.losses.sparse_softmax_cross_entropy tf.losses.sigmoid_cross_entropy tf.contrib.losses.softmax_cross_entropy tf.contrib.losses.sigmoid_cross_entropy tf.nn.softmax_cross_entropy_with_logits tf.nn.sigmoid_cross_entropy_with_logits ... Który z nich …

84 python tensorflow neural-network logistic-regression cross-entropy

7

Jak powiedzieć Kerasowi, że przestanie trenować na podstawie wartości strat?

Obecnie używam następującego kodu: callbacks = [ EarlyStopping(monitor='val_loss', patience=2, verbose=0), ModelCheckpoint(kfold_weights_path, monitor='val_loss', save_best_only=True, verbose=0), ] model.fit(X_train.astype('float32'), Y_train, batch_size=batch_size, nb_epoch=nb_epoch, shuffle=True, verbose=1, validation_data=(X_valid, Y_valid), callbacks=callbacks) Mówi Kerasowi, aby przestał trenować, jeśli straty nie poprawiły się przez 2 epoki. Ale chcę przestać trenować po tym, jak strata stała się mniejsza niż jakieś …

82 python machine-learning neural-network conv-neural-network keras

1

Jaka jest rola warstwy TimeDistributed w Keras?

Próbuję zrozumieć, co robi opakowanie TimeDistributed w Keras. Dostaję, że TimeDistributed „stosuje warstwę do każdego czasowego wycinka danych wejściowych”. Ale przeprowadziłem pewien eksperyment i otrzymałem wyniki, których nie mogę zrozumieć. Krótko mówiąc, w połączeniu z warstwą LSTM, TimeDistributed i po prostu Dense dają takie same wyniki. model = Sequential() model.add(LSTM(5, …

82 python machine-learning keras neural-network deep-learning

8

Dlaczego sieć neuronowa przewiduje błędy na podstawie własnych danych treningowych?

Bounty upływa w ciągu 15 godzin . Odpowiedzi na to pytanie kwalifikują się do nagrody za reputację +150 . Sirjay szuka odpowiedzi z renomowanego źródła . Zrobiłem sieć neuronową LSTM (RNN) z nadzorowanym uczeniem się do prognozowania zapasów danych. Problem polega na tym, dlaczego źle prognozuje na podstawie własnych danych …

13 python tensorflow machine-learning keras neural-network

2

Maksymalizuj MSE modelu keras

Mam generatywne sieci przeciwników, w których dyskryminator zostaje zminimalizowany za pomocą MSE, a generator powinien zostać zmaksymalizowany. Ponieważ obaj są przeciwnikami, którzy dążą do przeciwnego celu. generator = Sequential() generator.add(Dense(units=50, activation='sigmoid', input_shape=(15,))) generator.add(Dense(units=1, activation='sigmoid')) generator.compile(loss='mse', optimizer='adam') generator.train_on_batch(x_data, y_data) Co muszę dostosować, aby uzyskać model generatora, który czerpie korzyści z wysokiej …

11 python tensorflow keras neural-network maximize

2

W jaki sposób parametry w modelu pytorch nie są listkami i znajdują się na wykresie obliczeniowym?

Próbuję zaktualizować / zmienić parametry modelu sieci neuronowej, a następnie przekazać do przodu zaktualizowaną sieć neuronową na wykresie obliczeniowym (bez względu na to, ile zmian / aktualizacji dokonamy). Wypróbowałem ten pomysł, ale za każdym razem, gdy to robię, pytorch ustawia moje zaktualizowane tensory (wewnątrz modelu) na liście, co zabija przepływ …

10 python machine-learning neural-network pytorch

3

Obiekt jest policzalny, ale nie można go indeksować?

Podsumowanie problemu i pytanie Próbuję spojrzeć na niektóre dane wewnątrz obiektu, które można wyliczyć, ale nie można ich indeksować. Nadal jestem nowy w Pythonie, ale nie rozumiem, jak to możliwe. Jeśli możesz to wyliczyć, dlaczego nie możesz uzyskać dostępu do indeksu w ten sam sposób, w jaki to robi? A …

10 python tensorflow neural-network kaggle

6

Keras, który nie obsługuje TensorFlow 2.0. Zalecamy użycie `tf.keras` lub alternatywnie obniżenie wersji do TensorFlow 1.14

Mam błąd dotyczący (Keras, który nie obsługuje TensorFlow 2.0. Zalecamy użycie tf.keraslub alternatywnie obniżenie wersji do TensorFlow 1.14.) Wszelkie zalecenia. dzięki import keras #For building the Neural Network layer by layer from keras.models import Sequential #To randomly initialize the weights to small numbers close to 0(But not 0) from keras.layers …

9 python tensorflow keras neural-network tf.keras

2

Używając modułu mózgu Gekko, w jaki sposób mogę ustalić, ile warstw i jakiego rodzaju warstwy użyć, aby rozwiązać problem głębokiego uczenia się?

Uczę się korzystać z modułu mózgu Gekko do aplikacji do głębokiego uczenia się. Konfigurowałem sieć neuronową, aby nauczyć się funkcji numpy.cos (), a następnie uzyskać podobne wyniki. Dobrze się dopasowuję, gdy granice mojego treningu są następujące: x = np.linspace(0,2*np.pi,100) Ale model rozpada się, gdy próbuję rozszerzyć granice do: x = …

9 neural-network deep-learning gekko

Pytania otagowane jako neural-network