Programowanie deep-learning

2

Wiele do jednego i wiele do wielu przykładów LSTM w Keras

Próbuję zrozumieć LSTM i jak je zbudować za pomocą Keras. Dowiedziałem się, że są zasadniczo 4 tryby do uruchomienia RNN (4 właściwe na zdjęciu) Źródło obrazu: Andrej Karpathy Teraz zastanawiam się, jak wyglądałby minimalistyczny fragment kodu dla każdego z nich w Keras. Więc coś w stylu model = Sequential() model.add(LSTM(128, …

108 machine-learning neural-network deep-learning keras recurrent-neural-network

4

wielowarstwowa architektura perceptronu (MLP): kryteria wyboru liczby warstw ukrytych i rozmiaru warstwy ukrytej?

Jeśli mamy 10 wektorów własnych, to możemy mieć 10 węzłów neuronowych w warstwie wejściowej. Jeśli mamy 5 klas wyjściowych, to możemy mieć 5 węzłów w warstwie wyjściowej, ale jakie są kryteria wyboru liczby ukrytych warstw w MLP i ile neuronów węzły w 1 ukrytej warstwie?

104 machine-learning neural-network deep-learning perceptron

1

Jakich parametrów należy użyć do wczesnego zatrzymania?

Trenuję sieć neuronową dla mojego projektu przy użyciu Keras. Keras zapewnia funkcję wczesnego zatrzymywania. Czy mogę wiedzieć, jakie parametry należy obserwować, aby uniknąć nadmiernego dopasowania mojej sieci neuronowej przez zastosowanie wczesnego zatrzymywania?

100 python keras deep-learning conv-neural-network

6

Jak zastosować obcinanie gradientu w TensorFlow?

Biorąc pod uwagę przykładowy kod . Chciałbym wiedzieć, jak zastosować obcinanie gradientu w tej sieci w sieci RNN, gdzie istnieje możliwość eksplozji gradientów. tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) To jest przykład, który można wykorzystać, ale gdzie mam go wprowadzić? W obronie RNN lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data because rnn …

96 python machine-learning tensorflow deep-learning lstm

6

Używanie wstępnie wytrenowanego osadzania słów (word2vec lub Glove) w TensorFlow

Niedawno przejrzałem interesującą implementację klasyfikacji konwolucyjnej tekstu . Jednak cały kod TensorFlow, który sprawdziłem, używa losowych (nie wstępnie wytrenowanych) wektorów osadzających, takich jak następujące: with tf.device('/cpu:0'), tf.name_scope("embedding"): W = tf.Variable( tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name="W") self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) Czy ktoś wie, jak używać wyników osadzania …

95 python numpy tensorflow deep-learning

10

Jak dodać regularyzacje w TensorFlow?

W wielu dostępnych kodach sieci neuronowych zaimplementowanych przy użyciu TensorFlow zauważyłem, że warunki regularyzacyjne są często implementowane przez ręczne dodanie dodatkowego terminu do wartości straty. Moje pytania to: Czy istnieje bardziej elegancki lub zalecany sposób regularyzacji niż robienie tego ręcznie? Uważam też, że get_variablema to argument regularizer. Jak należy tego …

95 python neural-network tensorflow deep-learning

5

dlaczego „pakujemy” sekwencje w pytorch?

Próbowałem powtórzyć Jak używać pakowania dla danych wejściowych sekwencji o zmiennej długości dla rnn, ale myślę, że najpierw muszę zrozumieć, dlaczego musimy „spakować” sekwencję. Rozumiem, dlaczego musimy je „wypełniać”, ale dlaczego konieczne jest „pakowanie” (przez pack_padded_sequence)? Wszelkie wyjaśnienia na wysokim poziomie będą mile widziane!

93 deep-learning pytorch recurrent-neural-network tensor zero-padding

6

PyTorch - ciągły ()

Przeglądałem ten przykład modelu języka LSTM na github (link) . Ogólnie rzecz biorąc, jest dla mnie całkiem jasne. Ale wciąż staram się zrozumieć, co contiguous()robi wywołanie , co występuje kilka razy w kodzie. Na przykład w linii 74/75 kodu wejściowego i sekwencji docelowej LSTM są tworzone. Dane (przechowywane w ids) …

90 neural-network deep-learning lstm pytorch contiguous

5

Jaki jest pożytek z gadatliwości w Keras podczas walidacji modelu?

Po raz pierwszy uruchamiam model LSTM. Oto mój model: opt = Adam(0.002) inp = Input(...) print(inp) x = Embedding(....)(inp) x = LSTM(...)(x) x = BatchNormalization()(x) pred = Dense(5,activation='softmax')(x) model = Model(inp,pred) model.compile(....) idx = np.random.permutation(X_train.shape[0]) model.fit(X_train[idx], y_train[idx], nb_epoch=1, batch_size=128, verbose=1) Jaki jest pożytek z gadatliwości podczas trenowania modelu?

89 python deep-learning keras verbose

2

jak sformatować dane obrazu do szkolenia / przewidywania, gdy obrazy mają różne rozmiary?

Próbuję trenować mój model, który klasyfikuje obrazy. Problem polega na tym, że mają różne rozmiary. jak sformatować moje obrazy / architekturę modelu?

88 deep-learning

4

Co oznacza global_step w Tensorflow?

W tym jest kod samouczka ze strony internetowej TensorFlow, czy ktoś mógłby pomóc wyjaśnić, co to global_stepznaczy? Znalazłem na stronie Tensorflow napisane, że krok globalny jest używany do liczenia kroków treningowych , ale nie do końca rozumiem, co to dokładnie oznacza. Co oznacza cyfra 0 podczas konfiguracji global_step? def training(loss,learning_rate): …

88 tensorflow deep-learning

5

Keras, jak przewidzieć po wytrenowaniu modelu?

Gram z zestawem danych przykład firmy Reuters i działa dobrze (mój model jest wytrenowany). Czytałem o tym, jak zapisać model, aby móc go później załadować i użyć ponownie. Ale jak użyć tego zapisanego modelu do przewidywania nowego tekstu? Czy używam models.predict()? Czy muszę specjalnie przygotować ten tekst? Próbowałem tego z …

87 python theano deep-learning keras

5

Najczęstsze przyczyny nans podczas treningu

Zauważyłem, że pojawia się częste zjawisko podczas treningu NAN. Często wydaje się, że jest on wprowadzany przez nadmuchiwanie ciężarów w warstwach produktu wewnętrznego / w pełni połączonych lub splotowych. Czy dzieje się tak, ponieważ obliczenia gradientu wybuchają? A może jest to spowodowane inicjalizacją wagi (jeśli tak, dlaczego inicjalizacja wagi ma …

85 machine-learning neural-network deep-learning caffe gradient-descent

1

Jaka jest rola warstwy TimeDistributed w Keras?

Próbuję zrozumieć, co robi opakowanie TimeDistributed w Keras. Dostaję, że TimeDistributed „stosuje warstwę do każdego czasowego wycinka danych wejściowych”. Ale przeprowadziłem pewien eksperyment i otrzymałem wyniki, których nie mogę zrozumieć. Krótko mówiąc, w połączeniu z warstwą LSTM, TimeDistributed i po prostu Dense dają takie same wyniki. model = Sequential() model.add(LSTM(5, …

82 python machine-learning keras neural-network deep-learning

2

Niestandardowy optymalizator TensorFlow Keras

Załóżmy, że chcę napisać niestandardową klasę optymalizatora zgodną z tf.kerasinterfejsem API (używając wersji TensorFlow> = 2.0). Jestem zdezorientowany co do udokumentowanego sposobu wykonania tej czynności w porównaniu z tym, co zostało zrobione we wdrożeniach. Dokumentacja tf.keras.optimizers.Optimizer stanów , ### Write a customized optimizer. If you intend to create your own …

30 python tensorflow deep-learning tf.keras tensorflow2.x

Pytania otagowane jako deep-learning