Nauka danych backpropagation

3

Jest to małe pytanie koncepcyjne, które dręczy mnie od dłuższego czasu: Jak możemy propagować wstecz przez warstwę max-pooling w sieci neuronowej? Natknąłem się na warstwy o maksymalnej puli podczas omawiania tego samouczka dla biblioteki nn Torch 7. Biblioteka streszcza obliczenia gradientu i przebiegi do przodu dla każdej warstwy głębokiej sieci. …

62 neural-network backpropagation

3

Wytyczne dotyczące wyboru optymalizatora do szkolenia sieci neuronowych

Od jakiegoś czasu korzystam z sieci neuronowych. Jednak jedną rzeczą, z którą ciągle mam problemy, jest wybór optymalizatora do szkolenia sieci (przy użyciu backprop). To, co zwykle robię, to zaczynam od jednego (np. Standardowego SGD), a następnie wypróbowuję inne dość losowo. Zastanawiałem się, czy istnieje lepsze (i mniej przypadkowe) podejście …

18 neural-network optimization backpropagation

1

Deep Neural Network - Propagacja wsteczna z ReLU

Mam pewne trudności w uzyskaniu wstecznej propagacji za pomocą ReLU i wykonałem trochę pracy, ale nie jestem pewien, czy jestem na dobrej drodze. Funkcja kosztu: gdzie jest wartością rzeczywistą, a jest wartością przewidywaną. Zakładamy również, że > 0 zawsze.Y Y x12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxxx 1 warstwa ReLU, gdzie waga na 1. …

17 neural-network backpropagation

1

propagacja wsteczna w CNN

Mam następujący CNN: Zaczynam od obrazu wejściowego o rozmiarze 5x5 Następnie stosuję splot za pomocą jądra 2x2 i stride = 1, który tworzy mapę cech o rozmiarze 4x4. Następnie stosuję maksymalne łączenie 2x2 z krokiem = 2, co zmniejsza mapę obiektów do rozmiaru 2x2. Następnie stosuję sigmoid logistyczny. Następnie jedna …

16 machine-learning convnet backpropagation cnn kernel

2

Przesuwne okno prowadzi do przeregulowania w LSTM?

Czy zmieści się mój LSTM, jeśli będę go trenował przy użyciu okna przesuwnego? Dlaczego ludzie nie używają go do LSTM? W uproszczonym przykładzie załóżmy, że musimy przewidzieć kolejność znaków: A B C D E F G H I J K L M N O P Q R S T U …

15 lstm backpropagation mini-batch-gradient-descent

1

Propagacja wsteczna poprzez maksymalne warstwy pulujące

Mam małe pytanie cząstkowe do tego pytania . Rozumiem, że podczas wstecznej propagacji przez warstwę maksymalnej puli gradient jest kierowany z powrotem w taki sposób, że neuron w poprzedniej warstwie, która została wybrana jako maksymalna, otrzymuje cały gradient. Nie jestem w 100% pewien, w jaki sposób gradient w następnej warstwie …

14 machine-learning neural-network convnet backpropagation

2

Pytanie o stronniczość w sieciach konwergencyjnych

Próbuję dowiedzieć się, ile wag i stronniczości jest potrzebnych dla CNN. Powiedz, że mam obraz (3, 32, 32) i chcę zastosować filtr (32, 5, 5). Dla każdej mapy obiektów mam wagi 5 x 5, więc powinienem mieć parametry 3 x (5 x 5) x 32. Teraz muszę dodać błąd. Wydaje …

11 deep-learning convnet backpropagation

Pytania otagowane jako backpropagation