Nauka danych neural-network

10

Niedawno przeczytałem w pełni sieci konwergentne dla segmentacji semantycznej autorstwa Jonathana Longa, Evana Shelhamera, Trevora Darrella. Nie rozumiem, co robią „warstwy dekonwolucyjne” / jak działają. Odpowiednia część to 3.3 Upsampling jest konwertowanym krokiem wstecz Innym sposobem łączenia gruboziarnistych wyjść z gęstymi pikselami jest interpolacja. Na przykład prosta interpolacja dwuliniowa oblicza …

188 neural-network convnet convolution

17

Najlepsza biblioteka python dla sieci neuronowych

Używam sieci neuronowych do rozwiązywania różnych problemów związanych z uczeniem maszynowym. Używam Pythona i Pybrain, ale ta biblioteka jest prawie wycofana. Czy istnieją inne dobre alternatywy w Pythonie?

130 machine-learning python neural-network

5

Na czym polega problem „umierania ReLU” w sieciach neuronowych?

Odnosząc się do notatek z kursu Stanford na temat sieci neuronowych splotowych do rozpoznawania wzrokowego , akapit mówi: „Niestety jednostki ReLU mogą być kruche podczas treningu i mogą„ umrzeć ”. Na przykład duży gradient przepływający przez neuron ReLU może spowodować aktualizację wag w taki sposób, że neuron nigdy więcej się …

119 machine-learning neural-network deep-learning

6

Kiedy używać GRU przez LSTM?

Kluczowa różnica między GRU a LSTM polega na tym, że GRU ma dwie bramki (bramki resetowania i aktualizacji ), podczas gdy LSTM ma trzy bramki (mianowicie bramki wejścia , wyjścia i zapomnienia ). Dlaczego korzystamy z GRU, skoro mamy wyraźniejszą kontrolę nad siecią dzięki modelowi LSTM (ponieważ mamy trzy bramki)? …

95 neural-network deep-learning

8

Wybór współczynnika uczenia się

Obecnie pracuję nad implementacją Stochastic Gradient Descent, SGDdla sieci neuronowych wykorzystujących propagację wsteczną i choć rozumiem jej cel, mam kilka pytań na temat wyboru wartości szybkości uczenia się. Czy szybkość uczenia się jest związana z kształtem gradientu błędu, ponieważ dyktuje on tempo opadania? Jeśli tak, w jaki sposób wykorzystujesz te …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Jak wizualizujesz architektury sieci neuronowych?

Podczas pisania pracy / prezentacji na temat sieci neuronowych zwykle wizualizuje się architekturę sieci. Jakie są dobre / proste sposoby automatycznej wizualizacji popularnych architektur?

79 machine-learning neural-network deep-learning visualization

5

Jak narysować diagramy architektury uczenia głębokiego?

Zbudowałem swój model. Teraz chcę narysować schemat architektury sieci dla mojego artykułu badawczego. Przykład pokazano poniżej:

77 machine-learning neural-network deep-learning svm software-recommendation

3

Backprop przez warstwy Max-Pooling?

Jest to małe pytanie koncepcyjne, które dręczy mnie od dłuższego czasu: Jak możemy propagować wstecz przez warstwę max-pooling w sieci neuronowej? Natknąłem się na warstwy o maksymalnej puli podczas omawiania tego samouczka dla biblioteki nn Torch 7. Biblioteka streszcza obliczenia gradientu i przebiegi do przodu dla każdej warstwy głębokiej sieci. …

62 neural-network backpropagation

4

W jaki sposób splot 1x1 jest taki sam jak w pełni połączona warstwa?

Niedawno przeczytałem komentarz Yan LeCuns na temat zwojów 1x1 : W sieciach konwekcyjnych nie ma czegoś takiego jak „w pełni połączone warstwy”. Istnieją tylko warstwy splotu z jądrem splotu 1x1 i pełną tabelą połączeń. Jest to zbyt rzadko rozumiany fakt, że ConvNets nie muszą mieć danych wejściowych o stałym rozmiarze. …

55 neural-network convnet

3

RNN vs CNN na wysokim poziomie

Myślałem o Rekurencyjnych Sieciach Neuronowych (RNN) i ich odmianach oraz Konwolucyjnych Sieciach Neuronowych (CNN) i ich odmianach. Czy te dwa punkty są sprawiedliwe: Użyj CNN, aby rozbić komponent (taki jak obraz) na podskładniki (takie jak obiekt w obrazie, taki jak kontur obiektu w obrazie itp.) Użyj RNN do tworzenia kombinacji …

53 machine-learning neural-network beginner

2

Kiedy stosować (He lub Glorot) normalną inicjalizację zamiast jednolitej inicjacji? A jakie są jego efekty dzięki Normalizacji partii?

Wiedziałem, że Residual Network (ResNet) sprawił, że zwykła inicjalizacja He stała się popularna. W ResNet używana jest normalna inicjalizacja He , podczas gdy pierwsza warstwa używa jednolitej inicjalizacji He. Przejrzałem papier ResNet i papier „Zagłębiając się w prostowniki” (papier inicjalizacyjny He), ale nie znalazłem żadnej wzmianki o normalnym init vs. …

51 neural-network deep-learning normalization

3

Jak walczyć z niedopasowaniem w głębokiej sieci neuronowej

Kiedy zaczynałem od sztucznych sieci neuronowych (NN), pomyślałem, że będę musiał walczyć z nadmiernym dopasowaniem jako głównym problemem. Ale w praktyce nie mogę nawet sprawić, aby mój NN przekroczył barierę 20% poziomu błędu. Nie mogę nawet pobić mojego wyniku w losowym lesie! Szukam bardzo ogólnych lub niezbyt ogólnych wskazówek, co …

50 neural-network deep-learning

4

Sieci neuronowe: jakiej funkcji kosztu użyć?

Używam TensorFlow do eksperymentów głównie z sieciami neuronowymi. Chociaż przeprowadziłem już dość eksperymentów (problem XOR, MNIST, niektóre rzeczy związane z regresją ...), mam problem z wybraniem „właściwej” funkcji kosztu dla konkretnych problemów, ponieważ ogólnie można mnie uznać za początkującego. Przed przyjściem do TensorFlow kodowałem niektóre w pełni połączone MLP i …

49 machine-learning python neural-network statistics tensorflow

4

Dodawanie funkcji do modelu szeregów czasowych LSTM

czytałem trochę o LSTM i ich zastosowaniu do szeregów czasowych i było to interesujące, ale jednocześnie trudne. Jedną rzeczą, z którą miałem trudności ze zrozumieniem, jest podejście do dodawania dodatkowych funkcji do już istniejącej listy funkcji szeregów czasowych. Zakładając, że masz zestaw danych w następujący sposób: t-3, t-2, t-1, Wyjście …

43 machine-learning neural-network deep-learning time-series

1

Jaka jest różnica między LeakyReLU i PReLU?

Myślałem, że zarówno PReLU, jak i Leaky ReLU są fa( x ) = maks. ( x , α x ) z α ∈ ( 0 , 1 )f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras ma jednak obie funkcje w dokumentacji . …

42 neural-network

Pytania otagowane jako neural-network