Statystyki i duże zbiory danych conv-neural-network

2

Czy istnieją matematyczne powody splotu w sieciach neuronowych poza celami?

W splotowych sieciach neuronowych (CNN) matryca wag na każdym kroku zostaje odwrócona w celu uzyskania macierzy jądra przed przystąpieniem do splotu. Wyjaśnia to seria filmów Hugo Larochelle tutaj : Obliczenie ukrytych map odpowiadałoby wykonaniu dyskretnego splotu z kanałem z poprzedniej warstwy, przy użyciu macierzy jądra [...], a jądro to jest …

14 machine-learning neural-networks conv-neural-network convolution

2

Co oznacza „niezmiennik permutacyjny” w kontekście sieci neuronowych rozpoznających obrazy?

Widziałem termin „niezmiennicza permutacja” wersja zadania rozpoznawania cyfr MNIST. Co to znaczy?

14 machine-learning neural-networks terminology conv-neural-network definition

2

Inicjalizacja wagi CNN Xaviera

W niektórych samouczkach stwierdziłem, że inicjalizacja wagi „Xaviera” (papier: Zrozumienie trudności w uczeniu głębokich sieci neuronowych ze sprzężeniem zwrotnym ) jest skutecznym sposobem inicjalizacji wag sieci neuronowych. W przypadku w pełni połączonych warstw w tych samouczkach obowiązywała zasada: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad Var(W) …

14 normal-distribution variance neural-networks conv-neural-network

3

Uniwersalne twierdzenie o aproksymacji dla sieci splotowych

Twierdzenie o uniwersalnej aproksymacji jest dość znanym wynikiem dla sieci neuronowych, mówiąc w zasadzie, że przy niektórych założeniach funkcja może być jednolicie aproksymowana przez sieć neuronową z dowolną dokładnością. Czy istnieje jakiś analogiczny wynik, który stosuje się do splotowych sieci neuronowych?

14 neural-networks conv-neural-network approximation

2

Co to jest ograniczenie maxnorm? Jak to jest użyteczne w sieciach neuronowych splotowych?

Oto przykładowy kod keras, który go używa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

13 neural-networks regularization conv-neural-network optimization

2

Model Google Inception: dlaczego istnieje wiele softmax?

Topologia modelu Google Inception można znaleźć tutaj: Google Inception Netowrk Zauważyłem, że w tym modelu znajdują się 3 warstwy softmax (# 154, # 152, # 145), a 2 z nich to pewnego rodzaju wczesna ucieczka tego modelu. Z tego, co wiem, warstwa softmax służy do ostatecznego wyjścia, więc dlaczego jest …

13 deep-learning conv-neural-network

3

Czy sieć neuronowa (np. Splotowa sieć neuronowa) może mieć ujemne wagi?

Czy możliwe jest uzyskanie ujemnych wag (po wystarczającej liczbie epok) dla głębokich splotowych sieci neuronowych, gdy używamy ReLU dla wszystkich warstw aktywacyjnych?

13 machine-learning neural-networks deep-learning conv-neural-network

5

Czy istnieje wizualne narzędzie do projektowania i stosowania sieci neuronowych / głębokiego uczenia się? [Zamknięte]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 10 miesięcy temu . Wiem, że istnieje wiele bibliotek do uczenia maszynowego i dogłębnego uczenia się, takich jak caffe, Theano, TensorFlow, keras, ... Ale wydaje …

13 neural-networks deep-learning conv-neural-network

4

Czy w CNN upsampling i transpozycja splotu są takie same?

Zarówno terminy „upsampling”, jak i „transponowanie splotu” są używane, gdy wykonujesz „dekonwolucję” (<- niezbyt dobry termin, ale pozwólcie, że użyję go tutaj). Początkowo myślałem, że oznaczają to samo, ale wydaje mi się, że różnią się po przeczytaniu tych artykułów. czy ktoś może wyjaśnić? Transponuj splot : wygląda na to, że …

12 machine-learning neural-networks conv-neural-network transposed-convolution

1

Czym dokładnie jest blok Residual Learning w kontekście Deep Residual Networks w Deep Learning?

Czytałem artykuł Deep Residual Learning for Image Recognition i miałem trudności ze zrozumieniem ze 100% pewnością, co pociąga za sobą blok obliczeniowy. Czytając gazetę mają rysunek 2: co ilustruje, jaki powinien być blok rezydualny. Czy obliczenie bloku resztkowego jest po prostu takie samo jak: y=σ(W2σ(W1x+b1)+b2+x)y=σ(W2σ(W1x+b1)+b2+x) \mathbf{y} = \sigma( W_2 \sigma( …

12 machine-learning neural-networks deep-learning conv-neural-network residual-networks

2

Jak działa operacja DepthConcat w „Zagłębianie się w zwoje”?

Czytając Idąc głębiej ze zwojów natknąłem się DepthConcat warstwie bloku budowlanego proponowanych modułów Incepcja , który łączy wyjście wielu tensorów o różnej wielkości. Autorzy nazywają to „Filter Concatenation”. Wydaje się, że istnieje implementacja Torch , ale tak naprawdę nie rozumiem, co ona robi. Czy ktoś może wyjaśnić prostymi słowami?

12 neural-networks torch conv-neural-network

2

Wybrałeś rozmiar filtra, kroki itp. W CNN?

Patrzyłem na wykłady CS231N z Stanford i staram się ominąć niektóre problemy w architekturach CNN. Próbuję zrozumieć, czy istnieją jakieś ogólne wytyczne dotyczące wybierania rozmiaru filtra splotowego i rzeczy takich jak postępy, czy też jest to bardziej sztuka niż nauka? Rozumiem, że gromadzenie danych istnieje głównie w celu wywołania pewnej …

12 neural-networks deep-learning conv-neural-network

3

Nieliniowość przed końcową warstwą Softmax w splotowej sieci neuronowej

Studiuję i próbuję wdrożyć splotowe sieci neuronowe, ale przypuszczam, że to pytanie dotyczy ogólnie wielowarstwowych perceptronów. Neurony wyjściowe w mojej sieci reprezentują aktywację każdej klasy: najbardziej aktywny neuron odpowiada przewidywanej klasie dla danego wejścia. Aby rozważyć koszt entropii krzyżowej dla szkolenia, dodaję warstwę softmax na końcu sieci, aby wartość aktywacji …

12 neural-networks deep-learning conv-neural-network nonlinear softmax

5

Jakiej funkcji utraty należy użyć do wykrywania binarnego w wykrywaniu twarzy / bez twarzy w CNN?

Chcę użyć głębokiego uczenia się, aby trenować wykrywanie binarne twarzy / twarzy, jakiej straty powinienem użyć, myślę, że to SigmoidCrossEntropyLoss lub utrata zawiasów . Zgadza się, ale zastanawiam się też, czy powinienem używać softmax, ale tylko z dwiema klasami?

11 deep-learning loss-functions computer-vision conv-neural-network

2

Dlaczego CNN kończą się warstwami FC?

Z mojego zrozumienia, CNN składają się z dwóch części. Pierwsza część (warstwy konw / pula), która wykonuje ekstrakcję cech, a druga część (warstwy fc), która dokonuje klasyfikacji na podstawie cech. Skoro w pełni połączone sieci neuronowe nie są najlepszymi klasyfikatorami (tzn. Osiągają lepsze wyniki od SVM i RF przez większość …

11 neural-networks svm random-forest conv-neural-network

Pytania otagowane jako conv-neural-network