Nauka danych neural-network

3

Jak dodać nową kategorię do modelu głębokiego uczenia się?

Powiedzmy, że wykonałem naukę transferu w sieci wstępnie przeszkolonej, aby rozpoznać 10 obiektów. Jak dodać jedenasty element, który sieć może sklasyfikować, nie tracąc wszystkich 10 kategorii, które już trenowałem, ani informacji z oryginalnego wstępnie wyszkolonego modelu? Znajomy powiedział mi, że trwają aktywne badania w tej dziedzinie, ale nie mogę znaleźć …

15 neural-network deep-learning

1

Różnica funkcji aktywacyjnych w sieciach neuronowych ogólnie

Badałem typy funkcji aktywacyjnych dla sieci neuronowych. Same funkcje są dość proste, ale różnica w aplikacji nie jest do końca jasna. Rozsądne jest rozróżnienie funkcji typu logicznego i liniowego, w zależności od pożądanego wyjścia binarnego / ciągłego, ale jaka jest przewaga funkcji sigmoidalnej nad prostą funkcją liniową? ReLU jest dla …

15 neural-network activation-function

3

Jaka jest różnica między RNN generowania tekstu opartego na słowie i na znakach?

Czytając o generowaniu tekstu za pomocą Recurrent Neural Networks, zauważyłem, że niektóre przykłady zostały zaimplementowane w celu generowania tekstu słowo po słowie, a inne znak po znaku bez podania przyczyny. Jaka jest zatem różnica między modelami RNN, które przewidują podstawę tekstu na słowo, a tymi, które przewidują podstawę tekstu na …

15 machine-learning neural-network nlp rnn

2

Dlaczego funkcje aktywacyjne muszą być monotoniczne?

Obecnie przygotowuję się do egzaminu z sieci neuronowych. W kilku protokołach z poprzednich badań czytałem, że funkcje aktywacyjne neuronów (w perceptronach wielowarstwowych) muszą być monotoniczne. Rozumiem, że funkcje aktywacyjne powinny być rozróżnialne, mieć pochodną, która w większości punktów nie jest równa 0, i być nieliniowa. Nie rozumiem, dlaczego bycie monotonnym …

15 machine-learning neural-network

3

Zalety układania LSTM?

Zastanawiam się, w jakich sytuacjach korzystne jest układanie LSTM?

15 machine-learning neural-network deep-learning lstm

1

Jak dodać funkcje niezwiązane z obrazem obok obrazów bocznych jako dane wejściowe CNN

Trenuję splotową sieć neuronową, aby klasyfikować obrazy w warunkach mgły (3 klasy). Jednak dla każdego z około 150 000 obrazów mam również cztery zmienne meteorologiczne, które mogą pomóc w przewidywaniu klas obrazów. Zastanawiałem się, jak mogę dodać zmienne meteorologiczne (np. Temperaturę, prędkość wiatru) do istniejącej struktury CNN, aby pomóc w …

14 machine-learning neural-network deep-learning tensorflow cnn

1

Propagacja wsteczna poprzez maksymalne warstwy pulujące

Mam małe pytanie cząstkowe do tego pytania . Rozumiem, że podczas wstecznej propagacji przez warstwę maksymalnej puli gradient jest kierowany z powrotem w taki sposób, że neuron w poprzedniej warstwie, która została wybrana jako maksymalna, otrzymuje cały gradient. Nie jestem w 100% pewien, w jaki sposób gradient w następnej warstwie …

14 machine-learning neural-network convnet backpropagation

3

Po co zawracać sobie głowę, jeśli Max Pooling i tak po prostu przeskaluje obraz?

Pomysł zastosowania filtrów w celu zidentyfikowania krawędzi jest całkiem fajnym pomysłem. Na przykład możesz zrobić zdjęcie 7. Z niektórymi filtrami możesz uzyskać przekształcone obrazy, które podkreślają różne cechy oryginalnego obrazu. Oryginalny 7: może być postrzegany przez sieć jako: Zauważ, jak każdy obraz wyodrębnił inną krawędź oryginału 7. To wszystko świetnie, …

14 neural-network

4

Jak skalować tablicę liczb całkowitych ze znakiem od 0 do 1?

Używam Mózgu do trenowania sieci neuronowej na zestawie funkcji, który zawiera zarówno wartości dodatnie, jak i ujemne. Ale Mózg wymaga wartości wejściowych od 0 do 1. Jaki jest najlepszy sposób normalizacji moich danych?

14 machine-learning neural-network feature-scaling normalization javascript

3

Co oznacza wynik działania funkcji model.predict z Keras?

Zbudowałem model LSTM, aby przewidzieć duplikaty pytań w oficjalnym zbiorze danych Quora. Etykiety testowe mają wartość 0 lub 1. 1 oznacza, że para pytań jest zduplikowana. Po zbudowaniu modelu za pomocą model.fit, testuję model za pomocą model.predictdanych testowych. Dane wyjściowe to tablica wartości, takich jak poniżej: [ 0.00514298] [ 0.15161049] …

14 machine-learning python neural-network keras lstm

2

Dlaczego algorytmy genetyczne nie są wykorzystywane do optymalizacji sieci neuronowych?

Z mojego zrozumienia, Algorytmy genetyczne są potężnymi narzędziami do optymalizacji wielu celów. Ponadto szkolenie sieci neuronowych (szczególnie głębokich) jest trudne i wiąże się z wieloma problemami (funkcje kosztów niewypukłych - lokalne minima, zanikanie i eksplodowanie gradientów itp.). Również jestem konceptualny, że szkolenie NN z GA jest wykonalne. Zastanawiałem się, dlaczego …

13 neural-network optimization genetic-algorithms

4

Czy zejście gradientu ma kluczowe znaczenie dla każdego optymalizatora?

Chcę wiedzieć, czy spadek gradientu jest głównym algorytmem stosowanym w optymalizatorach takich jak Adam, Adagrad, RMSProp i kilku innych optymalizatorach.

13 machine-learning neural-network deep-learning optimization gradient-descent

2

Dlaczego nie zawsze stosować technikę optymalizacji ADAM?

Wydaje się, że optymalizator Adaptive Moment Estimation (Adam) prawie zawsze działa lepiej (szybciej i bardziej niezawodnie osiąga globalne minimum) przy minimalizacji funkcji kosztów w szkoleniu sieci neuronowych. Dlaczego nie zawsze używać Adama? Po co męczyć się przy użyciu RMSProp lub optymalizatorów pędu?

13 neural-network optimization

2

Wizualizacja treningu głębokiej sieci neuronowej

Próbuję znaleźć odpowiednik diagramów Hintona dla sieci wielowarstwowych, aby wykreślić wagi podczas treningu. Przeszkolona sieć jest nieco podobna do Deep SRN, tj. Ma dużą liczbę macierzy wielokrotnych ciężaru, co sprawiłoby, że jednoczesny wykres kilku diagramów Hintona byłby mylący wizualnie. Czy ktoś zna dobry sposób na wizualizację procesu aktualizacji wagi dla …

13 machine-learning neural-network visualization deep-learning

3

Dlaczego autokodery do redukcji wymiarów są symetryczne?

W żadnym wypadku nie jestem ekspertem od autoencoderów ani sieci neuronowych, więc wybacz mi, jeśli to głupie pytanie. W celu zmniejszenia wymiarów lub wizualizacji klastrów w danych wielowymiarowych możemy użyć autoenkodera, aby utworzyć (stratną) reprezentację dwuwymiarową poprzez sprawdzenie wyniku warstwy sieci z 2 węzłami. Na przykład w poniższej architekturze sprawdzilibyśmy …

13 neural-network dimensionality-reduction autoencoder

Pytania otagowane jako neural-network