Statystyki i duże zbiory danych neural-networks

2

funkcja aktywacji tanh vs funkcja aktywacji sigmoidalnej

Funkcja aktywacji tanh to: t a n h ( x ) = 2 ⋅ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Gdzie , funkcja sigmoidalna jest zdefiniowana jako: σ ( x ) = e xσ( x )σ(x)\sigma(x) .σ( …

82 machine-learning neural-networks optimization cost-maximization

4

Dlaczego sieci neuronowe stają się głębsze, ale nie szersze?

W ostatnich latach splotowe sieci neuronowe (lub ogólnie głębokie sieci neuronowe) stały się coraz głębsze, a najnowocześniejsze sieci przechodzą z 7 warstw ( AlexNet ) do 1000 warstw ( sieci resztkowych) na przestrzeni 4 lat Przyczyną wzrostu wydajności z głębszej sieci jest to, że można się nauczyć bardziej złożonej, nieliniowej …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Dlaczego badaczom sieci neuronowych zależy na epokach?

Epoka stochastycznego spadku gradientu jest definiowana jako pojedyncze przejście przez dane. Dla każdego minibatchu SGD rysuje się kkk próbek, oblicza gradient i aktualizuje parametry. W ustawieniu epoki próbki są rysowane bez zamiany. Ale to wydaje się niepotrzebne. Dlaczego nie narysować każdego minibatchu SGD, gdy kkk losuje z całego zestawu danych …

69 neural-networks deep-learning gradient-descent

6

Jakie są dobre masy początkowe w sieci neuronowej?

Właśnie usłyszałem, że dobrym pomysłem jest wybór początkowych wag sieci neuronowej z zakresu , gdzie jest liczba wejść do danego neuronu. Zakłada się, że zbiory są znormalizowane - średnia 0, wariancja 1 (nie wiem, czy to ma znaczenie).d( - 1re√, 1re√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})redd Dlaczego to dobry pomysł?

68 neural-networks normalization

3

Właściwy sposób wykorzystania rekurencyjnej sieci neuronowej do analizy szeregów czasowych

Nawracające sieci neuronowe różnią się od „zwykłych” siecią tym, że mają warstwę „pamięci”. Z powodu tej warstwy rekurencyjne NN powinny być przydatne w modelowaniu szeregów czasowych. Nie jestem jednak pewien, czy dobrze rozumiem, jak ich używać. Powiedzmy, że mam następujące szeregi czasowe (od lewej do prawej): [0, 1, 2, 3, …

67 time-series machine-learning neural-networks

4

Gdzie powinienem umieścić warstwy odpadające w sieci neuronowej?

Czy istnieją jakieś ogólne wytyczne dotyczące miejsca umieszczania warstw odpadających w sieci neuronowej?

65 neural-networks dropout

5

Jaka funkcja strat dla zadań klasyfikacyjnych wielu klas i wielu etykiet w sieciach neuronowych?

Uczę sieci neuronowej, aby klasyfikować zestaw obiektów do n-klas. Każdy obiekt może należeć do wielu klas jednocześnie (wiele klas, wiele etykiet). Czytałem, że w przypadku problemów wieloklasowych ogólnie zaleca się stosowanie softmax i kategorycznej entropii krzyżowej jako funkcji straty zamiast mse i mniej więcej rozumiem dlaczego. W przypadku mojego problemu …

64 neural-networks python loss-functions keras cross-entropy

12

Dlaczego sieci neuronowe potrzebują tak wielu przykładów szkoleń?

Dziecko w wieku 2 lat potrzebuje około 5 egzemplarzy samochodu, aby móc je zidentyfikować z rozsądną dokładnością niezależnie od koloru, marki itp. Gdy mój syn miał 2 lata, był w stanie zidentyfikować tramwaje i pociągi, mimo że widział tylko kilka. Ponieważ zwykle mylił się ze sobą, najwyraźniej jego sieć neuronowa …

64 neural-networks neuroscience

3

Jaka jest różnica między siecią neuronową a siecią głębokiego przekonania?

Odnoszę wrażenie, że gdy ludzie odnoszą się do sieci „głębokiego przekonania”, że jest to w zasadzie sieć neuronowa, ale bardzo duża. Czy jest to poprawne, czy też sieć głębokich przekonań sugeruje również, że sam algorytm jest inny (tj. Nie ma sieci neuronowej ze sprzężeniem zwrotnym, ale może coś z pętlami …

62 machine-learning neural-networks deep-learning deep-belief-networks

9

Jak i dlaczego działa normalizacja i skalowanie funkcji?

Widzę, że wiele algorytmów uczenia maszynowego działa lepiej przy średnim anulowaniu i wyrównaniu kowariancji. Na przykład sieci neuronowe mają tendencję do szybszego konwergencji, a K-Means zazwyczaj zapewnia lepszą klastrowanie z wstępnie przetworzonymi funkcjami. Nie widzę intuicji za tymi krokami wstępnego przetwarzania, które prowadzą do poprawy wydajności. Czy ktoś może mi …

61 machine-learning neural-networks covariance normalization

3

Jaka jest różnica między sieciami neuronowymi typu feed-forward a rekurencyjnymi?

Jaka jest różnica między feed-forward i nawracających sieci neuronowej? Dlaczego miałbyś używać jednego nad drugim? Czy istnieją inne topologie sieci?

58 machine-learning neural-networks terminology rnn topologies

10

Błąd sprawdzania poprawności mniej niż błąd szkolenia?

Znalazłem tu i tutaj dwa pytania dotyczące tego problemu, ale nie ma jeszcze oczywistej odpowiedzi ani wyjaśnienia. Wymuszam ten sam problem, w którym błąd walidacji jest mniejszy niż błąd szkolenia w mojej sieci neuronowej Convolution. Co to znaczy?

57 machine-learning mathematical-statistics neural-networks cross-validation

4

Jakie są różnice między PCA a autoencoderem?

Zarówno PCA, jak i autoencoder mogą redukować demensję, więc jaka jest między nimi różnica? W jakiej sytuacji powinienem używać jednego nad drugim?

56 machine-learning pca neural-networks autoencoders

8

Biblioteki R do głębokiego uczenia się

Zastanawiałem się, czy są jakieś dobre biblioteki R do głębokiego uczenia sieci neuronowych? Wiem, że tam jest nnet, neuralneti RSNNS, ale żaden z nich nie wydają się wdrożyć głębokie metod nauczania. Szczególnie interesuje mnie nauka bez nadzoru, a następnie nadzorowane uczenie się, a także rezygnacja z pracy, aby zapobiec wspólnej …

56 r neural-networks deep-learning rbm deep-belief-networks

2

Co to jest globalna warstwa max pooling i jaka jest jej przewaga nad warstwą maxpooling?

Czy ktoś może wyjaśnić, co jest globalną warstwą max pooling i dlaczego i kiedy używamy jej do szkolenia sieci neuronowej. Czy mają przewagę nad zwykłą maksymalną warstwą puli?

55 neural-networks conv-neural-network pooling

Pytania otagowane jako neural-networks