Nauka danych dropout

5

Konwolucyjna nadmierna sieć neuronowa. Porzucenie nie pomaga

Gram trochę z konwekcjami. W szczególności korzystam z zestawu danych kaggle koty kontra psy, który składa się z 25 000 obrazów oznaczonych jako kot lub pies (po 12500 każdego). Udało mi się osiągnąć około 85% dokładności klasyfikacji na moim zestawie testowym, jednak wyznaczyłem sobie cel osiągnięcia 90% dokładności. Moim głównym …

16 neural-network deep-learning convnet image-recognition dropout

5

Dlaczego dodanie warstwy przerywającej poprawia wydajność uczenia głębokiego / uczenia maszynowego, skoro ta rezygnacja tłumi niektóre neurony z modelu?

Jeśli usunięcie niektórych neuronów skutkuje lepszym działaniem modelu, dlaczego nie zastosować prostszej sieci neuronowej z mniejszą liczbą warstw i mniejszą liczbą neuronów? Po co budować większy, bardziej skomplikowany model na początku, a później go pomijać?

13 machine-learning deep-learning keras regularization dropout

3

Czy są jakieś dobre gotowe modele językowe dla Pythona?

Prototypuję aplikację i potrzebuję modelu językowego, aby obliczyć zakłopotanie w przypadku niektórych wygenerowanych zdań. Czy istnieje jakiś wyuczony model języka w Pythonie, którego można łatwo używać? Coś prostego jak model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < …

11 python nlp language-model r statistics linear-regression machine-learning classification random-forest xgboost python sampling data-mining orange predictive-modeling recommender-system statistics dimensionality-reduction pca machine-learning python deep-learning keras reinforcement-learning neural-network image-classification r dplyr deep-learning keras tensorflow lstm dropout machine-learning sampling categorical-data data-imputation machine-learning deep-learning machine-learning-model dropout deep-network pandas data-cleaning data-science-model aggregation python neural-network reinforcement-learning policy-gradients r dataframe dataset statistics prediction forecasting r k-means python scikit-learn labels python orange cloud-computing machine-learning neural-network deep-learning rnn recurrent-neural-net logistic-regression missing-data deep-learning autoencoder apache-hadoop time-series data preprocessing classification predictive-modeling time-series machine-learning python feature-selection autoencoder deep-learning keras tensorflow lstm word-embeddings predictive-modeling prediction machine-learning-model machine-learning classification binary theory machine-learning neural-network time-series lstm rnn neural-network deep-learning keras tensorflow convnet computer-vision

2

Porzucasz na jakich warstwach LSTM?

Używając wielowarstwowej LSTMz usuwaniem, czy wskazane jest umieszczenie zrzutu na wszystkich ukrytych warstwach, a także na wyjściowych warstwach gęstych? W artykule Hintona (który zaproponował Dropout) umieścił Dropout tylko na gęstych warstwach, ale to dlatego, że ukryte wewnętrzne warstwy były splotowe. Oczywiście mogę przetestować mój konkretny model, ale zastanawiałem się, czy …

11 neural-network lstm rnn dropout stacked-lstm

1

Jak dokładnie działa DropOut z warstwami splotowymi?

Dropout ( papier , wyjaśnienie ) ustawia moc wyjściową niektórych neuronów na zero. W przypadku MLP możesz mieć następującą architekturę zestawu danych kwiatów Iris : 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) Działa to tak: softmax(W3⋅tanh(W2⋅mask(D,tanh(W1⋅input_vector)))softmax(W3⋅tanh⁡(W2⋅mask(D,tanh⁡(W1⋅input_vector)))softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector))) z …

10 dropout

2

Czy istnieją badania, które badają przerwanie leczenia w porównaniu z innymi regularyzacjami?

Czy opublikowano jakieś prace, które pokazują różnice w metodach regularyzacji sieci neuronowych, najlepiej w różnych domenach (lub przynajmniej w różnych zestawach danych)? Pytam, ponieważ obecnie mam wrażenie, że większość ludzi wydaje się używać tylko porzucenia w celu uregulowania widzenia komputerowego. Chciałbym sprawdzić, czy istnieje powód (nie) zastosowania różnych sposobów regularyzacji.

9 neural-network computer-vision convnet regularization dropout

Pytania otagowane jako dropout