W którym momencie zaczynamy klasyfikować wielowarstwowe sieci neuronowe jako głębokie sieci neuronowe, czy inaczej: „Jaka jest minimalna liczba warstw w głębokiej sieci neuronowej?”
Odpowiedzi:
„Głębokie” jest terminem marketingowym: możesz go zatem używać, gdy chcesz sprzedać swoją wielowarstwową sieć neuronową.
„Głęboka”
Jedna z najwcześniejszych głębokich sieci neuronowych ma trzy gęsto połączone ukryte warstwy ( Hinton i wsp. (2006) ).
„Very Deep”
W 2014 r. „Bardzo głębokie” sieci VGG Simonyan i in. (2014) składa się z ponad 16 ukrytych warstw.
„Niezwykle głęboka”
W 2016 r. „Bardzo głębokie” sieci resztkowe He i in. (2016) składa się z 50 do 1000+ ukrytych warstw.
Zgodnie z literaturą
Schmidhuber, J. (2015). „Dogłębne uczenie się w sieciach neuronowych: przegląd”. Sieci neuronowe. 61: 85–117. arXiv: 1404.7828 do przeczytania. doi: 10.1016 / j.neunet.2014.09.003.
https://en.wikipedia.org/wiki/Deep_learning
Mówi się, że
Nie ma powszechnie uzgodnionego progu dzielącego głębokość płytkiego uczenia się od głębokiego uczenia się, ale większość badaczy w tej dziedzinie zgadza się, że głębokie uczenie się ma wiele warstw nieliniowych (CAP> 2), a Schmidhuber uważa, że CAP> 10 jest bardzo głębokim uczeniem się
Łańcuchem przekształceń od wejścia do wyjścia jest ścieżka przypisania kredytu lub WPR. W przypadku sprzężonej sieci neuronowej głębokość CAP, a tym samym głębokość sieci, to liczba ukrytych warstw plus jedna.