Optymalna liczba warstw w sieci neuronowej?

Jak zdecydować o optymalnej liczbie warstw do utworzenia podczas implementacji sieci neuronowej (Feedforward, back propagation lub RNN)?

neural-networks hidden-layers

— v01d
źródło

Istnieje technika zwana Pruningw sieciach neuronowych, która jest używana tylko do tego samego celu.

Przycinanie odbywa się na liczbie ukrytych warstw. Proces ten jest bardzo podobny do procesu przycinania drzew decyzyjnych. Proces przycinania odbywa się w następujący sposób:

Trenuj dużą, gęsto połączoną sieć ze standardowym algorytmem szkoleniowym
Zbadaj przeszkoloną sieć, aby ocenić względne znaczenie wag
Usuń najmniej ważne ciężary
przekwalifikuj oczyszczoną sieć
Powtarzaj kroki 2-4, aż będziesz zadowolony

Istnieje jednak kilka zoptymalizowanych metod przycinania sieci neuronowych i jest to również bardzo aktywny obszar badań .

— Dawny33
źródło

Podejście symetryczne to wspólne „wyszukiwanie siatki” stosowane w architekturze sieci. Zacznij od małych (tak szybko) i automatycznie wypróbuj większe architektury. Wszystko to jednak brutalna siła ...

— Eric Platon,

@EricPlaton +1 do wyszukiwania siatki. Bardzo przydatny w hypertuning algach ML. Ale czy nie jest to bardzo intensywne obliczeniowo?

— Dawny33,

Tak, to jest drogie. Jednak kiedy możemy zacząć od małych, pierwsze etapy mogą iść dość szybko i dać lepszy pomysł, do czego dążyć.

— Eric Platon,

@EricPlaton „Wyszukiwanie siatki” zasługuje na osobną odpowiedź na własną rękę :)

— Dawny33,

Myślałem o tym, ale byłyby dwie alternatywne i być może „równie poprawne” odpowiedzi ... Myślałem, że najlepszym dla czytelnika jest skompilowanie odpowiedzi jako jednej.

— Eric Platon,

Możesz spojrzeć na optymalizację hiperparametrów bayesowskich jako ogólną metodę optymalizacji strat (lub cokolwiek innego) jako funkcji hiperparametrów. Należy jednak pamiętać, że im głębsza sieć, tym lepiej, więc optymalizacja strat w zależności od liczby warstw nie jest przyjemną rzeczą.

Wyszukiwanie w sieci i odrobina zdrowego rozsądku (jak nauczyłem się na podstawie wielu przykładów) powinny być najlepszym wyborem.

— kc sayz „kc sayz”
źródło