Związek między szybkością uczenia się a liczbą ukrytych warstw?

Czy istnieje jakaś reguła praktyczna między głębokością sieci neuronowej a szybkością uczenia się? Zauważyłem, że im głębsza sieć, tym niższa musi być szybkość uczenia się.

Jeśli to prawda, dlaczego tak jest?

Tutaj udzielono odpowiedzi na to pytanie:

Czy w przypadku sieci neuronowych szybkość uczenia się powinna być w jakiś sposób proporcjonalna do rozmiarów warstw ukrytych? Czy powinny na siebie wpływać?

Krótka odpowiedź brzmi: tak, istnieje związek. Chociaż relacja nie jest tak trywialna, wszystko, co mogę powiedzieć, to to, że powierzchnia optymalizacji staje się bardziej złożona wraz ze wzrostem liczby ukrytych warstw, a zatem mniejsze wskaźniki uczenia się są ogólnie lepsze. Podczas gdy utrzymywanie się w lokalnych minimach jest możliwe przy niskim wskaźniku uczenia się, jest znacznie lepsze niż złożona powierzchnia i wysoki wskaźnik uczenia się.