Czym głęboka sieć neuronowa różni się od innych sieci neuronowych?

W jaki sposób sieć neuronowa posiadająca „głęboki” przymiotnik odróżnia się od innych podobnych sieci?

— kenorb
źródło

Różnica polega głównie na liczbie warstw.

Przez długi czas uważano, że „1-2 ukryte warstwy wystarczą do większości zadań”, a użycie tego było niepraktyczne, ponieważ szkolenie sieci neuronowych może być bardzo wymagające obliczeniowo.

W dzisiejszych czasach komputery są zdolne do znacznie więcej, więc ludzie zaczęli korzystać z sieci z większą liczbą warstw i stwierdzili, że działają bardzo dobrze do niektórych zadań.

Słowo „głębokie” ma na celu odróżnienie tych sieci od tradycyjnych „bardziej płytkich”.

— Odczarowany Lurker
źródło

Jeśli poprawnie zrozumiałem „głębokie uczenie się”, niektóre parametry (wagi) są ze sobą powiązane, co zmniejsza przestrzeń parametrów. Zwykłe NN nie mogą tego zrobić.

— Raphael

@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spacemasz na myśli Convolutional Neural Networks?

— publicgk

@publicgk Tak właśnie widziałem, tak.

— Raphael

Zawsze słyszałem, że „głębokie uczenie się” ma miejsce, gdy używasz bardzo dużych zbiorów danych. Czy to pomyłka i rozmiar danych nie ma znaczenia - czy też ludzie kojarzą głębokie uczenie się z ogromnymi zestawami danych, ponieważ jest to wymagane do szkolenia.

— Steven Sagona,

Chciałbym zaznaczyć, że to „przekonanie”, że sieć neuronowa z tylko 1 ukrytą warstwą może obliczyć dowolną funkcję, zostało faktycznie udowodnione (patrz np. Neuralnetworksanddeeplearning.com/chap4.html ). Myślę, że powinieneś wyjaśnić nieco więcej, dlaczego więcej niż 1 ukryta warstwa jest wtedy „wygodna”.

— nbro

Głęboka sieć neuronowa to po prostu sieć neuronowa (feed-forward) z wieloma warstwami.

Jednak sieci głębokiego przekonania, sieci głębokiego Boltzmana itp. Nie są uważane (dyskusyjne) głębokie sieci neuronowe, ponieważ ich topologia jest inna (w swojej topologii są to sieci nieukierowane).

Zobacz także: /stats//a/59854/84191 .

— Dawny33
źródło