Czy istnieją sieci neuronowe z bardzo małą liczbą węzłów, które przyzwoicie rozwiązują niebanalne problemy?

Chciałbym wiedzieć, czy istnieje jakaś sieć neuronowa, która rozwiązuje (z> = 80% dokładnością) każdy nietrywialny problem, który wykorzystuje bardzo niewiele węzłów (gdzie 20 węzłów nie jest twardym limitem). Chcę rozwinąć intuicję dotyczącą rozmiarów sieci neuronowych.

neural-networks

— Guillermo Mosse
źródło

Uniwersalne twierdzenie o aproksymacji: sieć neuronowa z jedną ukrytą warstwą może aproksymować dowolną „rozsądną” funkcję, biorąc pod uwagę wystarczającą liczbę węzłów w ukrytej warstwie.

— nbro

Myślę, że nie będzie łatwo odpowiedzieć na twoje pytanie. Co rozumiesz przez „nietrywialny problem”?

— nbro

Chcę kilka węzłów nawet w ukrytych warstwach.

— Guillermo Mosse

@ nbro moje poczucie „nietrywialności” w tym kontekście jest trudne do rozwiązania lub nierozwiązane.

— DukeZhou

Nawet jeśli nie można poprawnie odpowiedzieć na to pytanie, ponieważ nie jest to trywialne określenie (może autor będzie później edytować te pytania, aby lepiej je określić), korzystam z okazji, aby wskazać ten artykuł, który wydaje mi się interesujący

Najmniejsza sieć neuronowa do nauki krytyczności Ising

Zakładając, że masz ogólne wyobrażenie o modelu Isinga , myślę, że problem z identyfikacją temperatury krytycznej z perspektywy opartej na danych można uznać za nieistotny, a artykuł pokazuje, w jaki sposób autorzy poprawili wydajność związaną z rozwiązaniem tego zadania z przejściem NN z 100 ukrytych neuronów, jak opisano w tym artykule Fazy uczenia maszynowego materii od 2017 roku, do zaledwie 2 ukrytych neuronów

Tylko moje centy:

redukcja neuronów, przy jednoczesnym zachowaniu dobrej wydajności, powinna pomóc w interpretacji przetwarzania neuronowego, które jest powszechnie niejasne, a jego złożoność rośnie (wykładniczo) wraz z liczbą neuronów

— Nicola Bernini
źródło

Chciałem tylko przykładów, które sama społeczność uznała za interesujące. Wydaje mi się, że zdefiniowanie nietrywialności nie jest wcale banalne. Dobrze?

— Guillermo Mosse

@ GuillermoMosse Nie, zdefiniowanie tego, co nie jest łatwe, jest dość proste. Definicja jest mniej więcej dowolna w zależności od tego, co najlepiej pasuje do sytuacji. Jestem pewien, że bardzo prosty NN mógłby nauczyć się mówić, czy dana liczba jest nietrywialnym pierwiastkiem kwadratowym ...

— las