Czytam kamień węgielny „ Sekwencja do nauki sekwencji za pomocą sieci neuronowych” Ilyi Sutskever i Quoc Le. Na pierwszej stronie krótko wspomina, że:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
Czy ktoś może pokrótce opisać, jak sortować liczby przy użyciu tylko 2 ukrytych warstw?
Odpowiedzi:
Przeprowadzając badania, znalazłem artykuł, który dowodzi, że sortowanie można wykonać z maksymalnie 3 warstwami, a ich rozwiązanie jest optymalne, jeśli ograniczysz wielkość sieci do wielomianowej wrt do liczby liczb wejściowych:
Głębokie efektywne sieci neuronowe dla problemów związanych z podziałem i pokrewnych , patrz Twierdzenie 7 na stronie 955 (strona 10 w pliku PDF).
Wyobrażam sobie, że można ręcznie wymyślić ciężarki, aby dokładnie wykonać zadanie, ale może chodzi o to, aby móc je wyszkolić? Kilka przykładów: