Czy opublikowano jakieś prace, które pokazują różnice w metodach regularyzacji sieci neuronowych, najlepiej w różnych domenach (lub przynajmniej w różnych zestawach danych)?
Pytam, ponieważ obecnie mam wrażenie, że większość ludzi wydaje się używać tylko porzucenia w celu uregulowania widzenia komputerowego. Chciałbym sprawdzić, czy istnieje powód (nie) zastosowania różnych sposobów regularyzacji.
Odpowiedzi:
Dwa punkty:
W każdym razie jestem trochę sceptyczny wobec badań empirycznych sieci neuronowych. Jest zbyt wiele hiperparametrów, aby je dostroić, od topologii sieci, przez procedurę optymalizacji spadku gradientu, po funkcje aktywacji i cokolwiek testujesz, jak regularyzacja. Następnie cała sprawa jest stochastyczna i zwykle wzrost wydajności jest tak mały, że trudno jest statystycznie sprawdzić różnice. Wielu autorów nawet nie zawraca sobie głowy przeprowadzaniem testów statystycznych. Po prostu uśredniają wzajemną walidację i deklarują, że model, który uzyskał najwyższy przyrost punktu dziesiętnego, został zwycięzcą.
Może się okazać, że badanie promujące porzucenie nauki jest sprzeczne z kolejną promocją regularyzacji.
Myślę, że wszystko sprowadza się do preferencji estetycznych. Porzucenie IMHO brzmi bardziej biologicznie prawdopodobne niż regularyzacja. Wydaje się również, że łatwiej skalibrować. Tak więc osobiście wolę to podczas korzystania z frameworka takiego jak TensorFlow. Jeśli będziemy musieli korzystać z własnej sieci neuronowej, co często robimy, zastosujemy regularyzację, ponieważ łatwiej było ją wdrożyć.
Zdecydowanie. Artykuł od samego Stwórcy, Geoffreya Hintona. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf przeczytaj. Ale zachęcam cię, abyś sam zobaczył różnicę we wdrażaniu.