Najpopularniejsze splotowe sieci neuronowe zawierają pule warstw, aby zmniejszyć wymiary elementów wyjściowych. Dlaczego nie mogłem osiągnąć tego samego, po prostu zwiększając tempo warstwy splotowej? Co sprawia, że warstwa puli jest konieczna?
Najpopularniejsze splotowe sieci neuronowe zawierają pule warstw, aby zmniejszyć wymiary elementów wyjściowych. Dlaczego nie mogłem osiągnąć tego samego, po prostu zwiększając tempo warstwy splotowej? Co sprawia, że warstwa puli jest konieczna?
Odpowiedzi:
Rzeczywiście możesz to zrobić, patrz Dążenie do prostoty: cała sieć konwergentna . Pula danych daje pewną niezmienność tłumaczenia, co może, ale nie musi być pomocne. Również pula jest szybsza do obliczenia niż zwoje. Mimo to zawsze możesz spróbować zastąpić pulę splotem krokiem i przekonać się, co działa lepiej.
Niektóre bieżące prace wykorzystują średnie pule ( Wide Residual Networks , DenseNets ), inne wykorzystują splot z krokiem ( DelugeNets )
Najwyraźniej maksymalne buforowanie pomaga, ponieważ wydobywa najostrzejsze cechy obrazu. Zatem biorąc pod uwagę obraz, najostrzejsze cechy są najlepszą reprezentacją obrazu na niższym poziomie. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling
Ale zgodnie z wykładem głębokiego uczenia się Andrew Ng maksymalne łączenie działa dobrze, ale nikt nie wie, dlaczego. Cytuj -> „Ale muszę przyznać, myślę, że głównym powodem, dla którego ludzie używają maksymalnego łączenia, jest to, że stwierdzono, że w wielu eksperymentach działa dobrze ... Nie znam nikogo, kto w pełni wie, czy to prawda podstawowy powód ”.