Efekt NIE zmieniania ciężaru filtra CNN podczas korekcji zwrotnej


10

Jaki jest efekt NIE zmieniania ciężarów filtrów CNN podczas propagacji wstecznej? Zmieniłem tylko w pełni połączone wagi warstw podczas treningu w zbiorze danych MNIST i nadal osiągałem prawie 99 procent dokładności.


Ciekawe, czy zacząłeś od wag losowych, czy korzystałeś z wag z poprzedniej sieci? Czy twoja miara dokładności zależy od zestawu treningowego, czy zestawu testowego?
Neil Slater,

@Neil Slater: Zacząłem od losowych wag gaussowskich. Miarą dokładności jest zestaw testowy.
Abhisek Dash

@Neil Slater: Dokładność prawie pozostaje taka sama, nawet przy różnych inicjalizacjach filtrów. Użyłem 2 warstw splotu i maksymalnej puli oraz warstwy FC z 256 ukrytymi neuronami
Abhisek Dash

Odpowiedzi:


12

Nie zmieniając ciężaru warstw splotowych CNN, w zasadzie podajesz swoje klasyfikatory (warstwa w pełni połączona) losowymi cechami (tj. Nie optymalnymi cechami dla danego zadania klasyfikacyjnego).

MNIST jest dość łatwym zadaniem do klasyfikacji obrazów, które można w zasadzie przesłać pikselami wejściowymi do klasyfikatora bez wyodrębniania cech i nadal osiąga wyniki w wysokich latach 90-tych. Poza tym być może warstwy puli pomagają trochę ...

Spróbuj wyszkolić MLP (bez warstw konw / puli) na obrazie wejściowym i zobacz, jak się on układa. Oto przykład, w którym MLP (1 ukryta i 1 warstwa wyjściowa) osiągnęła 98% + bez wstępnego przetwarzania / ekstrakcji funkcji.


Edytować:

Chciałbym również zwrócić uwagę na inną odpowiedź, którą napisałem, która szczegółowo opisuje, dlaczego MNIST jest tak prosty jak zadanie klasyfikacji obrazów.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.