Efekt NIE zmieniania ciężaru filtra CNN podczas korekcji zwrotnej

Jaki jest efekt NIE zmieniania ciężarów filtrów CNN podczas propagacji wstecznej? Zmieniłem tylko w pełni połączone wagi warstw podczas treningu w zbiorze danych MNIST i nadal osiągałem prawie 99 procent dokładności.

machine-learning cnn mnist

— Abhisek Dash
źródło

Ciekawe, czy zacząłeś od wag losowych, czy korzystałeś z wag z poprzedniej sieci? Czy twoja miara dokładności zależy od zestawu treningowego, czy zestawu testowego?

— Neil Slater,

@Neil Slater: Zacząłem od losowych wag gaussowskich. Miarą dokładności jest zestaw testowy.

— Abhisek Dash

@Neil Slater: Dokładność prawie pozostaje taka sama, nawet przy różnych inicjalizacjach filtrów. Użyłem 2 warstw splotu i maksymalnej puli oraz warstwy FC z 256 ukrytymi neuronami

— Abhisek Dash

Nie zmieniając ciężaru warstw splotowych CNN, w zasadzie podajesz swoje klasyfikatory (warstwa w pełni połączona) losowymi cechami (tj. Nie optymalnymi cechami dla danego zadania klasyfikacyjnego).

MNIST jest dość łatwym zadaniem do klasyfikacji obrazów, które można w zasadzie przesłać pikselami wejściowymi do klasyfikatora bez wyodrębniania cech i nadal osiąga wyniki w wysokich latach 90-tych. Poza tym być może warstwy puli pomagają trochę ...

Spróbuj wyszkolić MLP (bez warstw konw / puli) na obrazie wejściowym i zobacz, jak się on układa. Oto przykład, w którym MLP (1 ukryta i 1 warstwa wyjściowa) osiągnęła 98% + bez wstępnego przetwarzania / ekstrakcji funkcji.

Edytować:

Chciałbym również zwrócić uwagę na inną odpowiedź, którą napisałem, która szczegółowo opisuje, dlaczego MNIST jest tak prosty jak zadanie klasyfikacji obrazów.

— Djib2011
źródło