Czy warto trenować CNN jako autoencoder?

Pracuję z analizą danych EEG, które ostatecznie będą musiały zostać sklasyfikowane. Jednak uzyskanie etykiet do nagrań jest dość drogie, co skłoniło mnie do rozważenia podejść bez nadzoru, aby lepiej wykorzystać nasze dość duże ilości nieoznaczonych danych.

To naturalnie prowadzi do rozważenia stosowania ustawionych na sobie autoencoderów, co może być dobrym pomysłem. Jednak sensowne byłoby również stosowanie splotowych sieci neuronowych, ponieważ pewien rodzaj filtrowania jest ogólnie bardzo przydatnym podejściem do EEG i prawdopodobne jest, że rozważane epoki powinny być analizowane lokalnie, a nie jako całość.

Czy istnieje dobry sposób na połączenie tych dwóch podejść? Wydaje się, że kiedy ludzie korzystają z CNN, zwykle korzystają z nadzorowanych szkoleń, czy co? Dwie główne zalety eksploracji sieci neuronowych dla mojego problemu wydają się być aspektem bez nadzoru i dostrajaniem (interesujące byłoby stworzenie sieci danych dotyczących populacji, a następnie na przykład dostrojenie osoby).

Czy ktoś wie, czy mógłbym po prostu wstępnie wyszkolić CNN tak, jakby to był „okaleczony” autoencoder, czy byłoby to bezcelowe?

Czy powinienem rozważyć inną architekturę, na przykład sieć głębokich przekonań?

Tak, sensowne jest używanie CNN z autoencoderami lub innymi metodami bez nadzoru. Rzeczywiście, wypróbowano różne sposoby łączenia CNN z treningiem bez nadzoru w przypadku danych EEG, w tym za pomocą auto-koderów (splotowych i / lub skumulowanych).

Przykłady:

Dogłębne uczenie się funkcji dla nagrań EEG korzysta z autokoderów splotowych z niestandardowymi ograniczeniami w celu poprawy uogólnienia na różne tematy i próby.

Oparte na EEG przewidywanie zdolności poznawczych kierowcy przez głęboko splotową sieć neuronową wykorzystuje splotowe sieci głębokiego przekonania na pojedynczych elektrodach i łączy je z całkowicie połączonymi warstwami.

W nowatorskim podejściu do głębokiego uczenia się do klasyfikacji sygnałów obrazów silnikowych EEG zastosowano w pełni połączone sterowane autokodery na wyjściu nadzorowanego (dość płytkiego) CNN.

Ale również wyłącznie nadzorowane sieci CNN odniosły sukces w zakresie danych EEG, patrz na przykład:

EEGNet: kompaktowa sieć konwergentna dla interfejsów mózg-komputer opartych na EEG

Dogłębne uczenie się za pomocą splotowych sieci neuronowych do mapowania mózgu i dekodowania informacji związanych z ruchem z ludzkiego EEG (ujawnienie: Jestem pierwszym autorem tej pracy, więcej powiązanych prac patrz str. 44)

Należy zauważyć, że dokument EEGNet pokazuje, że również przy mniejszej liczbie prób, wyłącznie nadzorowany trening ich CNN może przewyższyć swoje wartości wyjściowe (patrz Ryc. 3). Również w naszym doświadczeniu z zestawem danych zawierającym tylko 288 prób szkoleniowych, wyłącznie nadzorowane CNN działają dobrze, nieznacznie przewyższając bazowe wspólne wzorce przestrzenne tradycyjnych banków filtrów.

Tak, możesz użyć sieci splotowej w ustawieniach autoencodera. Nie ma w tym nic dziwnego. Ludzie mają jednak problemy ze znalezieniem warstw dekonwolucji .

Tutaj możesz znaleźć przykład autokodera splotowego z wykorzystaniem frameworka Keras: https://blog.keras.io/building-autoencoders-in-keras.html