1D Konwolucja w sieciach neuronowych

Rozumiem, jak działa splot, ale nie rozumiem, w jaki sposób splot 1D jest stosowany do danych 2D.

Splot 2D

W tym przykładzie widać splot 2D w danych 2D. Ale jak by to było, gdyby był splot 1D? Tylko jądro 1D przesuwa się w ten sam sposób? A jeśli krok miał 2?

Dziękuję Ci!

conv-neural-network

— Gustavo
źródło

Wystarczy spojrzeć na pierwszy wiersz każdej matrycy.

— Piotr Migdal

Czy możesz podać mi przykład?

— Gustavo,

Zwinięcia 1d nie byłyby naprawdę przydatne w przypadku ścisłego obrazu 2D. Obrazy w skali szarości są technicznie 3D, ponieważ mają trzy kanały kolorów.

— Ethan

@Gustavo Podobnie jak ten: toto-share.com/wp-content/uploads/2011/11/... Chyba że masz na myśli splot 1x1 (w sensie sieci neuronowych), co jest inną rzeczą.

— Piotr Migdal

Mój problem dotyczy zwojów takich jak: d3kbpzbmcynnmx.cloudfront.net/wp-content/uploads/2015/11/... Istnieją dwa zwoje , jeden z wielkością jądra 3, a drugi z wielkością 2 ... Ale te jądra mają rozmiar 1D lub rozmiar xk ?

— Gustavo

Odpowiedzi:

Pozwolić $x_1, …,x_n$ być sekwencją wektorów (np. wektorów słów). Zastosowanie warstwy splotowej jest równoważne z zastosowaniem tej samej macierzy masy do wszystkich n-gramów, gdzie $n$ to wysokość twojego filtra. Np. Jeśli $n=3$ , możesz to wizualizować w następujący sposób:

Aby uzyskać nieco bardziej matematyczne wyjaśnienie, sprawdź Ji Young Lee, Franck Dernoncourt. „ Sekwencyjna klasyfikacja krótkich tekstów z rekurencyjnymi i splotowymi sieciami neuronowymi ”. NAACL 2016 . sekcja 2.1.2:

— Franck Dernoncourt
źródło

Splot 1D stosuje się w sieciach splotowych do próbkowania w dół i próbkowania w górę w wymiarze filtra. Sieci konwergentne tworzą te mapy filtrów, gdy przechodzisz przez sieć, możesz naprawdę myśleć o nich jako o trzecim wymiarze. Zwykle podstawowy przypadek wymiaru mapy filtra ma rozmiar 3, ponieważ często będziemy mieć obrazy RGB przechodzące przez naszą sieć.

Te sploty 1D mogą być przydatne do próbkowania w dół, wykonywania niektórych operacji, a następnie próbkowania w górę z powrotem do tego samego wymiaru. Jest to bardzo przydatne ze względu na wydajność.

Aby naprawdę intuicyjnie zrozumieć, sugerowałbym przeczytanie:

Sieć w sieci - http://arxiv.org/abs/1312.4400

Sięgnij głębiej ze zwojami - https://www.google.com/url?sa=t&source=web&rct=j&url=http://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf&ved=0ahUKEwi89oeuxqnLAhXhuIMKHZrTCe0QFggAEQQGGCMEQQGGCMEQQGGCMEQQGGCMEQQGGMEQQGGMEQQGGEQQGGEQQGGEQQGGEQQGGQMEQQGGEQQGGQMEQQGGEQQGGQMEQQGGEQQGGQMEQQGGEQQGGQMEQQGGEQQGGQM0Q rrECNQ72wI3PH1Qw & sig2 = VhjfaMvuskNIDVKhFfNiqQ

— Ethan
źródło

Wygląda na to, że mówisz o zwojach 1x1 (w sensie sieci neuronowych), a nie zwojach 1D.

— Piotr Migdal

Tak, założyłem, że w grę wchodzą sieci neuronowe. Natrafiłem na link do tego pytania w / r / MLQuestions na reddit, więc założyłem, że jest to związane z ML. Ale dla zwykłego splotu nie jest to tak istotne: P.

— Ethan,