Nie możesz znaleźć liniowej warstwy osadzającej w splotowej sieci neuronowej?

11

Mam architekturę sieci z artykułu „uczenie się drobnoziarnistego podobieństwa obrazu z głębokim rankingiem” i nie jestem w stanie zrozumieć, w jaki sposób dane wyjściowe z trzech równoległych sieci są łączone za pomocą liniowej warstwy osadzania. Jedyne informacje podane na tej warstwie w artykule to

Na koniec normalizujemy osadzanie z trzech części i łączymy je z liniową warstwą osadzania. Wymiar osadzania wynosi 4096.

Czy ktoś może mi pomóc w zrozumieniu, co dokładnie autor ma na myśli, gdy mówi o tej warstwie?

neural-network deep-network

— A. Sam
źródło

Szkoda, że nie ma odpowiedzi na to pytanie. Ponieważ utknąłem z dokładnie tym samym problemem. Rozgryzłeś to?

— LKM

Nie znalazłem odpowiedzi, ale po prostu połączyłem dane wejściowe z trzech części i przepuściłem je przez gęstą warstwę zawierającą 4096 węzłów.

— A. Sam

1

Liniowa warstwa osadzania musi być tylko fantazyjną nazwą dla gęstej warstwy bez aktywacji. „Liniowy” oznacza brak aktywacji (aktywacja to tożsamość). Osadzanie jest raczej koncepcją wektorowej reprezentacji danych wejściowych (np. Osadzanie słów). Wierzę, że elementy z drugiego wektora są po prostu dodawane do pierwszego elementu pod względem elementu.

— Dmytro Prylipko
źródło

0

Jest wspomniane w artykule:

Lokalna warstwa normalizacyjna normalizuje mapę obiektów wokół lokalnego sąsiedztwa w celu uzyskania normy jednostkowej i średniej zerowej. Prowadzi to do map obiektów, które są odporne na różnice w oświetleniu i kontraście.

Biorą każdą część modelu i normalizują go osobno.

Jeśli chodzi o łączenie ich, jak skomentowałeś, aby uchwycić najbardziej istotne cechy, przy niepełnej reprezentacji nie ma potrzeby nieliniowości.

— Fadi Bakoura
źródło