Jakie jest pochodzenie sieci neuronowych autokodera?

Szukałem w Google, Wikipedii, Google Scholar i innych, ale nie mogłem znaleźć źródła Autoencoderów. Być może jest to jedna z tych koncepcji, które ewoluowały bardzo stopniowo i nie można prześledzić wyraźnego punktu wyjścia, ale nadal chciałbym znaleźć jakieś podsumowanie głównych etapów ich rozwoju.

Rozdział o autoencoders w Ian Goodfellow, Yoshua Bengio i książki Aaron Courville Deep Learning mówi:

Idea autoencoderów jest częścią historycznego krajobrazu sieci neuronowych od dziesięcioleci (LeCun, 1987; Bourlard i Kamp, 1988; Hinton i Zemel, 1994). Tradycyjnie do redukcji wymiarów lub uczenia funkcji wykorzystywano autokodery.

Ta prezentacja Pascala Vincenta mówi:

Odmawianie za pomocą klasycznych autoencoderów zostało wprowadzone znacznie wcześniej (LeCun, 1987; Gallinari i in., 1987), jako alternatywa dla sieci Hopfield (Hopfield, 1982).

Wydaje się to sugerować, że „klasyczne autoencodery” istniały wcześniej: LeCun i Gallinari użyli ich, ale ich nie wymyślili. Nie widzę śladu „klasycznych autoencoderów” wcześniej niż w 1987 roku.

Jakieś pomysły?

Zgodnie z historią przedstawioną w Schmidhuber, „ Głębokie uczenie się w sieciach neuronowych: przegląd ”, „ Sieci neuronowe (2015), auto-kodery zaproponowano jako metodę bezobsługowego wstępnego szkolenia w Ballard,„ Uczenie modułowe w sieciach neuronowych ”, Postępowanie AAAI (1987). Nie jest jednak jasne, czy po raz pierwszy zastosowano automatyczne kodery; to pierwszy raz, kiedy zostały użyte do celów ANN przed treningiem .

Jak wyjaśnia wprowadzenie do artykułu Schmidhubera, nieco trudno jest przypisać wszystkie pomysły zastosowane w ANN, ponieważ literatura jest zróżnicowana, a terminologia ewoluowała z czasem.

Poniższy artykuł mówi o autoencoderze pośrednio i pochodzi z 1986 roku (czyli o rok wcześniej niż artykuł Ballarda z 1987 roku)

DE Rumelhart, GE Hinton i RJ Williams, „Uczenie się wewnętrznych reprezentacji poprzez propagację błędów”. , Równoległe przetwarzanie rozproszone. Vol 1: Fundations. MIT Press, Cambridge, MA, 1986.

Artykuł zasadniczo opisuje nowatorski rodzaj sieci przekazywania informacji w tamtym czasie i jej matematyczny formalizm.