Czy sieci neuronowe używają wydajnego kodowania?

Moje pytanie dotyczy związku między hipotezą efektywnego kodowania, która została opisana na stronie Wikipedii dotyczącej wydajnego kodowania i algorytmów uczenia sieci neuronowej.

Jaki jest związek między efektywną hipotezą kodowania a sieciami neuronowymi?

Czy są jakieś modele sieci neuronowych wyraźnie zainspirowane hipotezą wydajnego kodowania?

Czy może bardziej sprawiedliwym byłoby stwierdzenie, że wszystkie algorytmy uczenia sieci neuronowej są przynajmniej domyślnie oparte na wydajnym kodowaniu?

neural-networks information-theory

— Mike NZ
źródło

Być może szukasz rzadkich autoencoderów ? (Jeśli twoje zainteresowanie jest mniej techniczne i bardziej ogólne / filozoficzne, sugestia użytkownika kenorb może być odpowiednia.)

— GeoMatt22

Interesujące pytanie. Domyślam się, że NN nie są bliskie tego, co możemy uznać za „wydajne”. Myślę, że powszechnie stosowane techniki, takie jak Dropout, rzeczywiście miałyby na celu zmniejszenie wydajności kodowania.

— kbrose

Inne odniesienie: hipoteza losów na loterii, arxiv.org/abs/1803.03635 artykuł mówi o znalezieniu ciężko pracujących podsieci, ale myślę, że mogą istnieć połączenia z wydajnym kodowaniem

— kbrose

Nie jestem ekspertem od teorii informacji, ale nie wierzę, aby istniał związek między wydajnym kodowaniem tego, co robią NN, ani nie jestem świadomy żadnych historycznych ani obecnych prób wprowadzenia wydajnego kodowania. Jednakże, może to być prawdą, że NNS zrobić kodowanie sygnałów skutecznie: arxiv.org/abs/1503.02406

— shadowtalker

Nie mam jeszcze (jeszcze) wystarczającej odpowiedzi, ale wydaje mi się, że odnosi się to do pytania, czy NN tak naprawdę zapamiętują, a nie uczą się.

— Bill Clark

Uważam, że można argumentować, że nawiązano połączenie. Przepraszam, że nie opublikowałem mojego źródła, ponieważ nie mogłem go znaleźć, ale pochodziło ono ze starego slajdu, który przedstawił Hinton. Twierdził w nim, że jednym z podstawowych sposobów myślenia dla tych, którzy uczą się maszynowo (ponieważ prezentacja była wcześniejsza niż powszechne użycie słowa głębokie uczenie się) było to, że istnieje optymalna transformacja danych, dzięki czemu dane mogą być łatwo nauczyli. Uważam, że w przypadku sieci neuronowych „optymalna transformacja” danych za pomocą podpory tylnej jest skuteczną hipotezą kodowania w działaniu. W taki sam sposób, jak w przypadku właściwego jądra, wiele przestrzeni można łatwo sklasyfikować za pomocą modeli liniowych, ucząc się właściwego sposobu przekształcania i przechowywania danych JEST analogicznie do tego, w jaki sposób i jak neurony powinny być ustawione do reprezentowania danych.

— Anonimowy Emu
źródło