Statystyki i duże zbiory danych autoencoders

2

Jakie jest pochodzenie sieci neuronowych autokodera?

Szukałem w Google, Wikipedii, Google Scholar i innych, ale nie mogłem znaleźć źródła Autoencoderów. Być może jest to jedna z tych koncepcji, które ewoluowały bardzo stopniowo i nie można prześledzić wyraźnego punktu wyjścia, ale nadal chciałbym znaleźć jakieś podsumowanie głównych etapów ich rozwoju. Rozdział o autoencoders w Ian Goodfellow, Yoshua …

14 neural-networks autoencoders history

4

Jakie są różnice między autoencoderami a t-SNE?

O ile mi wiadomo, zarówno autoencodery, jak i t-SNE są używane do nieliniowej redukcji wymiarowości. Jakie są między nimi różnice i dlaczego powinienem używać jednego kontra drugiego?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

1

Czy mogę używać ReLU w autoencoderze jako funkcji aktywacyjnej?

Podczas wdrażania autoencodera z siecią neuronową większość osób użyje sigmoid jako funkcji aktywacyjnej. Czy zamiast tego możemy użyć ReLU? (Ponieważ ReLU nie ma limitu górnej granicy, w zasadzie oznacza to, że obraz wejściowy może mieć piksel większy niż 1, w przeciwieństwie do ograniczonych kryteriów dla autoencodera, gdy używany jest sigmoid).

11 machine-learning neural-networks deep-learning autoencoders

2

KL Strata z jednostką Gaussa

Wdrażam VAE i zauważyłem w Internecie dwie różne implementacje uproszczonej rozbieżności Gaussa KL dla jednej zmiennej. Oryginalna rozbieżność, jak tutaj, jest K.L.l o s s= log(σ2)σ1) +σ2)1+ (μ1-μ2))2)2)σ2)2)-12)K.L.loss=log⁡(σ2)σ1)+σ12)+(μ1-μ2))2)2)σ2)2)-12) KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Jeśli założymy, że nasz przeor jest jednostką gaussowską tj μ2)= 0μ2)=0\mu_2=0 i σ2)= 1σ2)=1\sigma_2=1, upraszcza to do K.L.l o s s= …

10 inference kullback-leibler autoencoders variational-bayes

1

Nie można sprawić, aby ta sieć autokodera działała poprawnie (z warstwami splotowymi i maxpool)

Sieci autokoderów wydają się znacznie trudniejsze niż normalne sieci MLP klasyfikujące. Po kilku próbach użycia Lasagne wszystko, co otrzymuję w zrekonstruowanym wyjściu, jest w najlepszym razie rozmyte uśrednianie wszystkich obrazów bazy danych MNIST, bez rozróżnienia na to, co faktycznie jest cyfrą wejściową. Wybrana przeze mnie struktura sieci to następujące warstwy …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

1

Jakie są różnice między filtrami wyuczonymi w autoencoderze i splotowej sieci neuronowej?

W CNN poznamy filtry do tworzenia mapy obiektów w warstwie splotowej. W programie Autoencoder pojedynczą ukrytą jednostkę każdej warstwy można uznać za filtr. Jaka jest różnica między filtrami wyuczonymi w tych dwóch sieciach?

9 machine-learning neural-networks conv-neural-network autoencoders

Pytania otagowane jako autoencoders