Pytania otagowane jako variational-bayes

Wariacyjne metody bayesowskie aproksymują niemożliwe do wykonania całki występujące we wnioskowaniu bayesowskim i uczeniu maszynowym. Przede wszystkim metody te służą jednemu z dwóch celów: przybliżeniu późniejszej dystrybucji lub ograniczeniu marginalnego prawdopodobieństwa obserwowanych danych.

1
Wnioskowanie wariacyjne a MCMC: kiedy wybrać jedną z drugiej?
Wydaje mi się, że mam ogólne pojęcie zarówno o VI, jak i MCMC, w tym o różnych smakach MCMC, takich jak próbkowanie Gibbs, Metropolis Hastings itp. Ten artykuł stanowi wspaniałą prezentację obu metod. Mam następujące pytania: Jeśli chcę robić wnioskowanie bayesowskie, dlaczego miałbym wybierać jedną metodę zamiast drugiej? Jakie są …
1
Związek między wariacyjnymi Bayes i EM
Czytałem gdzieś, że metoda Variational Bayes jest uogólnieniem algorytmu EM. Rzeczywiście, iteracyjne części algorytmów są bardzo podobne. Aby przetestować, czy algorytm EM jest specjalną wersją Variational Bayes, próbowałem: YYY to dane, to zbiór ukrytych zmiennych, a to parametry. W Variational Bayes, które wykonujemy, możemy dokonać przybliżenia, tak aby . Gdzie …
1
Co to są wariacyjne autoencodery i do jakich zadań uczenia się są wykorzystywane?
Zgodnie z tą i tą odpowiedzią autoencodery wydają się być techniką wykorzystującą sieci neuronowe do redukcji wymiarów. Chciałbym dodatkowo wiedzieć, czym jest wariacyjny autoencoder (jego główne różnice / zalety w stosunku do „tradycyjnych” autoencoderów), a także jakie są główne zadania edukacyjne, do których są wykorzystywane te algorytmy.
4
Kiedy powinienem używać wariacyjnego autoencodera w przeciwieństwie do autoencodera?
Rozumiem podstawową strukturę wariacyjnego autoencodera i normalnego (deterministycznego) autoencodera oraz matematykę za nimi, ale kiedy i dlaczego wolałbym jeden typ autoencodera od drugiego? Mogę tylko pomyśleć o wcześniejszym rozkładzie ukrytych zmiennych autoencodera wariacyjnego, który pozwala nam próbkować ukryte zmienne, a następnie konstruować nowy obraz. Jaką przewagę ma stochastyczność autokodera wariacyjnego …
1
Jaka jest „pojemność” modelu uczenia maszynowego?
Studiuję ten samouczek na temat Autoencoderów wariacyjnych autorstwa Carla Doerscha . Na drugiej stronie znajduje się: Jednym z najpopularniejszych takich frameworków jest AutoCoder wariacyjny [1, 3], będący przedmiotem tego samouczka. Założenia tego modelu są słabe, a trening jest szybki dzięki propagacji wstecznej. Wartości VAE dokonują przybliżenia, ale błąd wprowadzony przez …
1
Wnioskowanie wariacyjne, rozbieżność KL wymaga prawdziwej
Aby mój (bardzo skromny) zrozumieć wnioskowanie wariacyjne, próbuje się przybliżyć przybliżenie nieznanego rozkładu , znajdując rozkład który optymalizuje:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Ilekroć inwestuję czas w zrozumienie wnioskowania wariacyjnego, ciągle uderzam w tę formułę i nie mogę się powstrzymać, ale czuję, że nie rozumiem tego. Wydaje się, …
1
Jaka jest różnica między VAE a stochastyczną propagacją wsteczną dla modeli Deep Generative?
Jaka jest różnica między automatycznym kodowaniem odmian Bayesa a stochastyczną propagacją wsteczną dla modeli głębokiej generacji ? Czy wnioskowanie w obu metodach prowadzi do takich samych wyników? Nie znam żadnych wyraźnych porównań między tymi dwiema metodami, mimo że obie grupy autorów cytują się nawzajem.
2
KL Strata z jednostką Gaussa
Wdrażam VAE i zauważyłem w Internecie dwie różne implementacje uproszczonej rozbieżności Gaussa KL dla jednej zmiennej. Oryginalna rozbieżność, jak tutaj, jest K.L.l o s s= log(σ2)σ1) +σ2)1+ (μ1-μ2))2)2)σ2)2)-12)K.L.loss=log⁡(σ2)σ1)+σ12)+(μ1-μ2))2)2)σ2)2)-12) KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} Jeśli założymy, że nasz przeor jest jednostką gaussowską tj μ2)= 0μ2)=0\mu_2=0 i σ2)= 1σ2)=1\sigma_2=1, upraszcza to do K.L.l o s s= …
1
Wariacyjne Bayes w połączeniu z Monte Carlo
Czytam o wariacyjnych Bayesach i, jak rozumiem, sprowadza się to do pomysłu, który przybliżasz p ( z∣ x )p(z∣x)p(z\mid x) (gdzie zzz są ukrytymi zmiennymi twojego modelu i xxx dane obserwowane) z funkcją q( z)q(z)q(z), przyjmując, że qqq faktoryzuje jako qja(zja)qi(zi)q_i(z_i) gdzie ziziz_ijest podzbiorem ukrytych zmiennych. Następnie można wykazać, że …
2
Szacowanie niepewności w problemach wnioskowania wielowymiarowego bez próbkowania?
Pracuję nad problemem wnioskowania o dużych wymiarach (około 2000 parametrów modelu), dla którego jesteśmy w stanie solidnie przeprowadzić oszacowanie MAP poprzez znalezienie globalnego maksimum log-tylnego przy użyciu kombinacji optymalizacji opartej na gradiencie i algorytmu genetycznego. Bardzo chciałbym mieć możliwość oszacowania niepewności parametrów modelu oprócz znalezienia oszacowania MAP. Jesteśmy w stanie …
2
Zastosowanie stochastycznego wnioskowania wariacyjnego do Bayesian Mixture of Gaussian
Próbuję zaimplementować model mieszanki Gaussa z stochastycznym wnioskiem wariacyjnym, zgodnie z tym artykułem . To jest pgm mieszanki Gaussa. Według artykułu, pełny algorytm stochastycznego wnioskowania wariacyjnego to: I nadal jestem bardzo zdezorientowany co do metody skalowania go do GMM. Po pierwsze, myślałem, że lokalny parametr wariacyjny jest po prostu qzqzq_za …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.