Po obejrzeniu filmów na youtube wydaje mi się, że nie jestem w stanie zdefiniować, czym jest wnioskowanie wariacyjne. Mogę przestrzegać procedur podczas oglądania wykładów wideo na ten temat. Ale trudno zdefiniować, co naprawdę jest. Mam nadzieję, że o tym usłyszę.
Odpowiedzi:
Nie w oparciu o moją wiedzę, ale oto artykuł (w dość prostym języku angielskim), który moim zdaniem jest bardzo istotny dla pytania: Blei, Kucukelbir i McAuliffe 2016. Wnioskowanie wariacyjne: przegląd dla statystów . https://arxiv.org/abs/1601.00670
Z streszczenia:
Jednym z podstawowych problemów współczesnej statystyki jest przybliżenie trudnych do obliczenia gęstości prawdopodobieństwa. Problem ten jest szczególnie ważny w statystyce bayesowskiej, która zawiera wszystkie wnioski na temat nieznanych wielkości jako obliczenia dotyczące gęstości tylnej. W tym artykule dokonujemy przeglądu wnioskowania wariacyjnego (VI), metody uczenia maszynowego, która przybliża gęstości prawdopodobieństwa poprzez optymalizację. VI był wykorzystywany w wielu aplikacjach i jest zwykle szybszy niż metody klasyczne, takie jak próbkowanie Monte Carlo w łańcuchu Markowa. Ideą VI jest najpierw założenie rodziny gęstości, a następnie znalezienie członka tej rodziny, który jest bliski celowi. Bliskość mierzy się dywergencją Kullbacka-Leiblera. Przeglądamy idee wnioskowania wariacyjnego pola średniego, omawiamy szczególny przypadek VI zastosowany do wykładniczych modeli rodzinnych, przedstawiamy pełny przykład z bayesowską mieszanką Gaussów i otrzymujemy wariant, który wykorzystuje optymalizację stochastyczną do skalowania do ogromnych danych. Omawiamy współczesne badania w VI i podkreślamy ważne otwarte problemy. VI jest potężny, ale nie jest jeszcze dobrze poznany . Naszą nadzieją w napisaniu tego artykułu jest katalizowanie badań statystycznych dotyczących tej klasy algorytmów.
Oferują również wskazówki, kiedy statystycy powinni stosować próbkowanie Monte Carlo w łańcuchu Markowa i kiedy wnioskowanie wariacyjne (patrz akapit Porównanie wnioskowania wariacyjnego i MCMC w artykule).