Jakie czynniki powodują, że rozkłady tylne są trudne do zniesienia?

W statystykach bayesowskich często wspomina się, że rozkład a posteriori jest trudny do rozwiązania, dlatego należy zastosować wnioskowanie przybliżone. Jakie czynniki powodują tę trudność?

Problem polega głównie na tym, że analiza bayesowska obejmuje całki , często wielowymiarowe w realistycznych problemach, i to te całki są zazwyczaj trudne do analizy (z wyjątkiem kilku szczególnych przypadków wymagających użycia sprzężonych priorów).

Z kolei wiele statystyk nie bayesowskich opiera się na maksymalnym prawdopodobieństwie - znalezieniu maksimum funkcji (zwykle wielowymiarowej), która obejmuje znajomość jej pochodnych , tj. Różnicowanie. Mimo to metody numeryczne są stosowane w wielu bardziej skomplikowanych problemach, ale bez nich można dalej sięgać dalej, a metody numeryczne mogą być prostsze (nawet jeśli mniej proste metody mogą działać lepiej w praktyce).

Powiedziałbym więc, że sprowadza się to do tego, że różnicowanie jest łatwiejsze niż integracja.

Miałem okazję zadać Davidowi Blei to pytanie osobiście, a on powiedział mi, że trudność w tym kontekście oznacza jedną z dwóch rzeczy:

1. Całka nie ma zamkniętego rozwiązania. Może się tak zdarzyć, gdy modelujemy niektóre złożone, rzeczywiste dane i po prostu nie możemy zapisać dystrybucji na papierze.

2. Całka jest trudna obliczeniowo. Polecił mi usiąść z długopisem i papierem i rzeczywiście opracować marginalne dowody na bayesowską mieszankę Gaussów. Przekonasz się, że jest on trudny obliczeniowo, tzn. Wykładniczy. Daje dobry przykład tego w niedawnym artykule (patrz 2.1 Problem wnioskowania przybliżonego ).

FWIW, uważam ten wybór słów za mylący, ponieważ (1) jest on przeciążony w znaczeniu i (2) jest już szeroko stosowany w CS, aby odnosić się tylko do obliczeniowej trudności.

W rzeczywistości istnieje szereg możliwości:

1. wyrażenie zamknięte jest dostępne dla tylnej (przykład: , przed : i tylnej to dystrybucja ),$Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. tylna jest przejezdna aż do stałej normalizującej (przykład: , przed jest i )$Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. proces generowania danych jest skomplikowanym mechanizmem, który jest tak złożony, że nie możemy zanotować prawdopodobieństwa (lub jeśli możemy to potrwać wiecznie), ale możemy przeprowadzić symulację na podstawie procesu generowania danych (np. pewnego rodzaju proces określający, w jaki sposób niektóre właściwości rozwijać się przez wiele pokoleń w populacji). Aby kontynuować przykład z góry, w tym przypadku nie mielibyśmy wyrażenia w postaci zamkniętej dla , ale moglibyśmy symulować realizacje przy określonej wartości (nie mówmy nawet o przypadku, w którym mamy nie mam pojęcia, jak powstają dane ...).$p(y|\pi)$$Y$$\pi$

Ludzie zwykle mają na myśli coś w rodzaju (2), gdy mówią o (analitycznie) niestabilnym odcinku bocznym i coś w rodzaju (3), gdy mówią o nietraktalnym prawdopodobieństwie. Jest to trzeci przypadek, gdy przybliżone obliczenie bayesowskie jest jedną z opcji, podczas gdy w drugim przypadku metody MCMC są zwykle wykonalne (które możesz argumentować, są w pewnym sensie przybliżone). Nie jestem do końca pewien, do którego z tych cytatów odnosi się podany przez ciebie cytat.

Traktowalność związana jest z zamkniętą formalnością wyrażenia .

Mówi się, że problemy są możliwe do rozwiązania, jeśli można je rozwiązać za pomocą wyrażenia w formie zamkniętej.

W matematyce wyrażenie w formie zamkniętej jest wyrażeniem matematycznym, które można ocenić za pomocą skończonej liczby operacji. Może zawierać stałe, zmienne, pewne „dobrze znane” operacje (np. + - × ÷) i funkcje (np. N-ty pierwiastek, wykładnik, logarytm, funkcje trygonometryczne i odwrotne funkcje hiperboliczne), ale zazwyczaj nie ma ograniczenia. Zestaw operacji i funkcji dopuszczonych w wyrażeniu zamkniętym może się różnić w zależności od autora i kontekstu.

Tak więc trudność oznacza, że ​​istnieje pewien rodzaj granicy / nieskończoności (jak nieskończone sumowanie w całkach), której nie można oszacować w skończonej liczbie operacji, a zatem należy zastosować techniki aproksymacji (jak MCMC).

Artykuł w Wikipedii wskazuje na tezę Cobhama, która próbuje sformalizować tę „liczbę operacji”, a tym samym wykonalność.