Próbkowanie z niewłaściwej dystrybucji (przy użyciu MCMC i innych)

Moje podstawowe pytanie brzmi: w jaki sposób próbowałbyś z niewłaściwej dystrybucji? Czy sens ma nawet próbkowanie z niewłaściwej dystrybucji?

Komentarz Xi'ana tutaj w pewnym sensie odpowiada na pytanie, ale szukałem więcej szczegółów na ten temat.

Bardziej specyficzne dla MCMC:

Mówiąc o MCMC i czytając artykuły, autorzy podkreślają, że uzyskali prawidłowe rozkłady tylne. Istnieje słynny artykuł Geyera (1992), w którym autor zapomniał sprawdzić, czy jego tylna część była odpowiednia (w przeciwnym razie doskonała praca)

Załóżmy jednak, że mamy prawdopodobieństwo i niewłaściwą wcześniejszą dystrybucję na θ, tak że wynikowy tył jest również niewłaściwy, a MCMC jest używane do pobierania próbek z rozkładu. W takim przypadku co wskazuje próbka? Czy w tej próbce są jakieś przydatne informacje? Wiem, że łańcuch Markowa tutaj jest albo przejściowy, albo zerowy. Czy są jakieś pozytywne dania na wynos, jeśli są zerowe ?$f(x|\theta)$$\theta$

Wreszcie, w odpowiedzi Neila G. wspomina tutaj

zazwyczaj możesz pobierać próbki (za pomocą MCMC) z tyłu, nawet jeśli jest to niewłaściwe.

Wspomina, że ​​takie pobieranie próbek jest powszechne w głębokim uczeniu się. Jeśli to prawda, jak to ma sens?

Pobieranie próbek z niewłaściwej tylnej (gęstości) nie ma sensu z probabilistycznego / teoretycznego punktu widzenia. Powodem tego jest to, że funkcja f nie ma całki skończonej w przestrzeni parametrów i w związku z tym nie może być powiązana z modelem prawdopodobieństwa ( miara skończona) ( Ω , σ , P ) (przestrzeń, sigma-algebra, miara prawdopodobieństwa ).$f$$f$$(\Omega,\sigma,{\mathbb P})$

Jeśli masz model z niewłaściwym przodem, który prowadzi do niewłaściwego tylnego odcinka, w wielu przypadkach możesz nadal pobierać z niego próbki za pomocą MCMC, na przykład Metropolis-Hastings, a „próbki tylne” mogą wyglądać rozsądnie. Na pierwszy rzut oka wygląda to intrygująco i paradoksalnie. Powodem tego jest jednak to, że metody MCMC są ograniczone do ograniczeń numerycznych komputerów w praktyce, a zatem wszystkie podpory są ograniczone (i dyskretne!) Dla komputera. Następnie, zgodnie z tymi ograniczeniami (ograniczeniami i dyskrecją), w większości przypadków tylne jest właściwe.

Jest świetne odniesienie Hoberta i Caselli, które przedstawia przykład (nieco innej natury), w którym możesz skonstruować próbnik Gibbs dla a posterior, próbki a posterior wyglądają zupełnie rozsądnie, ale a posterior jest niewłaściwy!

http://www.jstor.org/stable/2291572

Podobny przykład ostatnio pojawił się tutaj . W rzeczywistości Hobert i Casella ostrzegają czytelnika, że ​​metod MCMC nie można użyć do wykrycia niewłaściwości tylnej części ciała i że należy to sprawdzić osobno przed wdrożeniem jakichkolwiek metod MCMC. W podsumowaniu:

1. Niektóre samplery MCMC, takie jak Metropolis-Hastings, mogą (ale nie powinny) być używane do próbkowania z niewłaściwej tylnej części, ponieważ komputer ogranicza i dyktuje przestrzeń parametrów. Tylko jeśli masz ogromne próbek, to może być w stanie zaobserwować jakieś dziwne rzeczy. To, jak dobrze możesz wykryć te problemy, zależy również od dystrybucji „instrumentalnej” zastosowanej w twoim samplerze. Ta ostatnia kwestia wymaga szerszej dyskusji, więc wolę ją tutaj zostawić.
2. (Hobert i Casella). Fakt, że możesz zbudować próbnik Gibbsa (model warunkowy) dla modelu z niewłaściwym wyprzedzeniem, nie oznacza, że ​​tylny (model połączenia) jest właściwy.
3. Formalna probabilistyczna interpretacja próbek tylnych wymaga właściwości tylnej. Wyniki i dowody konwergencji są ustalane tylko dla właściwych rozkładów / miar prawdopodobieństwa.

PS (nieco język w policzek): Nie zawsze wierz w to, co ludzie robią w uczeniu maszynowym. Jak powiedział prof. Brian Ripley: „uczenie maszynowe to statystyka pomniejszona o sprawdzenie modeli i założeń”.

Dając alternatywny, bardziej zastosowany, widok z doskonałej odpowiedzi Rod powyżej powyżej -

$+/- 10^{100}$

$1/x$wcześniej - jeden, którego używam do obliczeń, który nie ma górnej granicy, i jego „dodatkową cechę”, gdy jest równa zero powyżej populacji San Francisco ... ”, przy czym„ dodatkowa funkcja ”jest stosowana w krok po wygenerowaniu próbki. Prawdziwy przeor nie jest tym, który jest używany w obliczeniach MCMC (w moim przykładzie).

Zasadniczo więc byłbym całkiem w porządku z użyciem próbki wygenerowanej przez MCMC z niewłaściwego rozkładu w zastosowanej pracy, ale zwracałbym dużą uwagę na to, jak doszło do tej nieprawidłowości i jak wpłynie ona na losową próbkę . Idealnie nie wpłynęłoby to na losową próbkę, jak w moim przykładzie z hot-dogami, gdzie w rozsądnym świecie nigdy nie wygenerowałbyś przypadkowej liczby większej niż liczba ludzi w San Francisco ...

Powinieneś także zdawać sobie sprawę z faktu, że twoje wyniki mogą być dość wrażliwe na cechę tylnej części ciała, która spowodowała, że ​​była niewłaściwa, nawet jeśli później przycinasz ją o pewną dużą liczbę później (lub jakąkolwiek zmianę odpowiednią dla twojego modelu. ) Chcesz, aby Twoje wyniki były odporne na niewielkie zmiany, które zmieniają twój tył z niewłaściwego na właściwy. Może to być trudniejsze do zapewnienia, ale jest to część większego problemu polegającego na upewnieniu się, że wyniki są zgodne z założeniami, zwłaszcza tymi, które zostały stworzone dla wygody.