Dlaczego wymienność zmiennych losowych jest niezbędna w hierarchicznych modelach bayesowskich?

Dlaczego wymienność zmiennych losowych jest niezbędna w hierarchicznym modelowaniu bayesowskim?

Wymienność nie jest istotną cechą modelu hierarchicznego (przynajmniej nie na poziomie obserwacyjnym). Jest to w zasadzie bayesowski analog „niezależnego i identycznie rozmieszczonego” ze standardowej literatury. Jest to po prostu sposób opisania tego, co wiesz o danej sytuacji. Oznacza to, że „tasowanie” nie zmienia twojego problemu. Jednym ze sposobów, o którym lubię o tym myśleć, jest rozważenie przypadku, w którym podano ale nie podano ci wartości . Jeśli nauczenie się, że doprowadziłoby cię do podejrzenia określonych wartości bardziej niż innych, to sekwencji nie można wymieniać. Jeśli nie mówi ci nic o$x_{j}=5$$j$$x_{j}=5$$j$$j$, następnie sekwencja jest wymienna. Zwróć uwagę, że możliwość wymiany jest „w informacji”, a nie „w rzeczywistości” - zależy od tego, co wiesz.

Chociaż wymienność nie jest niezbędna w odniesieniu do obserwowanych zmiennych, prawdopodobnie byłoby dość trudno dopasować dowolny model bez pewnego pojęcia wymienności, ponieważ bez wymienności zasadniczo nie ma uzasadnienia dla łączenia obserwacji razem. Sądzę więc, że twoje wnioski będą znacznie słabsze, jeśli nie będziesz mieć możliwości wymiany gdzieś w modelu. Na przykład, należy rozważyć dla . Jeśli można całkowicie wymienić, oznacza to i . Jeśli można warunkowo wymienić, biorąc pod uwagę oznacza to, że$x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Jeśli można warunkowo wymienić, biorąc pod uwagę oznacza to, że . Należy jednak pamiętać, że w każdym z tych dwóch „warunkowo wymiennych” przypadków jakość wnioskowania jest obniżona w porównaniu do pierwszego, ponieważ do problemu wprowadzono dodatkowe parametrów. Jeśli nie mamy wymienności, to w zasadzie mamy niezwiązanych problemów.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

Zasadniczo wymienność oznacza, że ​​możemy dokonać wnioskowania dla dowolnego i które są częściowo wymienne$x_{i}\to \text{parameters}\to x_{j}$$i$$j$

„Essential” jest zbyt niejasne. Ale tłumiąc szczegóły techniczne, jeśli sekwencja jest wymienna, wówczas są warunkowo niezależne, biorąc pod uwagę niektóre nieobserwowane parametry z rozkładem prawdopodobieństwa . To znaczy, . nie musi być jednowymiarowy ani nawet skończony wymiarowo i może być dalej reprezentowany jako mieszanina itp.$X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

Wymienność jest niezbędna w tym sensie, że te warunkowe relacje niezależności pozwalają nam dopasować modele, których prawie na pewno nie moglibyśmy inaczej.

To nie jest! Nie jestem tutaj ekspertem, ale dam dwa centy. Na przykład, jeśli masz model hierarchiczny, powiedzmy

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Zakładamy warunkowe założenia niezależności, tzn. Warunkowo na , są wymienne. Jeśli drugiego poziomu nie można wymienić, to możesz dodać inny poziom, który go wymieni. Ale nawet w przypadku, gdy nie możesz założyć zasady wymiany, model może nadal dobrze pasować do twoich danych na pierwszym poziomie.$\Theta_{2}$$\Theta_{1}$

Wreszcie, wymienność jest ważna tylko wtedy, gdy chcesz myśleć w kategoriach twierdzenia o reprezentacji De Finetti. Możesz po prostu pomyśleć, że priory to narzędzia regularyzacji, które pomogą ci dopasować się do twojego modelu. W takim przypadku założenie dotyczące wymienności jest tak dobre, jak dopasowanie modelu do danych. Innymi słowy, jeśli uważasz, że bayesowski model hierarchiczny jest sposobem na lepsze dopasowanie do twoich danych, to wymienność nie jest w żadnym sensie niezbędna.