Parametry a zmienne ukryte

Pytałem o to wcześniej i naprawdę miałem problemy z określeniem, co czyni parametr modelu, a co czyni go zmienną ukrytą. Więc patrząc na różne wątki na ten temat na tej stronie, głównym rozróżnieniem wydaje się być:

Zmienne utajone nie są obserwowane, ale mają z nimi powiązany rozkład prawdopodobieństwa, ponieważ są to zmienne, a parametry również nie są obserwowane i nie są z nimi związany żaden rozkład, który rozumiem, ponieważ są to stałe i mają ustaloną, ale nieznaną wartość, którą próbujemy odnaleźć. Możemy również nadać parametrom parametry, aby reprezentowały naszą niepewność co do tych parametrów, nawet jeśli jest z nimi powiązana tylko jedna prawdziwa wartość lub przynajmniej tak zakładamy. Mam nadzieję, że do tej pory mam rację?

Teraz patrzyłem na ten przykład regresji liniowej ważonej metodą Bayesa z artykułu w czasopiśmie i naprawdę starałem się zrozumieć, co jest parametrem, a co zmienną:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Tutaj i są, ale obserwuje się tylko jest traktowany jako zmienna IE rozkładu związanego z nim. $x$ $y$ $y$

Teraz założeniami modelowania są:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Tak więc wariancja jest ważona. $y$

Istnieje również wcześniejszy rozkład i , które są odpowiednio rozkładami normalnymi i gamma. $\beta$ $w$

Tak więc pełne prawdopodobieństwo dziennika jest podane przez:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Teraz, jak rozumiem, zarówno jak i są parametrami modelu. Jednak w artykule wciąż nazywają je zmiennymi ukrytymi. Moje rozumowanie jest takie, że i są częścią rozkładu prawdopodobieństwa dla zmiennej i są parametrami modelu. Jednak autorzy traktują je jako ukryte zmienne losowe. Czy to jest poprawne? Jeśli tak, jakie byłyby parametry modelu? $\beta$ $w$ $\beta$ $w$ $y$

Artykuł można znaleźć tutaj ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Artykuł dotyczy automatycznego wykrywania wartości odstających: podejście bayesowskie Tinga i in.

— Luca
źródło

Może pomóc wymienić cytowanie artykułu (i może link). Częściowym problemem jest to, że to, czym dokładnie się różnią, b / t z perspektywy Frequentist i Bayesian. Z perspektywy Bayesa, parametr ma mieć rozkład - to nie jest tylko czymś dodany do reprezentowania niepewności.

— Gung - Przywróć Monikę

Myślałem, że to niesprawiedliwe, ponieważ ludzie sądzą, że oczekuję, że przeczytają gazetę bez wyjaśnienia, ale już to powiedziałem.

— Luca

Dlaczego nie możesz umieścić pierwszeństwa ukrytej zmiennej? Jestem nowicjuszem z Bayesian, ale wygląda na to, że powinieneś być w stanie to zrobić.

— robin.datadrivers

w

$w$

β

$\beta$

w

$w$

Dzięki, @Luca. Nie byłoby dobrze, gdybyś wymagał, aby ludzie czytali gazetę, ale fajnie jest mieć go w odpowiednim kontekście. Myślę, że zrobiłeś to dobrze.

— Gung - Przywróć Monikę

$y$ $\beta$

Z drugiej strony parametr jest stały, nawet jeśli nie znasz jego wartości. Szacowanie maksymalnego prawdopodobieństwa, na przykład, daje najbardziej prawdopodobną wartość twojego parametru. Ale daje ci punkt, a nie pełną dystrybucję, ponieważ ustalone rzeczy nie mają dystrybucji! (Możesz podać rozkład tego, czy masz pewność co do tej wartości lub w jakim zakresie, według ciebie, ta wartość jest, ale to nie jest to samo, co rozkład samej wartości, który istnieje tylko wtedy, gdy wartość jest w rzeczywistości losowa zmienna)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

W tym zdaniu:

Te równania aktualizacji należy uruchamiać iteracyjnie, aż wszystkie parametry i pełne prawdopodobieństwo dziennika zbiegną się do wartości stałych

teoretycznie mówią o dwóch parametrach, a nie o zmiennych losowych, ponieważ w EM to właśnie robisz, optymalizując parametry.

— Alberto
źródło

Pytanie dotyczyło ukrytych zmiennych.

— Tim

naprawione, mam nadzieję, że teraz jest wyraźniejsze.

— alberto,