Porównywanie oszacowania maksymalnego prawdopodobieństwa (MLE) i twierdzenia Bayesa

12

W twierdzeniu bayesowskim , a z książki, którą czytam, nazywa się prawdopodobieństwo , ale zakładam, że to tylko prawdopodobieństwo warunkowe od podane , prawda?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

Do największej wiarygodności stara się maksymalizować , prawda? Jeśli tak, to jestem bardzo zdezorientowany, ponieważ są zmiennymi losowymi, prawda? Aby zmaksymalizować jest po prostu dowiedzieć się ? Jeszcze jeden problem, jeśli te 2 losowe zmienne są niezależne, to to tylko , prawda? Zatem maksymalizacja polega na maksymalizacji . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

A może jest funkcją niektórych parametrów , czyli , a MLE próbuje znaleźć która może zmaksymalizować ? Czy nawet, że jest w rzeczywistości parametrami modelu, a nie zmienną losową, maksymalizując prawdopodobieństwo znalezienia ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

AKTUALIZACJA

Jestem nowicjuszem w uczeniu maszynowym, a ten problem jest pomieszany z treściami, które przeczytałem z samouczka uczenia maszynowego. Oto on, biorąc pod uwagę obserwowany zestaw danych , wartości docelowe to , a ja staram się dopasować model do tego zestawu danych , więc zakładam, że biorąc pod uwagę , ma formę rozkładu o nazwie sparametryzowaną przez , czyli , i zakładam, że jest to prawdopodobieństwo późniejsze , prawda? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Teraz, aby oszacować wartość , używam MLE. OK, nadchodzi mój problem, myślę, że prawdopodobieństwo to , prawda? Maksymalizacja prawdopodobieństwa oznacza, że powinienem wybrać właściwą i ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Jeśli moje rozumienie prawdopodobieństwa jest błędne, proszę wskazać mi właściwą drogę.

bayesian maximum-likelihood

— awokado
źródło

Myślę, że zamieszanie jest następujące: twierdzenie Bayesa jest po prostu manipulacją prawdopodobieństwami warunkowymi podanymi na początku pytania. Bayesa Oszacowanie korzysta z Twierdzenie Bayesa do oszacowania parametrów. Dopiero w tym drugim przypadku do gry wchodzi oszacowanie maksymalnego prawdopodobieństwa (MLE) i parametr theta itp.

— Zhubarb

@Berkan, cóż, właściwie próbuję dowiedzieć się, jakie jest prawdopodobieństwo, biorąc pod uwagę .

x, y, θ

$x,y,\theta$

— awokado

1

Rozumiem, poleciłbym wam rzucić okiem na ten wspaniały zestaw slajdów wprowadzających do oceny parametrów.

— Zhubarb

1

Kolejnym świetnym tematem do przeczytania są estymatory Empirical Bayesa. Właśnie dowiedzieliśmy się o tych w mojej klasie :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic

16

Myślę, że podstawowe nieporozumienie wynika z pytań, które zadajesz w pierwszej połowie pytania. Do tej odpowiedzi podchodzę jako kontrastujące MLE i Bayesowskie paradygmaty wnioskowania. Bardzo przystępną dyskusję na temat MLE można znaleźć w rozdziale 1 Gary'ego Kinga, Unifying Political Methodology. Analiza danych bayesowskich Gelmana może dostarczyć szczegółów po stronie bayesowskiej.

W twierdzeniu Bayesa iz książki, którą czytam, nazywa się prawdopodobieństwo, ale zakładam, że to tylko warunkowe prawdopodobieństwo biorąc pod uwagę , prawda?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Prawdopodobieństwo jest prawdopodobieństwem warunkowym. Dla bayesowskiego wzór ten opisuje rozkład parametru dla danych i wcześniejszych . Ale ponieważ ta notacja nie odzwierciedla twojego zamiaru, odtąd będę używać ( , ) dla parametrów i dla twoich danych. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Ale twoja aktualizacja wskazuje, że jest obserwowane z jakiejś dystrybucji . Jeśli umieścimy nasze dane i parametry w odpowiednich miejscach w regule Bayesa, okaże się, że te dodatkowe parametry nie stwarzają problemów dla Bayesianów: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Wierzę, że to wyrażenie jest tym, czego szukasz w swojej aktualizacji.

Oszacowanie maksymalnego prawdopodobieństwa próbuje zmaksymalizować , prawda? $p(x,y|\theta)$

Tak. MLE zakłada, że Oznacza to, że traktuje termin jako nieznany (i niepoznawalna) stała. Natomiast wnioskowanie bayesowskie traktuje jako stałą normalizującą (tak, że prawdopodobieństwa sumują / całkują się do jedności), a jako kluczową informację: pierwszeństwo. Możemy myśleć o jako sposobie nałożenia kary na procedurę optymalizacji za „błądzenie zbyt daleko” od regionu, który naszym zdaniem jest najbardziej prawdopodobny.

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Jeśli tak, to jestem bardzo zdezorientowany, ponieważ są zmiennymi losowymi, prawda? Aby zmaksymalizować wystarczy znaleźć ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

W MLE przyjmuje się , że jest stałą wielkością, która jest nieznana, ale można ją wywnioskować, a nie zmienną losową. Wnioskowanie Bayesowskie traktuje jako zmienną losową. Funkcje gęstości prawdopodobieństwa Bayesa stawia wnioskowania w i dostaje funkcja gęstości prawdopodobieństwa na zewnątrz , zamiast podsumowania punktowych modelu, podobnie jak w MLE. Oznacza to, że wnioskowanie bayesowskie analizuje pełny zakres wartości parametrów i prawdopodobieństwo każdego z nich. MLE zakłada, że jest odpowiednim podsumowaniem danych dla danego modelu. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax mówi Przywróć Monikę
źródło

1

Dziękuję za odpowiedź, aktualizuję swój post, zobacz moją aktualizację.

— awokado

Ta aktualizacja radykalnie zmieniła moje rozumienie pytania. Początkowo myślałem, że traktujesz jako parametr, a jako swoje dane. Teraz wydaje się, że są dane i jesteś zainteresowany konstruowania model opisujący zależność między i . Zmodyfikuję swoją odpowiedź, jak będę miał czas.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax mówi Przywróć Monikę

+1 To wciąż świetna odpowiedź: mam nadzieję, że pozostaniesz w dużej mierze nienaruszona, nawet jeśli zmodyfikujesz ją tak, aby pasowała do zmian w pytaniu.

— whuber

Zaktualizowałem swoją odpowiedź, aby odzwierciedlić Twoje zaktualizowane pytanie. Mam nadzieję, że te szczegóły pomogą. Naprawdę polecam odwoływanie się do odniesień, o których wspominam. I mam nadzieję, że @whuber nadal się zgadza. ;-)

— Sycorax mówi Przywróć Monikę

Bardzo dziękuję za aktualizację, więc masz na myśli, że chociaż wybrałem formę dystrybucji dla , powinienem traktować jako dane obserwowane, gdy próbuję oszacować ?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— awokado

3

Zwykle jest funkcją parametru . Rozważ następujące przeformułowanie twierdzenia Bayesa: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Lub nawet bardziej precyzyjnie (w odniesieniu do pojęcia prawdopodobieństwa):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Konkretnym przykładem jest model

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marks
źródło

Zwykle nie jest zmienną losową, ale , prawda?

y

$y$

x

$x$

— awokado

Y jest zwykle parametrem na pdf X. W ustawieniach częstych y jest zwykle stałą wartością. W ustawieniu bayesowskim Y jest sama zmienną losową (jak w podanym przeze mnie przykładzie). X | Y może być również warunkowym prawdopodobieństwem w tym sensie, że chciałem dać ci motywację, dlaczego ta ilość jest nazywana prawdopodobieństwem.

— David Marx,

Jeśli chodzi o konkretny przykład podany w odpowiedzi, czy masz na myśli, że jest w rzeczywistości zmienną losową, ale w rozkładzie jest brana jako parametr?

θ

$\theta$

X

$X$

— awokado

To, że coś jest zmienną losową, nie oznacza, że nie może być parametrem. Witamy w cudownym świecie prawdopodobieństwa bayesowskiego :)

— David Marx

0

„... nazywa się prawdopodobieństwem ...” $p(x|y)$

$p(x|y)$ to prawdopodobieństwo y dla x . Ważne jest, aby powiedzieć, jakie jest prawdopodobieństwo. I tak, to tylko warunkowe prawdopodobieństwo danego . $x$ $y$

„... jeśli te 2 zmienne losowe są niezależne, to to tylko , prawda? Zatem maksymalizacja polega na maksymalizacji ...” $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Jeśli są one niezależne, tj. , jest stałe w stosunku do . Uważaj tutaj, ponieważ nie określasz, co maksymalizujesz w odniesieniu do - z tego, co napisałeś wcześniej, zakładam, że maksymalizujesz w odniesieniu do . $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... A może jest funkcją niektórych parametrów , czyli , a MLE próbuje znaleźć która może zmaksymalizować ? Lub nawet, że y to w rzeczywistości parametry modelu, a nie zmienna losowa, maksymalizując prawdopodobieństwo znalezienia ? ... $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

Wprowadzenie sprawia, że jest to zupełnie nowy problem. Ogólnie rzecz biorąc, odpowiedź na większość tego pytania wydaje się „zależeć”. Mogliśmy oznaczają parametry jak , jeśli chcieliśmy, i maksymalizacji w stosunku do nich. Równie dobrze moglibyśmy mieć sytuację, w której maksymalizujemy w odniesieniu do parametrów jeśli to rozsądny sposób podejścia do danego problemu. $\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Poklepać
źródło

Powodem, dla którego przedstawiam jest to, że w książce dotyczącej uczenia maszynowego, którą czytam, otrzymałem zestaw danych , jest odpowiednią wartością docelową, więc aby dopasować model do tego zestawu danych, mogę użyć MLE do oszacowania jaki jest parametr modelu, prawda?

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

— awokado

0

Z podręcznika STAN:

Jeśli wcześniejsze jest jednolite, tryb tylny odpowiada oszacowaniu maksymalnego prawdopodobieństwa (MLE) parametrów. Jeśli wcześniejsze nie jest jednolite, tryb tylny nazywany jest czasem maksimum oszacowania tylnego (MAP).

— Neerav
źródło