Który z nich jest lepszy maksymalnym prawdopodobieństwem lub marginalnym prawdopodobieństwem i dlaczego?

Wykonując regresję, jeśli zastosujemy definicję z: Jaka jest różnica między częściowym prawdopodobieństwem, prawdopodobieństwem profilu i prawdopodobieństwem krańcowym?

że, maksymalne prawdopodobieństwo
Znajdź β i θ, które maksymalizuje L (β, θ | dane).

Chociaż, Krańcowa Prawdopodobieństwo
Integrujemy się θ z równania prawdopodobieństwa, wykorzystując fakt, że możemy zidentyfikować rozkład prawdopodobieństwa θ uwarunkowane beta.

Jaka jest lepsza metodologia do maksymalizacji i dlaczego?

regression maximum-likelihood

— Ankit Chiplunkar
źródło

Odpowiedzi:

Każdy z nich da inne wyniki z inną interpretacją. Pierwszy znajduje parę , która jest najbardziej prawdopodobna, podczas gdy druga znajduje która jest (marginalnie) najbardziej prawdopodobna. Wyobraź sobie, że Twoja dystrybucja wygląda następująco: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Zatem maksymalna odpowiedź prawdopodobieństwa wynosi ( ), natomiast maksymalna odpowiedź krańcowego prawdopodobieństwa wynosi (ponieważ, marginalizując ponad , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Powiedziałbym, że ogólnie rzecz biorąc, marginalne prawdopodobieństwo jest często tym, czego chcesz - jeśli naprawdę nie zależy ci na wartościach parametrów , powinieneś po prostu zawalić się nad nimi. Ale prawdopodobnie w praktyce metody te nie przyniosą bardzo różnych wyników - jeśli tak, to może wskazywać na pewną niestabilność w twoim rozwiązaniu, np. Wiele trybów z różnymi kombinacjami , które dają podobne prognozy. $\theta$ $\beta$ $\theta$

— Chris
źródło

Znalazłem różne wyniki dla metod maksymalnego / krańcowego prawdopodobieństwa i stąd pytanie. Powiedziałbym, że dwa wyniki w moim przypadku dają różne interpretacje, ale możliwe wyniki.

— Ankit Chiplunkar

Sam zmagam się teraz z tym pytaniem. Oto wynik, który może być pomocny. Rozważ model liniowy

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

gdzie oraz i są parametrami będącymi przedmiotem zainteresowania. Wspólne prawdopodobieństwo to $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Optymalizacja wspólnego prawdopodobieństwa daje plony

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

gdzie jest pseudoinwersją a jest dopasowanym wektorem resztkowym. Zauważ, że w mamy zamiast znanego stosunku skorygowanego o stopień swobody . O tym estymatorze wiadomo, że jest stronniczy w przypadku próbki skończonej. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Załóżmy teraz, że zamiast optymalizować zarówno i , integrujemy out i szacujemy na podstawie wynikowego zintegrowanego prawdopodobieństwa: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Używając elementarnej algebry liniowej i wzoru na całkę Gaussa, możesz to pokazać

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Ma to korektę stopni swobody, co czyni ją bezstronną i ogólnie preferowaną w stosunku do wspólnego oszacowania ML.

Na podstawie tego wyniku można zapytać, czy istnieje coś z natury korzystnego w zintegrowanym prawdopodobieństwie, ale nie znam żadnych ogólnych wyników, które mogłyby odpowiedzieć na to pytanie. Wydaje się, że konsensus jest taki, że zintegrowane ML lepiej radzi sobie z niepewnością w większości problemów z szacunkami. W szczególności, jeśli szacujesz wielkość, która zależy od innych oszacowań parametrów (nawet pośrednio), wówczas integracja z innymi parametrami lepiej uwzględni ich niepewności.

— Paweł
źródło

To jest interesujące. Trochę mnie jednak niepokoi fakt, że „integrowanie out ” używa nieprawidłowego rozkładu krańcowego, a także brak jakiegokolwiek pozornego uzasadnienia dla zastosowania tego (niewłaściwego) marginesu w porównaniu do innych. Jakie masz przemyślenia na temat tych problemów?

β

$\beta$

— whuber

@ whuber Podzielam twoje obawy i nie mam gotowej odpowiedzi, ale zauważ, że prawdopodobieństwo marginalizacji jest tylko późniejsze z jednolitym niewłaściwym wcześniejszym na , więc myślę, że jest to związane z „obiektywnym bayesowskim” podejściem. Nie przejmuje się tym, że parametr taki jak ma niewłaściwą wcześniejszą dystrybucję, o ile tylny jest całkowalny.

β

$\beta$

β

$\beta$

— Paul

Właściwie, w oparciu o ten post i komentarze w nim, myślę, że zintegrowane ML, a nie marginalne ML, jest właściwym terminem na to, co tu robimy. Odpowiednio zredagowane.

— Paul

+1 Wiem, że spóźniłem się na tę imprezę, ale nie integruję ustalonych efektów przez umieszczenie na nich niewłaściwego munduru dokładnie tak, jak robi REML, więc właśnie otrzymałeś oszacowanie REML i ta korekta df jest dokładnie dlaczego tutaj REML jest lepszy dla mniejszych próbek?

— jdl

@Chaconne tak, ten post był motywowany próbą zrozumienia REML! Nie mam (prawie) formalnej edukacji statystycznej, więc czerpanie tego było dla mnie zupełnie nowe.

— Paul

Zwykle nie jest to kwestia wyboru. Jeśli jesteśmy zainteresowani oszacowaniem (np. Gdy jest hiperparametrem modelu, a jest zmienną utajoną) i nie ma jednej wartości dla a zamiast tego znany jest rozkład , musimy zintegrować . Można myśleć o krańcowym prawdopodobieństwie jako o średniej ważonej prawdopodobieństwa dla różnych wartości ważonej ich gęstością prawdopodobieństwa . Teraz, gdy zniknęła, używając próbek treningowych jako , możesz zoptymalizować marginalną wiarygodność wrt $\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ $\beta$ .

— Seeda
źródło