Jaka jest różnica między częściowym prawdopodobieństwem, prawdopodobieństwem profilu i prawdopodobieństwem krańcowym?

56

Widzę, że te terminy są używane i ciągle je mieszam. Czy istnieje proste wyjaśnienie różnic między nimi?

estimation maximum-likelihood

— Rob Hyndman
źródło

57

Funkcja prawdopodobieństwa zwykle zależy od wielu parametrów. W zależności od aplikacji zwykle jesteśmy zainteresowani tylko podzbiorem tych parametrów. Na przykład w regresji liniowej zainteresowanie zwykle leży w współczynnikach nachylenia, a nie w wariancji błędu.

Oznacz parametry, którymi jesteśmy zainteresowani, jako $\beta$ a parametry, które nie są przedmiotem zainteresowania, jako $\theta$ . Standardowym sposobem podejścia do problemu oszacowania jest maksymalizacja funkcji prawdopodobieństwa, aby uzyskać oszacowania $\beta$ i $\theta$ . Ponieważ jednak głównym przedmiotem zainteresowania jest $\beta$ częściowe, profil i marginalne prawdopodobieństwo oferują alternatywne sposoby oszacowania $\beta$ bez szacowania $\theta$ .

Aby zobaczyć różnicę, oznacz standardowe prawdopodobieństwo przez $L(\beta, \theta|\mathrm{data})$ .

Maksymalne prawdopodobieństwo

Znajdź $\beta$ i $\theta$ które maksymalizują $L(\beta, \theta|\mathrm{data})$ .

Częściowe prawdopodobieństwo

Jeśli możemy napisać funkcję prawdopodobieństwa jako:

L (β, θ | d a t a) = L_{1} (β | d a t a) L_{2} (θ | d a t a)

$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$

$L_1(\beta|\mathrm{data})$

Prawdopodobieństwo profilu

$\theta$ $\beta$ $\theta$

$\theta = g(\beta)$

L (β, g (β) | d a t a)

$L(\beta, g(\beta)|\mathrm{data})$

Marginalne prawdopodobieństwo

$\theta$ $\theta$ $\beta$

— febstar
źródło

2

Zauważ, że ostatnia definicja tutaj to prawdopodobieństwo zintegrowane (lub bayesowskie), a nie prawdopodobieństwo krańcowe.

— ars

Czy jest to poprawne w RHS dla częściowego prawdopodobieństwa: „L2 (θ | theta)”?

— jpalecek

@ars, czy mógłbyś edytować odpowiedź i podać definicję krańcowego prawdopodobieństwa?

— Waldir Leoncio

13

Wszystkie trzy są używane w przypadku parametrów uciążliwych w całkowicie określonej funkcji wiarygodności.

Krańcowe prawdopodobieństwo jest podstawową metodą eliminacji uciążliwych parametrów w teorii. Jest to prawdziwa funkcja prawdopodobieństwa (tzn. Jest proporcjonalna do (marginalnego) prawdopodobieństwa zaobserwowanych danych).

Częściowe prawdopodobieństwo ogólnie nie jest prawdziwym prawdopodobieństwem. Jednak w niektórych przypadkach można to traktować jako prawdopodobieństwo wnioskowania asymptotycznego. Na przykład w modelach proporcjonalnego hazardu Coxa, skąd się wziął, interesują nas obserwowane rankingi w danych (T1> T2> ..) bez określania ryzyka bazowego. Efron wykazał, że częściowe prawdopodobieństwo niewiele lub wcale nie traci informacji dla różnych funkcji zagrożeń.

Prawdopodobieństwo profilu jest wygodne, gdy mamy wielowymiarową funkcję wiarygodności i pojedynczy parametr będący przedmiotem zainteresowania. Jest to określone przez zastąpienie niedogodności S jego MLE przy każdej stałej T (parametr będący przedmiotem zainteresowania), tj. L (T) = L (T, S (T)). Może to działać dobrze w praktyce, chociaż istnieje potencjalne odchylenie w MLE uzyskane w ten sposób; krańcowe prawdopodobieństwo koryguje to obciążenie.

— ars
źródło