Jaka jest różnica między „funkcją łącza” a „kanoniczną funkcją łącza” dla GLM

65

Jaka jest różnica między terminami „funkcja łącza” i „kanoniczna funkcja łącza”? Czy są też (teoretyczne) zalety używania jednego nad drugim?

Na przykład binarna zmienna odpowiedzi może być modelowana przy użyciu wielu funkcji łącza, takich jak logit , probit itp. Jednak logit tutaj jest uważany za „kanoniczną” funkcję łącza.

logistic generalized-linear-model link-function

— steadyfish
źródło

10

Obszernie omawiam tutaj funkcje linków: Różnica między modelami logit i probit , skupiając się na regresji dla binarnej zmiennej odpowiedzi. Chociaż tylko niewielka część tej dyskusji skupia się na znaczeniu funkcji „link” jako „kanonicznej”, to jednak może być pomocne w czytaniu. Zauważ, że aby zrozumieć różnicę b / ti zalety kanonicznej vs niekanonicznej funkcji łącza, należy zagłębić się głęboko w matematykę leżącą u podstaw GLiM.

— gung - Przywróć Monikę

68

Powyższe odpowiedzi są bardziej intuicyjne, więc staram się bardziej rygorystycznie.

Co to jest GLM?

Niech oznacza zbiór odpowiedź i -wymiarowego wektora współzmienna o wartość oczekiwana . Dla niezależnych obserwacji rozkład każdego jest wykładniczy rodziny o gęstości $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ Tutaj interesującym parametrem (parametr naturalny lub kanoniczny) jest , jest a parametr skali (znany lub postrzegany jako uciążliwy) oraz i są znanymi funkcjami. Gdy -wymiarowych wektory stałych wartościach wejściowych na

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ zmienne objaśniające oznaczone są przez

. Zakładamy, że wektory wejściowe wpływają (1) tylko przez funkcję liniową, predyktor liniowy,

od których zależy

. Jak można wykazać, że

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ , tę zależność ustala się, łącząc predyktor liniowy

i

za pomocą średniej. Mówiąc dokładniej, średnia

jest postrzegana jako odwracalna i gładka funkcja predyktora liniowego, tj.

Teraz, aby odpowiedzieć na twoje pytanie:

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Dlatego zazwyczaj są używane. Zauważ jednak, że nie ma a priori powodu, dla którego efekty w modelu powinny być addytywne w skali podanej przez to lub inne łącze.

— Momo
źródło

5

+1, to naprawdę fajna odpowiedź, @Momo. Niektóre równania były dla mnie trudniejsze do odczytania, gdy zostały zakopane w akapitach, więc „zablokowałem” je, stosując podwójne znaki dolara (tj. $ $). Mam nadzieję, że to w porządku (jeśli nie, możesz cofnąć, bez moich przeprosin).

— gung - Przywróć Monikę

1

@Momo oryginalne pytanie tutaj zawiera jednak to, o co pytał Wei, dlatego warto podkreślić, że na to pytanie nie ma jeszcze wyraźnej odpowiedzi.

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ istnieje tylko wtedy, gdy użyjemy kanonicznej funkcji łącza.

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

Gung przytoczył dobre wyjaśnienie: link kanoniczny ma specjalne teoretyczne właściwości minimalnej wystarczalności. Oznacza to, że możesz zdefiniować warunkowy model logit (który ekonomiści nazywają modelem o stałym efekcie), uzależniając go od liczby wyników, ale nie możesz zdefiniować warunkowego modelu probit, ponieważ nie ma wystarczających statystyk do użycia z łączem probit.

— StasK
źródło

Czy możesz rozwinąć nieco minimalną wystarczalność? Na podstawie powyższego wyjaśnienia nadal możemy zdefiniować model probitowy, prawda? Na pewno nie będzie to kanoniczna funkcja łącza, ale jaka szkoda w korzystaniu z niekanonicznej funkcji łącza.

— pikachuchameleon

9

Oto mały schemat zainspirowany klasą MIT 18.650, który uważam za bardzo przydatny, ponieważ pomaga zwizualizować relacje między tymi funkcjami. Użyłem tego samego zapisu, co w poście @ momo:

$\gamma(\theta)$
$g(\mu)$

$g$

Schemat pozwala łatwo przejść z jednego kierunku do drugiego, na przykład:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Kanoniczna funkcja łącza

$g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
źródło

1

Powyższe odpowiedzi obejmują już to, co chcę powiedzieć. Aby wyjaśnić kilka kwestii jako badacza uczenia maszynowego:

funkcja link jest niczym innym jak odwrotnością funkcji aktywacji. Na przykład logit jest odwrotnością sigmoidu, probit jest odwrotnością funkcji skumulowanego rozkładu Gaussa.
$w^T x$ $w$ $x$

Powyższa dyskusja nie ma nic wspólnego z wykładniczą rodziną, ale miłą dyskusję można znaleźć w książce PRML Christophera Bishopa Rozdział 4.3.6.

— Guojun Zhang
źródło