Zalety wykładniczej rodziny: dlaczego powinniśmy ją studiować i wykorzystywać?

Więc tutaj studiuję wnioskowanie. Chciałbym, aby ktoś mógł wymienić zalety wykładniczej rodziny. Przez rodzinę wykładniczą rozumiem rozkłady, które są podane jako

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T. (x) - b (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

których wsparcie nie zależy od parametru $\theta$ . Oto kilka zalet, które odkryłem:

(a) Obejmuje szeroki zakres dystrybucji.

(b) Oferuje naturalną wystarczającą statystykę zgodnie z twierdzeniem Neymana-Fishera. $T(x)$

(d) Ułatwia oddzielenie związku między odpowiedzią a predyktorem od warunkowego rozkładu odpowiedzi (za pomocą funkcji łącza).

Czy ktoś może zapewnić jakąkolwiek inną korzyść?

self-study exponential-family

— użytkownik1337
źródło

aby zapewnić ogólność odpowiedzi: czy są jakieś przydatne pliki PDF, które nie należą do rodziny wykładniczej?

— meduz

Odpowiedzi:

... dlaczego powinniśmy to przestudiować i wykorzystać?

Myślę, że twoja lista zalet skutecznie odpowiada na twoje pytanie, ale pozwól, że przedstawię kilka meta-matematycznych komentarzy, które mogą wyjaśnić ten temat. Ogólnie rzecz biorąc, matematycy lubią uogólniać koncepcje i wyniki aż do maksymalnej możliwej liczby punktów, do granic ich użyteczności. Oznacza to, że gdy matematycy opracują koncepcję i stwierdzą, że do tej koncepcji stosuje się jedno lub więcej użytecznych twierdzeń, będą na ogół dążyć do uogólnienia pojęcia i wyników coraz bardziej, aż dojdą do punktu, w którym dalsze uogólnienie uniemożliwiłoby zastosowanie wyników lub nie są już przydatne. Jak widać z twojej listy, do rodziny wykładniczej dołączono szereg użytecznych twierdzeń i obejmuje ona szeroką klasę rozkładów. Jest to wystarczające, aby uczynić go godnym przedmiotem badań i przydatną klasą matematyczną w praktyce.

Czy ktoś może zapewnić jakąkolwiek inną korzyść?

Ta klasa ma różne dobre właściwości w analizie Bayesa. W szczególności wykładnicze rozkłady rodzinne zawsze mają sprzężone priory, a wynikowy tylny rozkład predykcyjny ma prostą formę. To sprawia, że jest to niezwykle przydatna klasa rozkładów w statystyce bayesowskiej. Rzeczywiście, pozwala na przeprowadzenie analizy bayesowskiej przy użyciu sprzężonych priorów na bardzo wysokim poziomie ogólności, obejmującym wszystkie rodziny dystrybucyjne w rodzinie wykładniczej.

— Przywróć Monikę
źródło

Popieram nominację „przed sprzężeniem” jako powód do polubienia wykładniczej rodziny. Rzeczywiście, sprzężone priory i wystarczająca statystyka grają bardzo dobrze razem, więc razem będą na szczycie mojej listy powodów, dla których warto korzystać z rodziny wykładniczej.

— Peter Leopold,

Ach! Widzę kolegę z Bayesian!

— Przywróć Monikę

Skąd wiesz, że przewidywanie z tyłu ma prostą formę? Na przykład, tylna predykcja normalnego modelu o nieznanej średniej i wariancji jest niecentralna, skalowana T. studenta. Czy to prosta forma?

— Neil G

@Neil G: W przypadku danych IID z rodziny wykładniczej i koniugatu poprzedzającego rozkład predykcyjny jest stosunkiem dwóch przypadków funkcji normalizującej dla wcześniejszego, gdzie argumenty mianownika są aktualizowane przez dodanie wystarczającej statystyki i liczby obserwacji dla nowe dane. Jest to prosta i ogólna forma rozkładu predykcyjnego, którą uzyskuje się, znajdując wcześniej czynnik normalizujący dla koniugatu (patrz np. Sekcja 9.0.5 niniejszych uwag ).

— Przywróć Monikę

Ok rozumiem. Nigdy wcześniej tego nie widziałem, dzięki.

— Neil G

Powiedziałbym, że najbardziej przekonującą motywacją dla rodzin wykładniczych jest to, że są to minimalne założenia założeniowe przy danych pomiarach . Jeśli masz czujnik o wartościach rzeczywistych, którego pomiary są podsumowane za pomocą średniej i wariancji, wówczas minimalnym założeniem, jakie możesz przyjąć na temat jego obserwacji, jest to, że są one normalnie rozłożone. Każda wykładnicza rodzina jest wynikiem podobnego zestawu założeń.

Jaynes sprzeciwia się tej zasadzie maksymalnej entropii:

„Rozkład maksymalnej entropii można twierdzić z tego pozytywnego powodu, że jest on jednoznacznie określony jako taki, który jest maksymalnie niezobowiązujący w odniesieniu do brakujących informacji, zamiast negatywnego, że nie było powodu, aby myśleć inaczej. Zatem koncepcja entropii dostarcza brakujące kryterium wyboru… ”

— Neil G.
źródło