Definicja rodziny dystrybucji?

Czy rodzina dystrybucji ma inną definicję statystyki niż w innych dyscyplinach?

Ogólnie rodzina krzywych jest zbiorem krzywych, z których każda jest podana przez funkcję lub parametryzację, w której zmienia się jeden lub więcej parametrów. Takie rodziny są wykorzystywane na przykład do charakteryzowania komponentów elektronicznych .

W przypadku statystyki rodzina według jednego źródła jest wynikiem zmiany parametru kształtu. Jak zatem możemy zrozumieć, że rozkład gamma ma parametr kształtu i skali, a jedynie uogólniony rozkład gamma ma dodatkowo parametr lokalizacji? Czy to sprawia, że ​​rodzina jest wynikiem zmiany parametru lokalizacji? Według @whuber znaczenie rodziny jest domyślnie „Parametryzacja” rodziny jest ciągłą mapą z podzbioru ℝ , ze zwykłą topologią, w przestrzeń rozkładów, których obraz jest tą rodziną.$^n$

Czym w prostym języku jest rodzina rozkładów statystycznych?

Pytanie o relacje między właściwościami statystycznymi rozkładów z tej samej rodziny wywołało już wiele kontrowersji w związku z innym pytaniem, więc warto zbadać znaczenie.

To, że niekoniecznie jest to proste pytanie, rodzi się z jego użycia w wyrażeniu rodzina wykładnicza , która nie ma nic wspólnego z rodziną krzywych, ale jest związana ze zmianą formy PDF rozkładu poprzez zmianę parametrów nie tylko parametrów , ale także podstawienie funkcji niezależnych zmiennych losowych.

Pojęcia statystyczne i matematyczne są dokładnie takie same, przy założeniu, że „rodzina” jest ogólnym terminem matematycznym z technicznymi odmianami dostosowanymi do różnych okoliczności:

Rodzina parametryczna to krzywa (lub jej powierzchniowe lub inne uogólnione wymiarowo) w przestrzeni wszystkich rozkładów.

Reszta tego postu wyjaśnia, co to znaczy. Nawiasem mówiąc, nie sądzę, aby którekolwiek z tych kwestii było kontrowersyjne, zarówno matematycznie, jak i statystycznie (oprócz jednego drobnego problemu, o którym mowa poniżej). Na poparcie tej opinii podałem wiele odniesień (głównie do artykułów z Wikipedii).

Ta terminologia „rodzin” jest zwykle stosowana podczas badania klas funkcji w zestawie Y lub „mapach”. Biorąc pod uwagę domenę X , rodzina F map na X sparametryzowana przez jakiś zestaw Θ („parametry”) jest funkcją$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

dla których (1) dla każdego funkcja F θ : X → Y podana przez F θ ( x ) = F ( x , θ ) jest w C Y, a (2) samo F ma pewne „ładne” właściwości.$\theta\in\Theta$$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$$\mathcal F$

Chodzi o to, że chcemy zmieniać funkcje od do Y w sposób „płynny” lub kontrolowany. Właściwość (1) oznacza, że ​​każda θ oznacza taką funkcję, podczas gdy szczegóły właściwości (2) uchwycą sens, w którym „mała” zmiana θ wywołuje wystarczająco „małą” zmianę F θ .$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Standardowym przykładem matematycznym, zbliżonym do wspomnianego w pytaniu, jest homotopia . W tym przypadku jest kategorią ciągłych map od przestrzeni topologicznych X do przestrzeni topologicznej Y ; Θ = [ 0 , 1 ] ⊂ R jest odstęp urządzenie z zwykle topologii i wymagają F być ciągła na mapie z produktu topologicznej X x Θ do Y . Można to uznać za „ciągłe deformowanie mapy $\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$$Y$ do F 1. "Gdy X = [ 0 , 1 ] jest przedziałem, takie mapy sąkrzywymiw Y, a homotopia jest gładkim odkształceniem od jednej krzywej do drugiej.$\mathcal{F}_0$$\mathcal{F}_1$$X=[0,1]$$Y$

Dla zastosowań statystycznych jest zbiorem wszystkich rozkładów na R (lub, w praktyce, na R n dla niektórych n , ale dla uproszczenia opisu skupię się na n = 1 ). Możemy to utożsamiać ze zbiorem wszystkich nie malejących funkcji càdlàg R → [ 0 , 1 ], gdzie zamknięcie ich zakresu obejmuje zarówno 0, jak i 1 : są to skumulowane funkcje rozkładowe lub po prostu funkcje rozkładowe. Zatem X = R i$\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ .$Y=[0,1]$

Rodziny rozkładów jest dowolnym podzbiorem . $\mathcal{C}_Y$ Inną nazwą rodziny jest model statystyczny. Składa się ze wszystkich rozkładów, które, jak przypuszczamy, rządzą naszymi obserwacjami, ale nie wiemy, który rozkład jest właściwy.

• Rodzina może być pusta.
• sama jest rodziną.$\mathcal{C}_Y$
• Rodzina może składać się z jednej dystrybucji lub tylko z ich skończonej liczby.

Te abstrakcyjne cechy zestawu teoretycznego są stosunkowo mało interesujące lub użyteczne. Ta koncepcja staje się użyteczna dopiero wtedy, gdy weźmiemy pod uwagę dodatkową (istotną) strukturę matematyczną na Ale jakie właściwości C Y mają znaczenie statystyczne? Niektóre, które często się pojawiają to:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. jestzestawem wypukłym: biorąc pod uwagę dowolne dwa rozkłady F , G ∈ C Y , możemy utworzyćrozkład mieszaniny(1-t) F +t G ∈Ydla wszystkicht∈[0,1]. Jest to rodzaj „homotopii” zFdoG.$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$

2. Duże części obsługują różne pseudometryki, takie jak rozbieżność Kullbacka-Leiblera lub blisko związana metryka informacji Fisher.$\mathcal{C}_Y$

3. ma strukturę dodatków: odpowiadająca dowolnym dwóm rozkładuFiGjest ich suma M ⋆ G .$\mathcal{C}_Y$$F$$G$${F}\star {G}$

4. obsługuje wiele przydatnych, naturalnych funkcji, często nazywanych „właściwościami”. Obejmują one wszelkie ustalone kwantyle (takie jak mediana), a takżekumulanty.$\mathcal{C}_Y$

5. jest podzbioremprzestrzeni funkcji. Jako taki, dziedziczy wiele przydatnych wskaźników, takich jaksup norma(norma L ∞ ) podana przez | | F-G | | ∞ = sup x ∈ R | F(x)-G(x) | $\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Naturalne działania grupa o wywołania działania na C Y . Najczęstsze działania to tłumaczenia T μ : x → x + μ i skalowania S σ : x → x σ dla σ > 0 . Wpływ, jaki mają one na rozkład, polega na wysłaniu F do rozkładu podanego przez F μ , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$ . Prowadzą one do koncepcji rodzin o skali lokalizacji i ich uogólnień. (Nie dostarczam referencji, ponieważ szeroko zakrojone wyszukiwania w sieci ujawniają wiele różnych definicji: tutaj przynajmniej może być trochę kontrowersji.)$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Istotne właściwości zależą od problemu statystycznego i od tego, jak zamierzasz analizować dane. Zajęcie się wszystkimi wariantami sugerowanymi przez powyższe cechy zajęłoby zbyt dużo miejsca dla tego medium. Skupmy się na jednej wspólnej ważnej aplikacji.

Weźmy na przykład maksymalne prawdopodobieństwo. W większości aplikacji będziesz chciał móc korzystać z rachunku różniczkowego, aby uzyskać oszacowanie. Aby to zadziałało, musisz być w stanie „brać pochodne” w rodzinie.

( Pomijając kwestię techniczną: zwykłym sposobem osiągnięcia tego jest wybranie domeny dla d ≥ 0 i określenie ciągłej, lokalnie odwracalnej funkcji p od Θ do C Y. (Oznacza to, że dla każdego θ ∈ Θ tam istnieje kula B ( θ , ϵ ) , gdzie ϵ > 0, dla których p ∣ B ( θ , ϵ )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$ jest jeden do jednego. Innymi słowy, jeśli zmienimy θ o wystarczająco małą ilość, zawsze otrzymamy inny rozkład.))$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

W związku z tym w większości aplikacji ML wymagamy, aby było ciągłe (i, miejmy nadzieję, prawie wszędzie różnicowalne) w komponencie Θ . (Bez ciągłości maksymalizacja prawdopodobieństwa zwykle staje się trudnym problemem.) Prowadzi to do następującej definicji parametrycznej rodziny zorientowanej na prawdopodobieństwo :$p$$\Theta$

Rodzina parametryczna rozkładów (jednowymiarowych) jest lokalnie odwracalną mapą gdzie Θ ⊂ R n , dla której (a) każde F θ jest funkcją rozkładu i (b) dla każdego x ∈ R , funkcja L x : θ → [ 0 , 1 ] podana przez L x ( θ ) = F ( x , θ

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ jest ciągły i prawie wszędzie można go odróżnić.

Należy zauważyć, że rodzina parametryczna to więcej niż tylko zbiór F θ : obejmuje również określony sposób, w jaki wartości parametrów θ odpowiadają rozkładom.$\mathcal F$$\mathcal{F}_\theta$$\theta$

Skończymy na kilku przykładowych przykładach.

• Niech będzie zbiorem wszystkich rozkładów normalnych. Jak podano, nie jest to rodzina parametryczna: to tylko rodzina. Aby być parametrycznym, musimy wybrać parametryzację. Jednym ze sposobów jest wybór Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } i odwzorowanie ( μ , σ ) na rozkład normalny ze średnią μ i wariancją σ 2 .$\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$

• Zbiór rozkładów Poissona $(\lambda)$ jest rodziną parametryczną o .$\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$

• Zestaw rozkładów Uniform (który jest wyraźnie widoczny w wielu ćwiczeniach podręcznikowych) jest rodziną parametryczną z θ ∈ R 1 . W tym przypadku F θ ( x ) = max ( 0 , min ( 1 , x - θ ) ) jest różnicowalne w θ, z wyjątkiem θ ∈ { x , x - 1 } .$(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$

• Niech i G będą dowolnymi dwoma rozkładami. Zatem F ( x , θ ) = ( 1 - θ ) F ( x ) + θ G ( x ) jest rodziną parametryczną dla θ ∈ [ 0 , 1 ] . (Dowód: obraz F jest zbiorem rozkładów i jego pochodną cząstkową w θ równa się - F ( x ) + G $F$$G$$\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$$\theta\in[0,1]$$\mathcal F$$\theta$ który jest zdefiniowany wszędzie.)$-F(x)+G(x)$

• Rodzina Pearson jest czterowymiarowa rodzina, , który obejmuje (między innymi) normalnego rozkładu, rozkład beta i rozkładów Inverse gamma. To ilustruje fakt, że dowolna dana dystrybucja może należeć do wielu różnych rodzin dystrybucji . Jest to całkowicie analogiczne do obserwowania, że ​​dowolny punkt w (wystarczająco dużej) przestrzeni może należeć do wielu przecinających się tam ścieżek. To, wraz z poprzednią konstrukcją, pokazuje nam, że brak dystrybucji jednoznacznie określa rodzinę, do której należy.$\Theta\subset\mathbb{R}^4$

• Rodzina wszystkich absolutnie ciągłych rozkładów wariancji skończonych nie jest parametryczna. Dowód wymaga głębokiej twierdzenie topologii: jeśli nadają C Y z dowolnej topologii (czy statystycznie przydatne lub nie) i p : Θ → C Y jest ciągła i lokalnie ma ciągłą odwrotność, a następnie lokalnie C Y muszą mieć ten sam wymiar jak że z Θ . Jednak we wszystkich statystycznie znaczących topologiach C Y ma nieskończony wymiar.$\mathcal{C}_Y$$\mathcal{C}_Y$$p: \Theta\to\mathcal{C}_Y$$\mathcal{C}_Y$$\Theta$$\mathcal{C}_Y$

To address a specific point brought up in the question: "exponential family" does not denote a set of distributions. (The standard, say, exponential distribution is a member of the family of exponential distributions, an exponential family; of the family of gamma distributions, also an exponential family; of the family of Weibull distributions, not an exponential family; & of any number of other families you might dream up.) Rather, "exponential" here refers to a property possessed by a family of distributions. So we shouldn't talk of "distributions in the exponential family" but of "exponential families of distributions"—the former is an abuse of terminology, as @JuhoKokkala points out. For some reason no-one commits this abuse when talking of location–scale families.

Thanks to @whuber there is enough information to summarize in what I hope is a simpler form relating to the question from which this post arose. "Another name for a family [Sic, statistical family] is [a] statistical model."

From that Wikipedia entry: A statistical model consists of all distributions that we suppose govern our observations, but we do not otherwise know which distribution is the actual one. What distinguishes a statistical model from other mathematical models is that a statistical model is non-deterministic. Thus, in a statistical model specified via mathematical equations, some of the variables do not have specific values, but instead have probability distributions; i.e., some of the variables are stochastic. A statistical model is usually thought of as a pair $( S , P )$, where $S$ is the set of possible observations, i.e., the sample space, and $P$ is a set of probability distributions on $S$.

Suppose that we have a statistical model $(S, \mathcal{P})$ with $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$. The model is said to be a Parametric model if $\Theta$ has a finite dimension. In notation, we write that $\Theta \subseteq \mathbb{R}^d$ where $d$ is a positive integer ($\mathbb{R}$ denotes the real numbers; other sets can be used, in principle). Here, $d$ is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.