Skąd dystrybucja beta?

Jak jestem pewien, wszyscy już tu wiedzą, plik PDF dystrybucji Beta $X \sim B(a,b)$ jest podany przez

$f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$

Wszędzie szukałem wyjaśnień na temat pochodzenia tej formuły, ale nie mogę jej znaleźć. Każdy artykuł, który znalazłem w dystrybucji Beta, wydaje się podawać tę formułę, ilustrować kilka jej kształtów, a następnie przejść do dyskusji na temat swoich chwil i stamtąd.

Nie lubię używać wzorów matematycznych, których nie potrafię wyprowadzić i wyjaśnić. W przypadku innych dystrybucji (np. Gamma lub dwumianowa) istnieje wyraźne wyprowadzenie, którego mogę się nauczyć i używać. Ale nie mogę znaleźć czegoś takiego w dystrybucji Beta.

Moje pytanie brzmi: jakie są początki tej formuły? Jak można to wywnioskować z pierwszych zasad w jakimkolwiek kontekście, w jakim został pierwotnie opracowany?

[Aby wyjaśnić, nie pytam o to, jak korzystać z rozkładu Beta w statystykach bayesowskich, ani co to znaczy intuicyjnie w praktyce (przeczytałem przykład baseballu). Chcę tylko wiedzieć, jak uzyskać plik PDF. Było poprzednie pytanie, które zadawało coś podobnego, ale zostało oznaczone (chyba niepoprawnie) jako duplikat innego pytania, które nie rozwiązało problemu, więc jak dotąd nie znalazłem tutaj żadnej pomocy.]

EDYCJA 2017-05-06: Dziękuję wszystkim za pytania. Myślę, że dobre wyjaśnienie tego, czego chcę, pochodzi z jednej z odpowiedzi, które otrzymałem, gdy zapytałem o to niektórych z moich instruktorów kursu:

„Wydaje mi się, że ludzie mogliby uzyskać normalną gęstość jako limit sumy n rzeczy podzielonych przez sqrt (n), a gęstość poissona można wywnioskować z idei zdarzeń zachodzących w stałym tempie. Podobnie, aby uzyskać gęstość beta, trzeba mieć pewien pomysł na to, co sprawia, że coś jest wersją beta niezależną od gęstości i logicznie przed nią ”.

Więc pomysł „ab initio” w komentarzach jest prawdopodobnie najbliższy temu, czego szukam. Nie jestem matematykiem, ale czuję się najlepiej, używając matematyki, którą potrafię wyprowadzić. Jeśli pochodzenie jest dla mnie zbyt zaawansowane, niech tak będzie, ale jeśli nie, chciałbym je zrozumieć.

— Will Bradshaw
źródło

Pochodzi z czego? Jeżeli podejście dwumianowego sprzężone, przed nie do przyjęcia kilku alternatyw jest tutaj (np statystyki rzędu jednolitej zmiennej losowej proporcjach zmiennych gamma).

— GeoMatt22

Uwaga: cała historia dystrybucji Beta znajduje się na niewiarygodnej stronie Wikipedii w tej dystrybucji, która zawiera prawie każdy szczegół!

— Xi'an

Poprzednie pytanie zostało oznaczone jako duplikat drugą po PO wyjaśnił, co byli po w komentarzu. Whuber zadał tam to samo pytanie, co @ Geomatt22: „ Wyprowadzenie oznacza logiczne połączenie czegoś, co zakłada się z czymś, co ma zostać ustalone. Co chcesz założyć ?”

— Scortchi - Przywróć Monikę

@Aksakal, ale pytanie jest zbyt ogólne - można je wyprowadzić na wiele sposobów; jeśli masz rację, zamknę to jako zbyt szerokie, dopóki pytanie nie zostanie wystarczająco zawężone, aby być czymś innym niż

— chwytem

Niektóre krótkie omówienie trochę kontekst historyczny jest tu (przynajmniej jeśli chodzi o jego stosunek do niepełnej funkcji beta). Ma powiązania z rozkładem gamma i wiele, wiele innych rozkładów poza tym i powstaje całkiem rozsądnie na wiele różnych sposobów; jak podkreśla Xi'an, ma on również historyczne pochodzenie w systemie Pearson . Jakiej odpowiedzi szukasz tutaj? Co jest dane / co należy uzyskać?

— Glen_b

Odpowiedzi:

Jako były fizyk widzę, jak można to wyprowadzić. Tak postępują fizycy:

gdy napotkają całkę skończoną funkcji dodatniej, taką jak funkcja beta : instynktownie definiują gęstość:

B (x, y) = \int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t

$B(x,y) = \int_0^1t^{x-1}(1-t)^{y-1}\,dt$

gdzie

f (s | x, y) = \frac{s^{x - 1} (1 - s)^{y - 1}}{\int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t} = \frac{s^{x - 1} (1 - s)^{y - 1}}{B (x, y)},

$f(s|x,y)=\frac{s^{x-1}(1-s)^{y-1}}{\int_0^1t^{x-1}(1-t)^{y-1}\,dt}=\frac{s^{x-1}(1-s)^{y-1}}{B(x,y)},$

0 < s < 1

$0<s<1$

Robią to przez cały czas tak często, że dzieje się to odruchowo, nawet bez zastanowienia. Nazywają tę procedurę „normalizacją” lub podobnymi nazwami. Zauważ, że z definicji trywialnie gęstość ma wszystkie właściwości, które ma mieć, takie jak zawsze dodatnie i sumuje się do jednej.

$f(t)$

AKTUALIZACJA

@ Whuber pyta, co jest takiego specjalnego w dystrybucji Beta, podczas gdy powyższą logikę można zastosować do nieskończonej liczby odpowiednich całek (jak zauważyłem w mojej odpowiedzi powyżej)?

Część specjalna pochodzi z rozkładu dwumianowego . Napiszę jego plik PDF, używając notacji podobnej do mojej wersji beta, a nie zwykłej notacji dla parametrów i zmiennych:

f^{'} (x, y | s) = (\binom{y + x}{x}) s^{x} (1 - s)^{y}

$f'(x,y|s) = \binom {y+x} x s^x(1-s)^{y}$

Tutaj - liczba sukcesów i niepowodzeń, a - prawdopodobieństwo sukcesu. Możesz zobaczyć, jak to jest bardzo podobne do licznika w dystrybucji Beta. W rzeczywistości, jeśli szukasz wcześniejszej wersji dla dystrybucji dwumianowej, będzie to dystrybucja Beta. Nie jest to zaskakujące również dlatego, że domena Beta ma wartość od 0 do 1, i to właśnie robisz w twierdzeniu Bayesa: całkuj przez parametr , co jest prawdopodobieństwem sukcesu w tym przypadku, jak pokazano poniżej: tutaj - podane prawdopodobieństwo (gęstość) prawdopodobieństwa sukcesu wcześniejsze ustawienia dystrybucji Beta oraz $x,y$ $s$ $s$

\hat{f} (x | X) = \frac{f^{'} (X | s) f (s)}{\int_{0}^{1} f^{'} (X | s) f (s) d s},

$\hat f(x|X)=\frac{f'(X|s)f(s)}{\int_0^1 f'(X|s)f(s)ds},$

f (s)

$f(s)$

f^{'} (X | s)

$f'(X|s)$ - gęstość tego zestawu danych (tj. obserwowany sukces i niepowodzenia) przy danym prawdopodobieństwie .

s

$s$

— Aksakal
źródło

@ Xi'an OP nie wydaje się być zainteresowany historią.

— Aksakal

„Wyjaśnienie pochodzenia tej formuły… w jakimkolwiek kontekście został pierwotnie opracowany” brzmi dla mnie jak historia :-).

— whuber

Uważam, że można zainteresować się historią i pierwszymi zasadami jednocześnie. :-) Chociaż twoja odpowiedź jest matematycznie poprawna, niestety jest zdecydowanie zbyt ogólna: można stworzyć gęstość dowolnej funkcji nieujemnej za pomocą całki skończonej. Co zatem jest takiego specjalnego w tej szczególnej rodzinie dystrybucji? Jako takie, twoje podejście wydaje się nie spełniać żadnego z punktów widzenia.

— whuber

@WillBradshaw, tak. Zwykle patrzymy na rozkład dwumianowy jako funkcję liczby awarii (lub sukcesów), biorąc pod uwagę prawdopodobieństwo i liczbę prób jako parametry. W ten sposób jest to dyskretny rozkład . Jeśli jednak spojrzysz na to jako funkcję prawdopodobieństw, biorąc pod uwagę liczbę sukcesów i niepowodzeń za parametry, to po zmianie skali staje się rozkładem beta, ciągłym rozkładem, btw.

— Aksakal

Artykuł w Wikipedii na temat dystrybucji Beta śledzi to dla Karla Pearsona, dokładnie tak, jak sugeruje @ Xi'an. Stigler w swojej Historii statystyki: pomiar niepewności przed 1900 r. Krótko opisuje pochodzenie Pearsona za pomocą nowoczesnej notacji.

— whuber

Thomas Bayes (1763) wyprowadził rozkład Beta [bez użycia tej nazwy] jako pierwszy przykład rozkładu bocznego , poprzedzający prace Leonharda Eulera (1766) nad całką beta wskazaną przez Glen_b o kilka lat, ale całka pojawia się również w Euler (1729 lub 1738) [Opera Omnia, I14, 1 {24] jako sposób na uogólnienie funkcji silniowej może dlatego normalizująca stała Beta jest również nazywana funkcją Eulera . Davies $-$ $B(a,b)$ $-$ wspomina Wallisa (1616-1703), Newtona (1642-1726) i Stirlinga (1692-1770) zajmujących się szczególnymi przypadkami całki jeszcze wcześniej. Karl Pearson (1895) po raz pierwszy skatalogowane tej rodziny rozkładów jak Pearson typu I .

Chociaż historycznie nie pojawiał się w tej kolejności, intuicyjny wpis do rozkładu Beta odbywa się za pomocą rozkładu Fishera , co odpowiada rozkładowi stosunku gdzie celowo użyłem zwykłych notacji dla estymatorów wariancji, ponieważ w ten sposób rozkład ten pojawił się i był zmotywowany do testowania równości dwóch wariancji. Następnie podczas gdy przeciwnie, jeśli , to Znajdowanie gęstości $F(p,q)$

ϱ = {\hat{σ}}_{1}^{2} / {\hat{σ}}_{2}^{2} p {\hat{σ}}_{1}^{2} \sim χ_{p}^{2} q {\hat{σ}}_{1}^{2} \sim χ_{q}^{2}

$\varrho=\hat\sigma^2_1\big/\hat\sigma_2^2\qquad p\hat\sigma_1^2\sim\chi^2_p\quad q\hat\sigma_1^2\sim\chi^2_q$

\frac{p ϱ}{q + p ϱ} \sim B (p / 2, q / 2)

$\frac{p\varrho}{q+p\varrho}\sim B(p/2,q/2)$

ω \sim B (a, b)

$\omega\sim B(a,b)$

\frac{ω / a}{(1 - ω) / b} \sim F (2 a, 2 b)

$\dfrac{\omega/a}{(1-\omega)/b}\sim F(2a,2b)$

B (a, b)

$B(a,b)$ rozkład jest zatem zmianą zmiennej zmiennej: zaczynając od gęstości rozkładu , i biorąc pod uwagę zmianę zmiennej która odwraca się na jakobian jest prowadzi do gęstości transformacji [gdzie wszystkie stałe normalizacji są uzyskiwane przez narzucenie, że gęstość zostanie zintegrowana z jednym.

F (p, q)

$F(p,q)$

f_{p, q} (x) \propto {p x / q}^{p / 2 - 1} (1 + p x / q)^{- (p + q) / 2}

$f_{p,q}(x) \propto \{px/q\}^{p/2-1}(1+px/q)^{-(p+q)/2}$

y = \frac{{p x / q}}{{1 + p x / q}} y \in (0, 1)

$y=\frac{\{px/q\}}{\{1+px/q\}}\quad y\in(0,1)$

x = \frac{q y}{p (1 - y)}

$x=\frac{qy}{p(1-y)}$

\frac{d x}{d y} = \frac{q}{p (1 - y)} + \frac{q y}{p (1 - y)^{2}} = \frac{p}{q (1 - y)^{2}}

$\frac{\text{d}x}{\text{d}y}=\frac{q}{p(1-y)}+\frac{qy}{p(1-y)^2}=\frac{p}{q(1-y)^2}$

g (y) \propto y^{p / 2 - 1} (1 - y)^{q / 2 + 1} (1 - y)^{- 2} = y^{p / 2 - 1} (1 - y)^{q / 2 + 1}

$g(y)\propto y^{p/2-1}(1-y)^{q/2+1}(1-y)^{-2}=y^{p/2-1}(1-y)^{q/2+1}$

— Xi'an
źródło

+1. Warto zauważyć, że K. Pearson nie tylko „katalogował” rozkłady Beta: wyprowadził je poprzez rozwiązania rodziny równań różniczkowych zainspirowanych relacją, którą zaobserwował między równaniami różniczkowymi dla dwumianu a równaniami różniczkowymi dla rozkładu normalnego. Uogólnienie dwumianowego równania różniczkowego do rozkładu hipergeometrycznego spowodowało uogólnienie równania różniczkowego, którego rozwiązania obejmowały rozkłady beta „Typ I” i „Typ II”. Jest to dokładnie ten rodzaj pochodnej ab initio , o którą wydaje się zabiegać OP.

— whuber

Myślę, że mogę się wiele nauczyć, studiując tę odpowiedź. W tej chwili jest dla mnie zbyt zaawansowany, ale kiedy będę miał czas, wrócę i zbadam wspomniane przez Ciebie tematy, a następnie spróbuj ponownie je zrozumieć. Wielkie dzięki. :)

— Will Bradshaw

Po pierwsze, nie jestem dobry w matematycznie precyzyjnych opisach pojęć w mojej głowie, ale postaram się jak najlepiej, używając prostego przykładu:

Wyobraź sobie, że masz łuk, wiele strzał i cel. Powiedzmy dalej, że twój współczynnik trafień (dla trafienia w cel) jest dokładnie funkcją odległości do środka celu i następującej postaci gdzie x jest odległością do środka celu ( ). Dla byłoby to przybliżenie pierwszego rzędu Gaussa. Oznaczałoby to, że najczęściej trafiasz w dziesiątkę. Podobnie, przybliża każdą krzywą w kształcie dzwonu, na przykład wynikającą z dyfuzji cząstek Browna. $\lambda$

\begin{array}{rcl} λ = g (x) = λ_{m a x} - (q | x - x_{0} |)^{\frac{1}{q}}, q > 0, 0 \leq λ \leq λ_{m a x} \end{array}

$\begin{eqnarray} \lambda=g(x)=\lambda_{max}-(q|x-x_0|)^\frac{1}{q},~q > 0,~0 \leq \lambda \leq \lambda_{max} \end{eqnarray}$

x_{0}

$x_0$

q = 1 / 2

$q=1/2$

Załóżmy ponadto, że ktoś naprawdę odważny / głupi próbuje cię oszukać i przesuwa cel na każdym strzale. W ten sposób sam jest zmienną losową. Jeśli rozkład ruchów tej osoby można opisać mocą (p-1) (to znaczy ), prosty transformacja zmiennych losowych (pamiętaj ) prowadzi do rozproszonego Beta : $x_0$ $g(x)$ $P(x_0) = C\cdot g(x)^{p-1})$ $P(\lambda)d\lambda=P(x_0)dx_0$ $\lambda$

\begin{array}{rcl} P (λ) = P (g^{- 1} (λ)) | \frac{d g^{- 1} (λ)}{d λ} | = C^{'} \cdot λ^{p - 1} \cdot (λ_{m a x} - λ)^{q - 1} \end{array}

$\begin{eqnarray}P(\lambda) = P(g^{-1}(\lambda)) \biggl|\frac{dg^{-1}(\lambda)}{d\lambda}\biggl| = C' \cdot \lambda^{p-1} \cdot (\lambda_{max} - \lambda)^{q-1}\end{eqnarray}$

gdzie stała normalizacyjna jest funkcją beta. Dla standardowej parametryzacji rozkładu beta ustawiamy . $C'$ $\lambda_{max} = 1$

Innymi słowy, rozkład beta można postrzegać jako rozkład prawdopodobieństw w środku rozłożonego rozkładu.

Mam nadzieję, że to pochodzenie zbliża się do tego, co miał na myśli twój instruktor. Zauważ, że formy funkcjonalne i są bardzo elastyczne i sięgają od rozkładów podobnych do trójkątów i rozkładów w kształcie litery U (patrz przykład poniżej) do rozkładów o ostrych pikach. $g(x)$ $P(x_0)$

FYI: Odkryłem to jako efekt uboczny w mojej pracy doktorskiej i pisałem o tym w mojej pracy doktorskiej w kontekście niestacjonarnych krzywych strojenia neuronowego prowadzących do rozkładów liczby impulsów o zerowym napompowaniu (bimodalny z trybem zerowym). Zastosowanie opisanej powyżej koncepcji dało rozkład mieszaniny Beta-Poissona dla aktywności neuronowej. Taki rozkład może być dopasowany do danych. Dopasowane parametry pozwalają oszacować zarówno rozkład jak i rozkład drgań poprzez zastosowanie odwrotnej logiki. Mieszanina Beta-Poissona jest bardzo interesującą i elastyczną alternatywą dla powszechnie stosowanego ujemnego rozkładu dwumianowego (który jest mieszaniną Gamma-Poissona) w celu modelowania nadmiernej dyspersji. Poniżej znajduje się przykład „Jitter $g(x)$ $p(x_0)$ $\rightarrow$ Beta ”- pomysł w działaniu:

Odp . : Symulowane przemieszczenie próbne 1D na podstawie rozkładu drgań we wkładce ( ). Uśrednione podczas próby pole rażenia (ciągła czarna linia) jest szersze i ma niższy współczynnik szczytowy w porównaniu z leżącą u podstaw krzywą strojenia bez drgań (ciągła niebieska linia, użyte parametry: . B : Wynikowy rozkład przy w N = 100 próbach i analityczny pdf rozkładu Beta C. C : Symulowany rozkład liczby skoków z procesu Poissona z parametrami gdzie oznaczam wskaźniki z prób i wynikowy rozkład Beta-Poissona wyprowadzony jak naszkicowano powyżej. $P(jitter)\propto g(x)^{p-1}$ $\lambda_{max} = 10, p = .6, q=.5$ $\lambda$ $x_0$ $\lambda_i$ D : Analogiczna sytuacja w 2D z losowymi kątami przesunięcia prowadzącymi do identycznych statystyk.

— Jojo
źródło