Zależność między rozkładem gamma a rozkładem normalnym


26

Niedawno uznałem za konieczne wyprowadzenie pdf dla kwadratu normalnej zmiennej losowej ze średnią 0. Z jakiegokolwiek powodu postanowiłem nie normalizować wcześniej wariancji. Jeśli zrobiłem to poprawnie, ten plik pdf wygląda następująco:

N2(x;σ2)=1σ2πxex2σ2

Zauważyłem, że w rzeczywistości była to tylko parametryzacja rozkładu gamma:

N2(x;σ2)=Gamma(x;12,2σ2)

A następnie, z faktu, że suma dwóch gamma (z tym samym parametrem skali) jest równa innej gamma, wynika z tego, że gamma jest równoważna sumie kwadratowych normalnych zmiennych losowych.k

NΣ2(x;k,σ2)=Gamma(x;k2,2σ2)

To było dla mnie trochę zaskakujące. Mimo że wiedziałem, że - rozkład sumy kwadratowych standardowych RV normalnych - był szczególnym przypadkiem gamma, nie zdawałem sobie sprawy, że gamma była zasadniczo tylko uogólnieniem uwzględniającym sumę normalnego zmienne losowe dowolnej wariancji. Prowadzi to również do innych charakterystyk, których wcześniej nie spotkałem, takich jak rozkład wykładniczy odpowiadający sumie dwóch kwadratowych rozkładów normalnych.χ2

To dla mnie trochę tajemnicze. Czy rozkład normalny ma podstawowe znaczenie dla wyprowadzenia rozkładu gamma w sposób opisany powyżej? Większość zasobów, które sprawdziłem, nie wspominają, że te dwie dystrybucje są wewnętrznie powiązane w ten sposób, a nawet w tym przypadku opisują, w jaki sposób otrzymywana jest gamma. To sprawia, że ​​myślę, że w grę wchodzi jakaś prawda niższego poziomu, którą po prostu podkreśliłem w zawiły sposób?


6
Wiele podręczników teorii prawdopodobieństwa wspomina o wszystkich powyższych wynikach; ale może teksty statystyczne nie obejmują tych pomysłów? W każdym razie zmienną losową jest po prostu gdzie jest standardową normalną zmienną losową, a więc (dla zmiennych iid) jest po prostu skalowaną zmienną losową nie jest zaskakujące dla tych, którzy studiowali teorię prawdopodobieństwa. Y i σ X i X i i Y 2 i = σ 2 i X 2 i χ 2N(0,σ2)YjaσXjaXjajaYja2)=σ2)jaXja2) χ2)
Dilip Sarwate

Pochodzę z komputera, więc zazwyczaj nie spotykam się z teorią prawdopodobieństwa. Żaden z moich podręczników (ani Wikipedii) nie wspomina o tej interpretacji. Przypuszczam, że również pytam, co jest specjalnego w sumie kwadratu dwóch rozkładów normalnych, co czyni z niego dobry model czasu oczekiwania (tj. Rozkład wykładniczy). Nadal wydaje mi się, że brakuje mi czegoś głębszego.
timxyz

3
Ponieważ Wikipedia definiuje rozkład chi-kwadrat jako sumę kwadratów normalnych na en.wikipedia.org/wiki/Chi-squared_distribution#Definition i wspomina, że ​​chi-kwadrat jest szczególnym przypadkiem Gamma (na en.wikipedia.org/wiki / Gamma_distribution # Others ), ledwo można twierdzić, że te relacje nie są dobrze znane. Sama wariancja po prostu ustanawia jednostkę miary (parametr skali) we wszystkich przypadkach, a zatem nie wprowadza żadnych dodatkowych komplikacji.
whuber

3
Chociaż wyniki te są dobrze znane w dziedzinie prawdopodobieństwa i statystyki, dobrze zrobiono wam @timxyz za ponowne odkrycie ich we własnej analizie.
Przywróć Monikę

Połączenie nie jest tajemnicze, ponieważ są członkami wykładniczej rodziny rozkładów, których istotną właściwością jest to, że można je osiągnąć przez podstawienie zmiennych i / lub parametrów. Zobacz dłuższą odpowiedź poniżej z przykładami.
Carl

Odpowiedzi:


18

Jak zauważył komentarz prof. Sarwate, relacje między kwadratową normą a chi-kwadratem są bardzo szeroko rozpowszechnionym faktem - podobnie jak fakt, że chi-kwadrat jest tylko szczególnym przypadkiem rozkładu gamma:

XN.(0,σ2))X2)/σ2)χ12)X2)σ2)χ12)=Gamma(12),2)σ2))

ostatnia równość wynikająca z właściwości skalowania gamma.

Jeśli chodzi o związek z wykładniczym, dokładnym jest suma dwóch kwadratowych normalnych zerowych średnich, z których każdy jest skalowany przez wariancję drugiego , co prowadzi do rozkładu wykładniczego:

X1N.(0,σ12)),X2)N.(0,σ2)2))X12)σ12)+X2)2)σ2)2)χ2)2)σ2)2)X12)+σ12)X2)2)σ12)σ2)2)χ2)2)

σ2)2)X12)+σ12)X2)2)σ12)σ2)2)χ2)2)=Gamma(1,2)σ12)σ2)2))=Exp(12)σ12)σ2)2))

Jednak podejrzenie, że istnieje „coś specjalnego” lub „głębszego” w sumie dwóch kwadratów zero oznacza normalne, które „czynią z nich dobry model czasu oczekiwania” jest bezpodstawne: po pierwsze, co jest specjalnego w rozkładzie wykładniczym, który sprawia, że to dobry model na „czas oczekiwania”? Oczywiście bez pamięci, ale czy jest tu coś „głębszego”, czy tylko prosta funkcjonalna postać funkcji rozkładu wykładniczego i właściwości ? Unikalne właściwości są rozrzucone po całej matematyce i przez większość czasu nie odzwierciedlają „głębszej intuicji” lub „struktury” - po prostu istnieją (na szczęście).mi

Po drugie, kwadrat zmiennej ma bardzo niewielki związek z jej poziomem. Wystarczy rozważyć w, powiedzmy, :[ - 2 ,fa(x)=x[-2),2)]

wprowadź opis zdjęcia tutaj

... lub wykreślić standardową gęstość normalną w stosunku do gęstości chi-kwadrat: odzwierciedlają i reprezentują zupełnie inne zachowania stochastyczne, mimo że są tak ściśle ze sobą powiązane, ponieważ druga to gęstość zmiennej, która jest kwadratem pierwszej. Normalna może być bardzo ważnym filarem systemu matematycznego, który opracowaliśmy w celu modelowania zachowania stochastycznego - ale kiedy go wyprostujesz, stanie się czymś zupełnie innym.


Dziękuję za zajęcie się w szczególności pytaniami z mojego ostatniego akapitu.
timxyz

2
Nie ma za co. Muszę przyznać, że cieszę się, że moja odpowiedź dotarła do pierwotnego OP 26 miesięcy po opublikowaniu pytania.
Alecos Papadopoulos

11

Zajmijmy się postawionym pytaniem: To wszystko jest dla mnie nieco tajemnicze. Czy rozkład normalny ma podstawowe znaczenie dla wyprowadzenia rozkładu gamma ...? Nie jest tajemnicą, po prostu rozkład normalny i rozkład gamma są członkami, między innymi wykładniczej rodziny rozkładów, której rodzina jest definiowana przez zdolność do konwersji między formami równościowymi przez podstawienie parametrów i / lub zmiennych. W konsekwencji, istnieje wiele konwersji przez podstawienie między rozkładami, A niektóre z nich są podsumowane na poniższym rysunku.

wprowadź opis zdjęcia tutajLEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (luty 2008). „Univariate Distribution Relations” (PDF). American Statistician. 62 (1): 45–53. doi: 10.1198 / 000313008x270448 przytocz

Oto dwa bardziej szczegółowo relacje rozkładu normalnego i rozkładu gamma (wśród nieznanej liczby innych, np. Poprzez chi-kwadrat i beta).

Po pierwsze, następuje bardziej bezpośredni związek między rozkładem gamma (GD) a rozkładem normalnym (ND) ze średnią zero. Mówiąc najprościej, GD ma normalny kształt, ponieważ jego parametr kształtu może wzrosnąć. Udowodnienie, że tak jest, jest trudniejsze. W przypadku GD

GD(z;za,b)={b-zazza-1mi-zbΓ(za)z>00inny.

Ponieważ parametr kształtu GD , kształt GD staje się bardziej symetryczny i normalny, jednak wraz ze wzrostem średniej wraz ze wzrostem musimy przesunąć GD w lewo o aby utrzymać go w bezruchu, a na koniec, jeśli chcemy zachować to samo odchylenie standardowe dla naszego przesuniętego GD, musimy zmniejszyć parametr skali ( ) proporcjonalnie do .zaza(za-1)1zakb1za

Aby przekształcić GD w przypadek ograniczający ND, ustawiliśmy standardowe odchylenie na stałą ( ), pozwalając i przesunąć GD w lewo, aby mieć tryb zerowy przez podstawienieNastępniekb=1zakz=(za-1)1zak+x .

GD((za-1)1zak+x; za, 1zak)={(kza)-zami-zaxk-za+1((za-1)kza+x)za-1Γ(za)x>k(1-za)za0inny.

Zauważ, że w limicie jako najbardziej ujemna wartość dla której ten GD jest niezerowy . Oznacza to, że częściowo nieskończone wsparcie GD staje się nieskończone . Przyjmując limit jako sparametryzowanego GD, znajdujemyzax-za

limza(kza)-zami-zaxk-za+1((za-1)kza+x)za-1Γ(za)=mi-x2)2)k2)2)πk=ND(x;0,k2))

Graficznie dla i GD jest w kolorze niebieskim, a ograniczenie jest w pomarańczowy poniżejk=2)za=1,2),4,8,16,32,64ND(x;0, 2)2))

wprowadź opis zdjęcia tutaj

Po drugie. Zwróćmy uwagę, że ze względu na podobieństwo formy między tymi rozkładami, można właściwie rozwinąć relacje między rozkładami gamma i rozkładów normalnych, wyciągając je z cienkiego powietrza. Innymi słowy, opracowujemy uogólnione rozkładanie gamma rozkładu normalnego rozkładu gamma.

Zauważ najpierw, że to częściowo nieskończone wsparcie rozkładu gamma utrudnia bardziej bezpośredni związek z rozkładem normalnym. Jednak przeszkodę tę można usunąć, biorąc pod uwagę rozkład w połowie normalny, który ma również częściowo nieskończone wsparcie. Zatem można uogólnić rozkład normalny (ND), najpierw składając go do połowy normalnej (HND), odnosząc się do uogólnionego rozkładu gamma (GD), a następnie dla naszego tour de force „rozkładamy” oba (HND i GD), aby w ten sposób uogólnić ND (GND).

Uogólniony rozkład gamma

GD(x;α,β,γ,μ)={γmi-(x-μβ)γ(x-μβ)αγ-1βΓ(α)x>μ0inny,

Może być ponownie sparametryzowany, aby był rozkładem w połowie normalnym ,

GD(x;12),πθ,2),0)={2)θmi-θ2)x2)ππx>00inny=HND(x;θ)

Zauważ, żeZatemθ=πσ2).

ND(x;0,σ2))=12)HND(x;θ)+12)HND(-x;θ)=12)GD(x;12),πθ,2),0)+12)GD(-x;12),πθ,2),0),

co implikuje to

GND(x;μ,α,β)=12)GD(x;1β,α,β,μ)+12)GD(-x;1β,α,β,μ)=βmi-(|x-μ|α)β2)αΓ(1β),

jest uogólnieniem rozkładu normalnego, gdzie to lokalizacja, to skala, a to kształt, a gdzie daje rozkład normalny. Obejmuje rozkład Laplace'a, gdy . Gdy , gęstość zbiega się punktowo z jednolitą gęstością na . Poniżej przedstawiono uogólniony rozkład normalny wykreślony dla w kolorze niebieskim z normalnym przypadkiem w kolorze pomarańczowym.μα>0β>0β=2)β=1β(μ-α,μ+α)α=π2),β=1/2),1,4α=π2),β=2)

wprowadź opis zdjęcia tutaj

Powyższe można postrzegać jako uogólniony rozkład normalny Wersja 1, aw różnych parametryzacjach jest znany jako wykładniczy rozkład mocy, a uogólniony rozkład błędów, który z kolei jest jednym z kilku innych uogólnionych rozkładów normalnych .


2

Wyprowadzenie rozkładu chi-kwadrat z rozkładu normalnego jest bardzo analogiczne do wyprowadzenia rozkładu gamma z rozkładu wykładniczego.

Powinniśmy być w stanie uogólnić to:

  • Jeśli są zmiennymi niezależnymi od uogólnionego rozkładu normalnego o współczynniku mocy wówczas można powiązać z pewnym skalowanym rozkładem chi-kwadrat (o „stopniach swobody” równych ).XjamY=janXjamn/m

Analogia jest następująca:

Rozkłady normalne i chi-kwadrat odnoszą się do sumy kwadratów

  • Łączny rozkład gęstości wielu niezależnych standardowych rozkładów normalnych zależy odxja2)
    fa(x1,x2),...,xn)=exp(-0,5ja=1nxja2))(2)π)n/2)

  • JeśliXjaN.(0,1)

    następnieja=1nXja2)χ2)(ν)

Rozkłady wykładnicze i gamma odnoszą się do sumy regularnej

  • Łączny rozkład gęstości wielu niezależnych wykładniczych zmiennych rozkładowych zależy od xja

    fa(x1,x2),...,xn)=exp(-λja=1nxja)λ-n

  • JeśliXjamixp(λ)

    następnieja=1nXjaGamma(n,λ)


Derywacji można dokonać przez zmianę zmiennych integrujących się nie na wszystkich ale tylko na podstawie sumy (to właśnie zrobił Pearson w 1900 r.). W obu przypadkach przebiega to bardzo podobnie.x1,x2),...xn

Dla dystrybucji :χ2)

faχ2)(n)(s)res=mi-s/2)(2)π)n/2)reV.resres=mi-s/2)(2)π)n/2)πn/2)Γ(n/2))sn/2)-1res=12)n/2)Γ(n/2))sn/2)-1mi-s/2)res

Gdzie to n-wymiarowa objętość piłki n o kwadratowym promieniu .V.(s)=πn/2)Γ(n/2)+1)sn/2)s

W przypadku rozkładu gamma:

fasol(n,λ)(s)res=mi-λsλ-nreV.resres=mi-λsλ-nnsn-1n!res=λnΓ(n)sn-1mi-λsres

Gdzie To n-wymiarowa objętość n-polytopu z .V.(s)=snn!xja<s


Rozkład gamma można postrzegać jako czas oczekiwania dla zdarzenia w procesie Poissona, który jest rozkładany jako suma zmiennych wykładniczych.Ynn

Jak zauważył już Alecos Papadopoulos, nie ma głębszego połączenia, które czyni sumy kwadratowych zmiennych normalnych „dobrym modelem czasu oczekiwania”. Rozkład gamma jest rozkładem sumy uogólnionych normalnych zmiennych rozproszonych. W ten sposób spotykają się dwoje.

Ale rodzaj sumy i rodzaj zmiennych mogą być różne. Podczas gdy rozkład gamma, uzyskany z rozkładu wykładniczego (p = 1), otrzymuje interpretację rozkładu wykładniczego (czas oczekiwania), nie można cofnąć się i wrócić do sumy kwadratowych zmiennych Gaussa i użyć tej samej interpretacji.

Rozkład gęstości dla czasu oczekiwania, który spada wykładniczo, i rozkład gęstości dla błędu Gaussa spada wykładniczo (z kwadratem). To kolejny sposób na połączenie tych dwóch.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.