Istnienie funkcji i wariancji generującej moment

Czy rozkład o średniej skończonej i nieskończonej wariancji może mieć funkcję generowania momentu? Co z rozkładem o skończonej średniej i skończonej wariancji, ale o nieskończonych wyższych momentach?

To pytanie stanowi dobrą okazję do zebrania pewnych faktów na temat funkcji generujących moment ( mgf ).

W odpowiedzi poniżej wykonujemy następujące czynności:

1. Pokaż, że jeśli mgf jest skończone dla co najmniej jednej (ściśle) wartości dodatniej i jednej wartości ujemnej, wówczas wszystkie dodatnie momenty $X$ są skończone (w tym momenty nieintegralne).
2. Wykazać, że warunek w pierwszej pozycji powyżej jest równoważny rozkładowi mającego wykładniczo ograniczone ogony. Innymi słowy, ogony X spadają co najmniej tak szybko jak wykładnicze losowe zmienne Z (do stałej).$X$$X$$Z$
3. Należy szybko zanotować charakterystykę rozkładu według jego mgf, pod warunkiem że spełnia on warunek określony w punkcie 1.
4. Przejrzyj kilka przykładów i kontrprzykładów, aby wspomóc naszą intuicję, a zwłaszcza, aby pokazać, że nie powinniśmy odczytywać nadmiernego znaczenia braku skończoności mgf.

Ta odpowiedź jest dość długa, za co z góry przepraszam. Jeśli byłoby to lepiej umieszczone, np. Jako post na blogu lub w innym miejscu, prosimy o przesłanie takiej opinii w komentarzach.

Co mgf mówi o chwilach?

MGF losowej zmiennej określa się jako m ( t ) = E e t X . Zauważ, że m ( t ) zawsze istnieje, ponieważ jest całką nieujemnej funkcji mierzalnej. Jednak jeśli nie może być skończony . Jeśli jest skończony (w odpowiednich miejscach), to dla wszystkich p > 0 (niekoniecznie liczb całkowitych) momenty bezwzględne E | X | p < ∞ (a więc także E X $X \sim F$$m(t) = \mathbb E e^{tX}$$m(t)$ $p > 0$$\mathbb E |X|^p < \infty$$\mathbb E X^p$jest skończony). To jest temat następnej propozycji.

Propozycja : jeśli istnieje i t p > 0 , tak że m ( t n ) < ∞ i m ( t p ) < ∞ , wówczas momenty wszystkich rzędów X istnieją i są ograniczone.$\newcommand{\tn}{t_{n}}\newcommand{\tp}{t_{p}}\tn < 0$$\tp > 0$$m(\tn) < \infty$$m(\tp) < \infty$$X$

Przed zanurzeniem się w dowodzie, oto dwa przydatne lematy.

Lemat 1 : Załóżmy, że takie i t p istnieją. Następnie dla dowolnego t 0 ∈ [ t n , t p ] , m ( t 0 ) < ∞ . Dowód . Wynika to z wypukłości e x i monotoniczności całki. Dla dowolnego takiego t 0 istnieje θ ∈ [ 0 , 1 ] takie, że t 0 = θ t n$\tn$$\tp$$t_0 \in [\tn,\tp]$$m(t_0) < \infty$
$e^x$$t_0$$\theta \in [0,1]$ . Ale wtedy e t 0 X = $t_0 = \theta \tn + (1-\theta) \tp$ Stąd przez monotoniczność całki E e t 0 X ≤ θ E e t n X + ( 1 - θ ) E e t p X < ∞ .

$$e^{t_0 X} = e^{\theta \tn X + (1-\theta) \tp X} \leq \theta e^{\tn X} + (1-\theta) e^{\tp X} \>.$$ $\mathbb E e^{t_0 X} \leq \theta \mathbb E e^{\tn X} + (1-\theta) \mathbb E e^{\tp X} < \infty$

Tak więc, jeśli mgf jest skończony w dowolnych dwóch odrębnych punktach, jest skończony dla wszystkich wartości w przedziale między tymi punktami.

Lemma 2 (Nesting of $L_p$ spaces): For $0 \leq q \leq p$, if $\mathbb E |X|^p < \infty$, then $\mathbb E |X|^q < \infty$.
Proof: Two approaches are given in this answer and associated comments.

This gives us enough to continue with the proof of the proposition.

Dowód propozycji . Jeśli i t p > 0 istnieć jako podano w propozycji, a następnie przy T 0 = min ( - t n , t p ) > 0 , wiemy przez pierwszy lematu m ( - t 0 ) < ∞ i m ( t 0 ) < ∞ . Ale e - t 0 X + e $\tn < 0$$\tp > 0$$t_0 = \min(-\tn,\tp) > 0$$m(-t_0) < \infty$$m(t_0) < \infty$ a prawa strona składa się z nieujemnych terminów, a więc w szczególności dla każdego ustalonego k e - t 0 X + e t 0 X ≥ 2 t 2 k 0 X 2 k / ( 2 k )

$$e^{-t_0 X} + e^{t_0 X} = 2 \sum_{n=0}^\infty \frac{t_0^{2n} X^{2n}}{(2n)!} \>,$$ $k$ Teraz z założenia E e - t 0 X + E e t 0 X < ∞ . Monotoniczność całki daje E X 2 k < ∞ . Dlatego wszystkieparzystemomenty X są skończone. Lemat 2 natychmiast pozwala nam „wypełnić luki” i stwierdzić, żewszystkiechwile muszą być skończone. $$e^{-t_0 X} + e^{t_0 X} \geq 2 t_0^{2k} X^{2k}/(2k)! \>.$$ $\mathbb E e^{-t_0 X} + \mathbb E e^{t_0 X} < \infty$$\mathbb E X^{2k} < \infty$$X$

Wynik

Rezultatem tego pytania jest to, że jeśli którykolwiek z momentów jest nieskończony lub nie istnieje, możemy od razu stwierdzić, że mgf nie jest skończony w otwartym przedziale zawierającym źródło. (To jest tylko contrapositive zestawienie propozycji).$X$

Tak więc powyższa propozycja zapewnia „właściwy” warunek, aby powiedzieć coś o momentach na podstawie jego mgf.$X$

Wykładniczo ograniczone ogony i mgf

Twierdzenie : mgf jest skończone w otwartym przedziale ( t n , t p ) zawierającym początek wtedy i tylko wtedy, gdy ogony F są wykładniczo ograniczone , tj. P ( | X | > x ) ≤ C e - t 0 x jakiegoś C > 0 i t 0 > 0 .$m(t)$$(\tn,\tp)$$F$$\mathbb P( |X| > x) \leq C e^{-t_0 x}$$C > 0$$t_0 > 0$

Proof. We'll deal with the right tail separately. The left tail is handled completely analogously.

$(\Rightarrow)$ Suppose $m(t_0) < \infty$ for some $t_0 > 0$. Then, the right tail of $F$ is exponentially bounded; in other words, there exists $C > 0$ and $b > 0$ such that

$$\mathbb P(X > x) \leq C e^{-b x} \>.$$ To see this, note that for any $t > 0$, by Markov's inequality, $$\mathbb P(X > x) = \mathbb P(e^{tX} > e^{tx}) \leq e^{-tx} \mathbb E e^{t X} = m(t) e^{-t x} \>.$$ Take $C = m(t_0)$ and $b = t_0$ to complete this direction of the proof.

$(\Leftarrow)$ Suppose there exists $C >0$ and $t_0 > 0$ such that $\mathbb P(X > x) \leq C e^{-t_0 x}$. Then, for $t > 0$,

$$\mathbb E e^{t X} = \int_0^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty C y^{-t_0/t} \, \mathrm dy \>,$$ where the first equality follows from a standard fact about the expectation of nonnegative random variables. Choose any $t$ such that $0 < t < t_0$; then, the integral on the right-hand side is finite.

This completes the proof.

A note on uniqueness of a distribution given its mgf

If the mgf is finite in an open interval containing zero, then the associated distribution is characterized by its moments, i.e., it is the only distribution with the moments $\mu_n = \mathbb E X^n$. A standard proof is short once one has at hand some (relatively straightforward) facts about characteristic functions. Details can be found in most modern probability texts (e.g., Billingsley or Durrett). A couple related matters are discussed in this answer.

Examples and counterexamples

(a) Lognormal distribution: $X$ is lognormal if $X = e^Y$ for some normal random variable $Y$. So $X \geq 0$ with probability one. Because $e^{-x} \leq 1$ for all $x \geq 0$, this immediately tells us that $m(t) = \mathbb E e^{t X} \leq 1$ for all $t < 0$. So, the mgf is finite on the nonnegative half-line $(-\infty,0]$. (NB We've only used the nonnegativity of $X$ to establish this fact, so this is true from all nonnegative random variables.)

However, $m(t) = \infty$ for all $t > 0$. We'll take the standard lognormal as the canonical case. If $x > 0$, then $e^{x} \geq 1 + x + \frac{1}{2} x^2 + \frac{1}{6} x^3$. By change of variables, we have

$$\mathbb E e^{t X} = (2\pi)^{-1/2} \int_{-\infty}^\infty e^{t e^u - u^2/2} \,\mathrm d u \>.$$ For $t > 0$ and large enough $u$, we have $t e^u - u^2/2 \geq t+tu$ by the bounds given above. But, $$\int_{K}^\infty e^{t + tu} \,\mathrm du = \infty$$ for any $K$, and so the mgf is infinite for all $t > 0$.

On the other hand, all moments of the lognormal distribution are finite. So, the existence of the mgf in an interval about zero is not necessary for the conclusion of the above proposition.

(b) Symmetrized lognormal: We can get an even more extreme case by "symmetrizing" the lognormal distribution. Consider the density $f(x)$ for $x \in \mathbb R$ such that

$$f(x) = \frac{1}{2\sqrt{2\pi}|x|} e^{-\frac{1}{2} (\log |x|)^2} \>.$$ It is not hard to see in light of the previous example that the mgf is finite only for $t = 0$. Yet, the even moments are exactly the same as those of the lognormal and the odd moments are all zero! So, the mgf exists nowhere (except at the origin where it always exists) and yet we can guarantee finite moments of all orders.

(c) Cauchy distribution: This distribution also has an mgf which is infinite for all $t \neq 0$, but no absolute moments $\mathbb E|X|^p$ are finite for $p \geq 1$. The result for the mgf follows for $t > 0$ since $e^x \geq x^3 / 6$ for $x > 0$ and so

$$\mathbb E e^{tX} \geq \int_1^\infty \frac{t^3 x^3}{6\pi(1+x^2)} \,\mathrm dx \geq \frac{t^3}{12\pi} \int_1^\infty x \,\mathrm dx = \infty \>.$$ The proof for $t < 0$ is analogous. (Perhaps somewhat less well known is that the moments for $0 < p < 1$ do exist for the Cauchy. See this answer.)

(d) Half-Cauchy distribution: If $X$ is (standard) Cauchy, call $Y = |X|$ a half-Cauchy random variable. Then, it is easy to see from the previous example that $\mathbb E Y^p = \infty$ for all $p \geq 1$; yet, $\mathbb E e^{tY}$ is finite for $t \in (-\infty,0]$.