MGF(Moment Generating Function, 적률 생성 함수)

분포를 정의하는 방법 중 하나. 분포의 특성을 나타내는 적률(Moment)를 만들어 낼 수 있는 함수이다.

구간 $(- a, a) for a > 0$ 에서 유한할 때, 확률 변수 $X$ 의 MGF는

M (t) = E [e^{tX}]

⇒ 0 주위에서 아주 작은 구간이라도 유한할 때 의미가 있다.

위 식을 테일러 급수로 전개하면

E [e^{tX}] = E [n = 0 \sum \infty \frac{X ^{n} t ^{n}}{n !}] = n = 0 \sum \infty \frac{E [ X ^{n} ] t ^{n}}{n !}

이 때, $E (X^{n})$ 를 n-th Moment(n차 모멘트)라고 한다. 직접 기대값의 적분식을 계산하지 않고 구할 수 있다.

정리:

n-th Moment 는 테일러 전개식에서 $\frac{t ^{n}}{n !}$ 의 계수(coefficient)이다.
1. MGF를 $n$ 번 미분하고, 테일러 전개식에서 t=0을 대입해 다른 항을 없애면 n-th Moment를 구할 수 있다.
2. $M^{(n)} (0) = E [X^{n}]$ ⇒ 이러한 n-th Moment는 각각
  1. 1차: Expectation
  2. 2차: $V [X] + E [X]^{2}$
두 확률 변수가 MGF를 가지면 같은 확률 분포를 가진다. 즉, MGF를 알면 분포를 알아낼 수 있다.
독립적인 두 확률 변수 $X$ 의 MGF $M_{X}$ , $Y$ 의 MGF $M_{Y}$ 에 대해 $X + Y$ 의 MGF $E [e^{t (X + Y)}] = E [e^{tX}] E [e^{t Y}] = M_{X} M_{Y}$ 를 만족한다. (독립적인 두 확률 변수의 곱의 기대값은, 각각의 기대값의 곱과 같음)

MGF of distribution

Bernoulli Distribution: $M (t) = E [e^{tX}] = p e^{t} + q e^{0} = p e^{t} + q$
Binomial Distribution: $M (t) = (p e^{t} + q)^{n}$ ⇒ 3번째 조건에 의해 베르누이 분포를 $n$ 번 곱해주면 된다.
Standard Normal Distribution: LOTUS에 의해서 $M (t) = \frac{1}{2 π} \int_{- \infty}^{\infty} e^{t z - z^{2} /2} d z$
- $= \frac{1}{2 π} \cdot e^{t^{2} /2} \int_{- \infty}^{\infty} e^{- (z - t)^{2} /2} d z = e^{t^{2} /2}$ : Gauss Integral
- Normal Distribution에 대해서는, $e^{μ t} + e^{σ^{2} t^{2} /2}$
- 홀수 차 Moment에 대해서는, 0을 기준으로 기함수를 적분하게 되어 항상 0이다.
- 짝수 차 Moment에 대해서는 $e^{t^{2} /2} = \sum_{n = 0}^{\infty} \frac{( t ^{2} /2 ) ^{n}}{n !} = \sum_{n = 0}^{\infty} \frac{t ^{2 n}}{2 ^{n} n !} = \sum_{n = 0}^{\infty} \frac{( 2 n )! t ^{2 n}}{2 ^{n} n ! ( 2 n )!}$ 이고, $\frac{t ^{2 n}}{( 2 n )!}$ 이 $2 n$ 차 Moment의 계수이므로 $E [Z^{2 n}] = \frac{( 2 n )!}{2 ^{n} n !}$
Standard Exponential Distribution: $M (t) = \int_{0}^{\infty} e^{t x} e^{- x} d x = \int_{0}^{\infty} e^{- x (1 - t)} d x = \int_{0}^{\infty} e^{- x (1 - t)} d x = \frac{1}{1 - t}$
- $t < 1$ 에 대해서만 유한하다. $t$ 가 1보다 커지면 그 값이 너무 커지게 된다.
- $∣ t ∣ < 1$ 에 대해서, 기하급수이므로 $\frac{1}{1 - t} = \sum_{n = 1}^{\infty} t^{n} = \sum_{n = 0}^{\infty} n! \frac{t ^{n}}{n !}$ : $\frac{t ^{n}}{n !}$ 은 Moment의 계수이므로, $n!$ 가 Moment이다. ⇒ $E [X^{n}] = n!$
- 일반적인 지수 분포 $Y \sim Expo (λ)$ 에 대해서는 $X \sim Expo (1) = λY$ . $Y_{n} = \frac{X ^{n}}{λ ^{n}}$ 이므로, $E [Y_{n}] = \frac{n !}{λ ^{n}}$ .
Poisson Distribution: $M (t) = \sum_{k = 0}^{\infty} e^{t k} e^{- λ} \frac{λ ^{k}}{k !} = e^{- λ} \sum_{k = 1}^{\infty} \frac{( e ^{t} λ ) ^{k}}{k !} = e^{- λ} e^{λ e^{t}} = e^{λ (e^{t} - 1)}$
- 모든 $t$ 에 대해서 급수가 수렴, 즉 유한하므로 유효하다.
- 정리 3에 의해, iid인 두 확률 변수 $X \sim Pois (λ)$ , $Y \sim Pois (μ)$ 에 대해서 $X + Y$ 의 MGF는 $M_{X} M_{Y} = e^{(λ + μ) (e^{t} - 1)}$ 이므로 $X + Y$ 는 $Pois (λ + μ)$ 를 따르게 된다. ⇒ 합성곱