Poisson Distribution

일어날 사건의 개수의 평균 parameter $λ$ 에 대해, $k$ 개의 사건이 일어나는 $X \sim Pois (λ)$ 에 대해서

P (X = k) = \frac{e ^{- λ} λ ^{k}}{k !}

Expectation of Poisson Random Variable

E [X] = k = 0 \sum \infty k \cdot P (X = k) = k = 0 \sum \infty k \cdot \frac{e ^{- λ} λ ^{k}}{k !}

이 때, $k = 0$ 일 때, $P (X = 0) = 0$ 이므로 이를 제외하고 , $j = k - 1$ 로 바꾸면

E [X] = λ k = 1 \sum \infty \frac{e ^{- λ} λ ^{k - 1}}{( k - 1 )!} = λ e^{- λ} j = 0 \sum \infty \frac{λ ^{j}}{j !}

$\sum_{j = 0}^{\infty} \frac{λ ^{j}}{j !}$ 는 Taylor Series이므로, $e^{λ}$ 와 동일하다. 따라서 Expectation은

E [X] = λ e^{- λ} e^{λ} = λ

이는, $λ$ 가 일어난 사건 개수의 평균임을 의미한다. $λ$ 를 average rate라고 부르기도 한다.

V [X] = E [X^{2}] - E [X]^{2} = E [X^{2}] - λ^{2}

E [X^{2}] = k = 0 \sum \infty k^{2} P (X = k) = k = 0 \sum \infty k^{2} \frac{e ^{- λ} λ ^{k}}{k !}

여기서 $\sum_{k = 0}^{\infty} k^{2} \frac{λ ^{k}}{k !}$ 는 Taylor Series를 미분 하여서 구할 수 있다.

e^{λ} = k = 0 \sum \infty \frac{λ ^{k}}{k !} diff e^{λ} = k = 0 \sum \infty k \frac{λ ^{k - 1}}{k !}

양변에 $λ$ 를 곱하고 다시 미분하는 과정을 거치면, $\sum_{k = 0}^{\infty} k^{2} \frac{λ ^{k}}{k !}$ 를 만들 수 있다.

λ e^{λ} = k = 0 \sum \infty k \frac{λ ^{k}}{k !} diff (1 + λ) e^{λ} = k = 0 \sum \infty k^{2} \frac{λ ^{k - 1}}{k !} \times λ (λ + λ^{2}) e^{λ} = k = 0 \sum \infty k^{2} \frac{λ ^{k}}{k !}

따라서

V [X] = E [X^{2}] - λ^{2} = e^{- λ} \cdot (λ + λ^{2}) e^{λ} - λ^{2} = λ

푸아송 확률 분포는 특정 조건을 만족시키는 경우의 사건을 세는 데 있어 근사시켜 활용할 수 있다.

정확히는 푸아송 확률 분포가 특정 기간 혹은 공간 내에서 일어난 사건의 개수를 세는 확률 변수에 근사하는 데 유용하다.

푸아송 분포에 근사시켜 사용할 수 있다.

$A_{j}$ 의 사건들이 각각 $p_{j}$ 라는 아주 작은 확률로 일어난다 했을 떄, 일어난 사건의 개수를 나타내는 확률 변수 $X = j = 1 \sum n I (A_{j})$ 라고 하자. 이는 푸아송 확률 변수와 거의 동일하다.
$λ = E [X] = E [j = 1 \sum n I (A_{j})] = j = 1 \sum n E [I (A_{j})] = j = 1 \sum n P (A_{j}) = j = 1 \sum n p_{j}$ : Indicator Random Varaible의 기대값은 그 사건의 확률과 동일하다.
만약 이 사건들이 각각 독립적이게 일어나지만, 그 확률이 모두 같은 Binomial Distribution이였다고 하면 $λ = j = 1 \sum n p = n p$ . 즉 이항 분포의 일종의 근사로써 활용 가능하다.

정확히 근사하려면, 독립이라는 조건은 기본으로 깔려 있으니

근사로 활용할 수 있는 것을 보일려면, 위와 같이 극한을 취했을 때 푸아송 분포와 동일해진다는 걸 보이면 된다.

이를 위해 $p = \frac{λ}{n}$ 를 대입하여 PMF를 바꾸면

P (X = k) = (k n) p^{k} (1 - p)^{n - k} = \frac{n ( n - 1 ) ... ( n - k + 1 )}{k !} (\frac{λ}{n})^{k} (1 - \frac{λ}{n})^{n - k}

= \frac{n ( n - 1 ) ... ( n - k + 1 )}{n ^{k}} (\frac{λ ^{k}}{k !}) (1 - \frac{λ}{n})^{n} (1 - \frac{λ}{n})^{- k}

$\frac{n ( n - 1 ) ... ( n - k + 1 )}{n ^{k}}$ : 분모, 분자를 모두 $n^{k}$ 로 나누고 $n \to \infty$ 를 취하면 $1$ .
$(1 - \frac{λ}{n})^{n}$ : $e$ 의 정의를 활용하면 $e^{- λ}$
$(1 - \frac{λ}{n})^{- k}$ : $n \to \infty$ 를 취하면 $1$ .

따라서, 극한을 취하면

n \to \infty, p \to 0, n p = λ lim (k n) p^{k} (1 - p)^{n - k} = \frac{e ^{- λ} λ ^{k}}{k !}

로 푸아송 분포와 일치한다.