Exponential Distribution(지수 분포)

사건 발생까지 걸리는 시간을 모델링하는 continious 확률 분포.

$X \sim Exp (λ)$ 를 따를 때, 그 PDF는

f (x) = {λ e^{- λ x} 0 if x \geq 0 if x < 0

확률 변수의 치역 $x$ 는 0 이상의 값인 연속적인 시간 혹은 간격을 의미한다. 시간이므로 당연히 0 이상이다.

$λ$ : rate parameter라고 하며, 단위 시간 당 평균적으로 사건이 발생하는 횟수를 의미한다. 항상 0보다 커야 하는 값이다.
- 이의 역수는 사건이 발생하기까지 걸리는 평균적인 시간을 의미한다.

CDF는 0부터 이를 적분한 것이므로,

F (x) = {1 - e^{- λ x} 0 if x \geq 0 if x < 0

Standard Exponential distribution(표준 지수 분포)

λ

가 1이 되도록 표준화한 지수 분포.

$Y = λ X$ 로 변환하면 $Y \sim Exp (1)$ 을 따르게 된다.

그 때의 PDF와 CDF는 각각

f (y) = {e^{- y} 0 if y \geq 0 if y < 0

F (y) = {1 - e^{- y} 0 if y \geq 0 if y < 0

E [Y] = \int_{0}^{\infty} y \cdot f (y) d y = \int_{0}^{\infty} y e^{- y} d y = [- y e^{- y}]_{0}^{\infty} + \int_{0}^{\infty} e^{- y} d y = 1

V [Y] = E [Y^{2}] - (E [Y])^{2} = E [Y^{2}] - 1^{2}

E [Y^{2}] = \int_{0}^{\infty} y^{2} f (y) d y = \int_{0}^{\infty} y^{2} e^{- y} d y = [- y^{2} e^{- y}]_{0}^{\infty} + \int_{0}^{\infty} 2 y e^{- y} d y = 0 + 2 = 2

V [Y] = E [Y^{2}] - 1^{2} = 2 - 1^{2} = 1

기대값과 분산의 성질을 이용하면, 지수 분포의 기대값과 분산 값은

$E [X] = E [\frac{1}{Y}] = \frac{1}{λ} E [Y] = \frac{1}{λ}$ : 평균 시간만큼 기다려야 함을 의미한다.
$V [X] = V [\frac{1}{Y}] = (\frac{1}{λ})^{2} V (Y) = (\frac{1}{λ})^{2}$

어떤 사건이 발생할 때 까지, 이미 기다린 시간이 미래에 더 기다려야 할 시간에 아무런 영향을 주지 않는 걸 의미한다.

기하분포와 동일한 성질. 매 순간마다 새로이 시작하는 것과 같으며, 연속 분포에서는 유일하게 지수 분포만 가지는 특징이다(필요충분조건). 분포가 무기억성을 가지는 것이지, 확률 변수가 가지는 건 아님.

P (X > s + t ∣ X > s) = P (X > t)

이미 $s$ 만큼의 시간을 기다렸어도, 그 시점에서 $t$ 만큼 더 시간을 보내야 할 확률과 맨 처음에 $t$ 만큼 시간을 보내야 확률이 동일함을 의미한다.

조건부 기대값에 대하여, 이미 $a$ 만큼 시간을 기다렸을 때,

E [X ∣ X > a] = E [a + (X - a) ∣ X > a] = a + E [X - a ∣ X > a]

과 같다. 하지만 무기억성에 의해 추가 대기 시간인 $E [X - a ∣ X > a]$ 은 원래 $X$ 의 기대값과 같을 수 밖에 없다.
따라서 그 결과 값은

E [X ∣ X > a] = a + \frac{1}{λ}

무기억성은 마모나 손상 같이 시간에 따른 누적이 아니라, 일시적으로 일어나는 고장과 같은 경우에 대해서 사용된다. 그래도 어느 정도의 근사로도 사용이 가능하기도 하다.

P (X > s + t ∣ X > s) = P (X > t)

이 성립함을 증명하면 된다.
Bayes' Theorem에 의하여

P (X > s + t ∣ X > s) = \frac{P ( X > s + t , X > s )}{P ( X > s )} = \frac{P ( X > s + t )}{P ( X > s )}

$X > s$ 인 조건과, $X > s + t$ 인 조건은 $s$ 와 $t$ 가 모두 시간이므로 0보다 커 $X > s + t$ 가 성립하면 당연히 성립한다. 따라서 위와 같다.

\frac{P ( X > s + t )}{P ( X > s )} = \frac{1 - P ( X \leq s + t )}{1 - P ( X \leq s )} = \frac{1 - F ( s + t )}{1 - F ( s )} = \frac{e ^{- λ (s + t)}}{e ^{- λ s}} = e^{- λ t} = P (X > t)

G (x) = P (X > x) = 1 - F (x)

⇒ 이 때, 무기억성은 $G (s + t) = G (s) G (t)$ 로 정의 된다(지수끼리의 덧셈은, 밑의 곱셈과 같음, 혹은 무기억성의 정의 그 자체).

$G (2 t) = G (t)^{2}$ , $G (3 t) = G (2 t) G (t) = G (t)^{3}$ ... ⇒ $G (k t) = G (t)^{k}$ : 양의 정수 k에 대해
$G (\frac{t}{2}) = G (t)^{\frac{1}{2}}$ , $G (\frac{t}{3}) = G (t)^{\frac{1}{3}}$ : ⇒ $G (\frac{t}{k}) = G (t)^{\frac{1}{k}}$
위 2개를 합치면 유리수에 $\frac{m}{n}$ 에 대하여 $G (\frac{m t}{n}) = G (t)^{\frac{m}{n}}$

$G$ 가 연속이므로, 양변에 극한을 씌우고 $G$ 안으로 넘겨도 성립한다. 유리수의 극한은 곧 실수이므로, 모든 실수에 대해서 성립함이 보인다.

G (x t) = G (t)^{x} for all real x > 0

$t = 1$ 일 때,

G (x) = G (1)^{x} = e^{x l n G (1)}

그리고 $G (1)$ 은 0과 1사이의 값이고, 이에 자연로그를 쒸우면 음수값이 나오니 이를 $- λ$ 로 둘 수 있다. 따라서 무기억성을 가진다면 지수 분포라고 할 수 밖에 없다.