Gaussian Distribution

or
가우시안 분포,
정규 분포,
Normal Distribution

Create : 2024년 10월 14일 24:00Update : 2025년 8월 24일 01:04

# Tag:

Gaussian distribution(가우시안 분포)

Normal distribution이라고도 불리며, 어느 분포든 수많은 독립적인 measurement를 모두 더하거나 평균을 냈을 때, 항상 이 분포를 따르게 된다(*The Central Limit Theorem).

보통 종 모양으로 나타나게 되며, 현실 세계 현상이 자연적으로 만들어질 때의 결과가 이를 따르게 된다.

P (X ∣ μ, σ^{2}) = \frac{1}{2 π σ} exp (- \frac{1}{2} \frac{( X - μ ) ^{2}}{σ ^{2}})

이 때, $X \sim N (μ, σ^{2})$ 이다.

$μ$ : 평균, 종 모양의 중심 위치.
$σ^{2}$ : 분산, 중심(=평균)으로부터 데이터가 얼마나 퍼져 분포하는 지를 나타낸다.

Expectation(평균)과 Variance가 주어질 때 Entropy를 최대화하는 분포이다.

Standard Gaussian distribution

μ = 1

σ^{2} = 1

인 가우시안 분포.

Z \sim N (0, 1)

이 때, 이의 PDF는 $f (Z) = c \cdot e^{\frac{- Z ^{2}}{2}}$ 를 따르며, $c$ 는 normalizing constant라는 상수이다. 이 모양은, $Z = 0$ 을 중심 대칭으로 하여 종 모양을 만드는 함수이다.

PDF의 정의에 따라 그 합이 1이어야 하므로,

\int_{- \infty}^{\infty} c \cdot e^{\frac{- Z ^{2}}{2}} d z = c \cdot 2 π = 1

polar coordinate로 바꾸어 풀면 $2 π$ (Gauss Integral)가 나오게 되고, 따라서 $c = \frac{1}{2 π}$ 이다.

f (Z) = \frac{1}{2 π} \cdot e^{\frac{- Z ^{2}}{2}}

Standard Gaussian Distribution의 CDF는 보통 $Φ (z)$ 로 나타낸다.

Φ (z) = P (Z \leq z) = \int_{- \infty}^{z} f (t) d t = \int_{- \infty}^{z} \frac{1}{2 π} e^{- t^{2} /2} d t

$Φ (z)$ 는 $(0, 0.5)$ 대칭인 함수이므로 $Φ (- z) = 1 - Φ (z)$ 이 성립한다.

Mean and Variance

당연히 정의에 따라 평균은 0, 분산은 1이다.

E [Z] == \frac{1}{2 π} \int_{- \infty}^{\infty} z e^{- z^{2} /2} d z = 0

⇒ $e^{- z^{2} /2}$ 는 우함수, $z$ 는 기함수이므로, 적분 속의 식은 기함수이다. 이 때 $- \infty$ 부터 $\infty$ 까지 적분하므로 0.

V (Z) = E [Z^{2}] - (E [Z])^{2} = E [Z^{2}] = \frac{1}{2 π} \int_{- \infty}^{\infty} z^{2} e^{- z^{2} /2} d z = \frac{1}{2 π} \times 2 π = 1

⇒ 따라서 분산도 1이다.

$0$ 에 대해서 대칭성을 가지므로 $- Z \sim N (0, 1)$ 이다. ⇒ $P (Z \leq - a) = P (Z \geq a)$

General Gaussian distribution

일반적인 정규분포는 표준 정규분포 변수에 선형 변환을 가하여 만들 수 있다.

X = μ + σ Z

$μ$ : 평균 혹은 location(center) parameter, 대칭 중심의 위치를 결정한다.
$σ$ : 표준편차 혹은 scale parameter, 분포의 퍼짐 정도와 높이 정도를 결정한다.

평균: $E [X] = E [μ + σ Z] = E [μ] + σ E [Z] = μ + 0 \cdot Z = μ$
분산: $V (X) = V (μ + σ Z) = σ^{2} V (Z) = σ^{2} \cdot 1 = σ^{2}$

Standardization(표준화)

정규분포를 표준 정규분포로 되돌리는 것. Z-Normalization과 동일하다.

Z = \frac{X - μ}{σ}

이 때, $Z$ 는 dimensionless하므로, 데이터의 단위와 상관없이 비교가 가능해진다.

CDF: 표준편차는 항상 0 이상이니, 나누어도 그 부등호 방향이 변하지 않는다.

F (X) = P (X \leq x) = P (\frac{X - μ}{σ} \leq \frac{x - μ}{σ}) = P (Z \leq \frac{x - μ}{σ}) = Φ (\frac{X - μ}{σ})

PDF: CDF의 미분과 동일하다. 따라서 위의 CDF를 미분하면

f (x) = \frac{d}{d x} F (X) = \frac{1}{σ} Φ (\frac{X - μ}{σ}) = \frac{1}{σ 2 π} e^{- \frac{1}{2 σ ^{2}} (x - μ)^{2}}

Property

1. 독립적인 가우시안 분포 변수들의 합 또는 차

독립적인 가우시안 분포 변수들의 합또는 차로 만들어지는 확률 변수도 가우시안 분포를 따른다.

평균(mean)의 경우에는 기대값의 선형성에 의해 $E [X_{1} + X_{2}] = E [X_{1}] + E [X_{2}] = μ_{1} + μ_{2}$ 가 된다.
분산(variance)의 경우에는, 두 확률 변수가 독립이므로 $V (X_{1} + X_{2}) = V (X_{1}) + V (X_{2}) = σ_{1}^{2} + σ_{2}^{2}$ .
- 차의 경우에도 마찬가지 ⇒ $V (X_{1} - X_{2}) = V (X_{1} + (- X_{2})) = V (X_{1}) + V (- X_{2}) = σ_{1}^{2} + (- 1)^{2} σ_{2}^{2} = σ_{1}^{2} + σ_{2}^{2}$

따라서, iid인 가우시안 확률 변수 $X_{1}$ , $X_{2}$ 의 합으로 만들어지는 확률 변수 $X \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})$ . 각각의 MGF $M_{X} = M_{X_{1}} M_{X_{2}}$ 임을 이용해도 똑같이 증명된다.

2. 68-95-99.7 Rule(Rule of Thumb, 경험에서 근거한 법칙임)

정규 분포의 CDF $Φ$ 는 적분 꼴 그대로 남아 있어 컴퓨터나 표로 게산해야 하지만, 정규 분포를 따르는 값이 평균에서 특정 표준 편차 내에 있을 확률이 특정한 규칙을 따른다.

평균 $μ$ 로부터

$\pm σ$ 범위 내에 $X$ 가 있을 확률이 $68$ %.
$\pm 2 σ$ 범위 내에 $X$ 가 있을 확률이 $95$ %.
$\pm 3 σ$ 범위 내에 $X$ 가 있을 확률이 $99.7$ %.

P (∣ X - μ ∣ \leq 3 σ) = P (\frac{X - μ}{σ} \leq 3) = P (- 3 \leq Z \leq 3) = Φ (3) - Φ (- 3) \approx 0.9973

Log Normal Distribution(로그 정규 분포)

로그를 취했을 때, 그 값이 정규분포를 따르는 분포.

$Z \sim N (μ, σ^{2})$ 에 대해서, 로그 정규 분포 $Y$ 는 $Y = e^{Z}$

우선 $Z$ 가 표준 정규 분포를 따른다고 두고, $Y = e^{Z}$ 는, 단조증가함수이므로 변수 변환을 적용 시킬 수 있다.

$Y$ 의 PDF $f_{Y}$ 는

f_{Y} (y) = f_{Z} (z) \cdot \frac{d z}{d y} = \frac{1}{2 π} e^{- z^{2} /2} \cdot \frac{d z}{d y} = \frac{1}{2 π} e^{- (l n y)^{2} /2} \cdot \frac{1}{y}

이에 선형 변환을 가하면 된다.