Multinomial Distribution(다항 분포)

$X \sim Mult_{k} (n, p)$ 에 대해서, $n$ 개의 오브젝트를 $k$ 개의 사건에 독립적으로 할당한다.

$X = X_{1} ⋮ X_{k}$ 에 대해서, 오브젝트들은 각각 $k$ 개의 카테고리로 분류된다. $X_{j}$ 은 $j$ 번째 카테고리로 분류된 오브젝트의 개수이다( $X$ 는 이항 분포를 따른게 된다). 그리고 $p = p_{1} ⋮ p_{k}$ 는 각각 $j$ 번째 카테고리로 분류될 확률이다. ( $p_{j} \geq 0, \sum_{j} p_{j} = 1$ )

Joint PMF

$n_{j}$ : (단, $j \sum k n_{j} = n$ )를 $k$ 번째 카테고리에 속한 오브젝트의 개수라고 할 때,

P (X_{1} = n_{1}, ..., X_{k} = n_{k}) = \frac{n !}{n _{1} ! \dots n _{k} !} \cdot p_{1}^{n_{1}} \dots p_{k}^{n_{k}}

$p_{1}^{n_{1}} \dots p_{k}^{n_{k}}$ 는 각 개수대로 카테고리로 분류될 확률이다.
$\frac{n !}{n _{1} ! \dots n _{k} !}$ 는 $n$ 개를 모두 순열처럼 배열한 뒤, 조합처럼 동일한 카테고리로 분류된 오브젝트들 간의 순열의 개수로 나누어주는 것과 동일하다. 즉, 일종의 조합이다.

Marginal PMF

$X_{j}$ 의 주변 분포를 구하기 위해서는 $j$ 번째 카테고리를 제외하고 모두 더해야 한다.

하지만, $n$ 개의 오브젝트가 $j$ 번째 카테고리로 $n$ 번의 독립적인 시행으로 $p_{j}$ 의 확률로 분류 될지(성공), 분류 되지 않을지(실패) 결정되므로 이항분포라는 걸 알 수 있다. 따라서

X_{j} \sim Bin (n, p_{j}), E [X_{j}] = n p_{j}, V [X_{j}] = n p_{j} (1 - p_{j})

Conditinal PMF

$X_{1} = n_{1}$ 라는 조건으로 주어졌다고 가정했을 때의 조건부 PMF는,

Y = (X_{2}, ..., X_{k}) \sim Mult (n - n_{1}, (p_{2}^{'}, ..., p_{k}^{'}))

그냥 $p_{j}$ 로 생각하게 되면 그 합이 1이 되지 않으므로, $p_{j}^{'}$ 는 카테고리 1에 속하지 않는다는 조건이 주어졌을 때의 $j$ 번째 카테고리에 속할 확률이다. $j$ 카테고리에 속하는 사건을 $E_{j}$ 라 할 때,

p_{j}^{'} = P (E_{j} ∣\neg E_{1}) = \frac{P ( E _{j} , \neg E _{1} )}{P ( \neg E _{1} )} = \frac{P ( E _{j} )}{P ( \neg E _{1} )} = \frac{p _{j}}{1 - p _{1}} = \frac{p _{j}}{p _{2} + ... + p _{k}}

Lumping Property(덩어리 특성)

이항 분포 확률 변수

X_{j}

중 몇 개를 하나의 확률 변수로 합쳐서(덩어리) 새로운 다항 분포를 만들 때, 동일하게 다항 분포를 따른다.

하나의 확률 변수로 합친 카테고리의 확률은, 그 확률을 모두 더한 것과 같다.

X = X_{1} ⋮ X_{10} \sim M u lt (n, p_{1} ⋮ p_{10})

일 때, 3부터 10까지의 카테고리를 합쳐서 만든 새로운 다항 확률 변수 $Y$ 는

Y = X_{1} X_{2} X_{3} + \dots + X_{10} \sim M u lt (n, p_{1} p_{2} p_{3} + \dots + p_{10})

Covariance

MultiNomial을 따르는 벡터의 원소들 간의 공분산 $ρ_{ij}$ 는,

V [X_{i} + X_{j}] = n p_{i} (1 - p_{i}) + n p_{j} (1 - p_{j}) + 2 ρ_{ij}

원소들은 각각 이항 분포를 따르고, Lumping Property(덩어리 특성)에 의해 더해도 동일하게 이항 분포를 따르므로 아래와 같아진다.

V [X_{i} + X_{j}] = n (p_{i} + p_{j}) (1 - (p_{i} + p_{j}))

따라서

ρ_{ij} = - n p ​_{i} ​​ p ​_{j} ​​ for i \neq = j