Bayes' Theorem

Conditional Probabilty의 역을 구하기 위해 사용되는 이론.

기존 사건들의 확률을 알고 있다면 이를 통해 Posterior를 구할 수 있다. 기존 사건들의 확률을 아는 것은 거의 불가능에 가깝지만, 데이터를 이용한 추론이 가능해 NBC와 같은 방식으로 사용되기도 한다.

P (A ∣ B) = \frac{P ( B ∣ A ) \times P ( A )}{P ( B )}

$P (a ∣ b) = \frac{P ( a , b )}{P ( b )} \to P (a ∣ b) P (b) = P (a, b) = P (b ∣ a) P (a)$
$P (b ∣ a) = \frac{P ( a ∣ b ) P ( b )}{P ( a )}$

만일 $b_{i}$ 가 mutually exclusive and exhaustive : 서로 간의 교집합이 없고, 합치면 전체 집합이라면

P (b_{i} ∣ a) = \frac{P ( a ∣ b _{i} ) P ( b _{i} )}{P ( a )} = \frac{P ( a ∣ b _{i} ) P ( b _{i} )}{j \sum P ( a ∣ b _{j} ) P ( b _{j} )}

Prior, Likelihood, Evidence

$P (A)$ : Prior ⇒ 관심이 되는 사건의 발생 확률, 정확히 알 수 없다면 NBC등이 이용된다. Evidence를 관측하기 전의 관심이 되는 사건의 확률이다.
$P (B ∣ A)$ : Likelihood ⇒ 관심이 되는 사건이 발생했을 때, 기존 사건의 Conditional Probabilty. 이 역시 알 수는 없지만, Machine Learning등에서는 이를 어떠한 특정 확률 분포로 가정하고 푸는(Parametric Methods)등을 이용하기도 한다.
$P (B)$ : Evidence ⇒ 기존 사건의 발생 확률. 이는 $b_{i}$ 가 mutually exclusive and exhaustive(서로 겹치지 않고 집합 내의 모두를 포괄할 때) 라는 조건이 있을 때, $j \sum P (a ∣ b_{j}) P (b_{j})$ 와 동일해진다. 이는 Probability의 Axiom 2에 의해 성립한다.