NBC(Naive Bayes' Classifier)

posterior가 큰 쪽으로 분류하는 Parametric Methods 일종인 classifier 방법. Bayesian Decision의 일종이다.

ar g k max P (c_{k} ∣ x)

Inductive Bias: Train data $D$ 는 IID이다.

해당 전제가 없다면, 미래의 결과를 예측할 수 없다.
IID이므로, 식은 $ar g max_{k} \prod_{i} P (x_{i} ∣ c_{k}) P (c_{k})$ : chain-rule, and Bayes' Theorem에 의해 likelihood와 Prior의 곱으로 변한다. $ar g max$ 를 따지는 것이므로, evidence를 생략해도 동일하다.

+) Prior는, $\frac{t \sum r _{k}^{t}}{N}$ 으로 계산된다.

How to get likelihood?

MLE에서 알려진 방법론을 이용한다.

만약 categorical distribution에 대한 NBC를 적용하는 것이라면,
$P (x_{i} = v_{j} ∣ c_{k}) = \frac{t \sum r _{k}^{t} 1 ( x _{i}^{t} = v _{j} )}{t \sum r _{k}^{t}}$ : $\ddot{θ}_{k, i, j}$ 임을 이용해 likelihood를 구할 수 있다.

Limitation of NBC

NBC의 한계는 명확히 존재하므로, 이를 해결하기 위한 방법들이 존재한다.

Probablity being zero: $ar g max_{k} \prod_{i} P (x_{i} ∣ c_{k}) P (c_{k})$ 와 같이 계산되므로, likelihood중 하나만 0을 가지더라도 전체 확률이 0으로 계산된다.
Discrete-valued input vectors: continious한 Random Variable의 vector등이 입력으로 들어오면 처리하지 못한다.
Inductive Bias에 의존: 만약 IID가 아닐 경우를 고려해야 한다.

M-estimate : Solution

Probablity being zero: 0이 되는 것을 방지하기 위한 방법.

이는 곧 MAP와 동일해진다.

P (x_{i} = v_{j} ∣ c_{k}) = \frac{t \sum r _{k}^{t} 1 ( x _{i}^{t} = v _{j} ) + m \times p}{N _{k} + m}

$p$ : conditinal probablity의 추정치.
$m$ : weight to $p$ , 실제로는 관측하지 않았지만, 더 관측한다면 likelihood를 보완하는 어떠한 $p$ 가 m의 비율로 존재할 것임을 의미한다.