KNeighbors Classifier

가장 근접한 $k$ 개의 data point의 class를 기준으로 분류하는 기법.
**근접하게 존재할 수록, 그 feature가 서로 유사할 가능성이 높아 class가 같을 가능성이 높다는 전제를 가진다. ** (Inductive Bias) Nonparametric Methods을 이용한 기법이다.

P (x ∣ c_{i}) = \frac{k _{i}}{N _{i} v _{k} ( x )}

$N_{i} = t \sum r_{i}^{t}$
$k_{i}$ : hypersphere안에 존재하는 sample 중 $c_{i}$ 에 속하는 sample 의 개수.
$v_{k} (x)$ : $x$ 를 중심으로 하는 반지름이 $d_{k} (x)$ 인 $d$ 차원의 hypersphere의 Volume. 이 때 모든 class에 대해서 가장 가까이에 있는 k번째 neighbor를 기준으로 한다.
Prior $P (C_{i}) = \frac{N _{i}}{N}$ .

prediction

$ar g i max P (c_{i} ∣ x) = ar g i max P (x ∣ c_{i}) P (c_{i})$

: 이는 $ar g max_{i} k_{i}$ 로 변화하게 되어 $k_{i}$ 가 가장 큰 class로 분류된다.

즉, 가장 가까운 것의 class로 분류된다는 것이며, 이가 곧 Inductive Bias로 활용된다.