Bayesian Decision

어떠한 target function

c (x, z)

를 학습한다고 했을 때,

z

는 알려지지 않은 변수라 우리는 알려진 변수

x

에만 의존하여 decision을 만들어야 한다.

이 때, Bayes' Theorem에 따라 더 Probability가 높은 쪽으로 decision 하는 것이 이상적이라 할 수 있으며, 이에 따라 분류하는 기법을 말한다.

상식적으로, posterior: $P (c ∣ x) = \frac{P ( x ∣ c ) P ( c )}{P ( x )}$ 가 높은 쪽을 분류하는 것이 이상적이다.

$P (x)$ : evidence, 관측한 증거
$P (c)$ : prior, 사전 지식
$P (x ∣ c)$ : likelihood, $c$ 가 관측되었을 때 $x$ 가 관측될 확률 혹은 가능성.

P (c_{i} ∣ x) = \frac{P ( x ∣ c _{i} ) P ( c _{i} )}{P ( x )} = \frac{P ( x ∣ c _{i} ) P ( c _{i} )}{j \sum P ( x ∣ c _{j} ) P ( c _{j} ))}

Bayesian Classification

Choose $c_{i}$ if $i = ar g i max P (c_{i} ∣ x)$

이 때, $ar g max$ 에 대해 log를 취하거나 상수를 곱하거나 나누어도 동일하다. 이에 따라

ar g i max P (c_{i} ∣ x) = ar g i max \frac{P ( x ∣ c _{i} ) P ( c _{i} )}{P ( x )} = ar g i max [lo g P (x ∣ c_{i}) + lo g P (C_{i})]

인 $i$ 를 선택한다.

$i \sum P (C_{i}) = 1$
$i \sum P (C_{i} ∣ x) = 1$
$x \sum P (x ∣ C_{i}) = 1$

Bayesian classificaiton using Gaussian Distribution

$ar g k max [lo g P (x ∣ c_{k}) + lo g P (c_{k})] =$

ar g k max [- \frac{1}{2} lo g 2 π - \frac{1}{2} lo g σ_{k}^{2} - \frac{1}{2} \frac{( x ^{t} - μ _{k} ) ^{2}}{σ _{k}^{2}} + lo g P (c_{k})]

가장 큰 posterior를 지니는 class $k$ 를 찾는 문제로 변환되며, $k$ 가 포함되지 않은 항은 생략된다고 볼 수 있다.

Bayesian classification using [[../../../Mathematics/Probability/Distribution/Multivariate Distribution/MVN]]

$ar g k max [lo g P (x ∣ c_{k}) + lo g P (c_{k})] =$ $ar g k max [- \frac{d}{2} lo g 2 π - \frac{1}{2} lo g ∣ Σ_{k} ∣ - \frac{1}{2} (x^{t} - μ_{k})^{⊤} Σ^{- 1} (x^{t} - μ_{k})) + lo g P (c_{k})]$

아래와 같은 기법이 MVN classification을 위해 활용 가능하다.

QDA: Bayesian Decision에 기반한, MVN을 가정으로 하는 분류 기법.
LDA: Bayesian Decision에 기반하며, QDA와 비슷하지만 모든 class가 동일한 covariance matrix를 가진다고 가정한다.

RDA(regularized discriminant analysis**)

Covariance Matrix가 단순해질수록 계산 성능이 좋아진다. 적은 데이터에 대해서는 어느 정도 Covariance Matrix를 단순화해 사용 가능하므로 적절히 Cross Validation을 이용해 조정한다.

Σ_{k}^{'} = α σ^{2} I + β Σ + (1 - α - β) Σ_{k}

: $α$ 와 $β$ 를 적절히 조절해 Covariance Matrix를 단순화한다.

Bayes Optimal classification

[[MAP]]에 따르면, 결국 Bayesian Estimation을 통한 최적의 parameter는 [[MAP]]를 통해 구한

θ_{MAP}

로 결론지어진다.

그렇다면, Bayesian Estimation을 통한 optimal한 bayesian classification은,

P (c_{k} ∣ x) \approx P (c_{k} ∣ x, D)

$= \frac{P ( c _{k} , x , D )}{P ( x , D )} = \frac{\int P ( c _{k} , x , D , θ ) d θ}{P ( x , D )} = \frac{\int P ( c _{k} ∣ x , D , θ ) P ( x , D ∣ θ ) P ( θ ) d θ}{P ( x , D )}$ : by chain-rule(Bayes' Theorem), 이 때, $θ$ 를 알면 $D$ 는 알 수 있으므로 depenent해 $D$ 는 사라진다. $= \int P (c_{k} ∣ x, θ) P (θ ∣ x, D) d θ = \int P (c_{k} ∣ x, θ) P (θ ∣ D) d θ$ : $θ$ 에 관하여 $x$ 는 무관하다.

이는 곧, $θ$ 가 관측될(옳을) 확률 ( $P (θ ∣ D)$ 를 조건으로 하는 $P (c_{k} ∣ x, θ)$ 에 대한 Expectation으로 해석할 수 있고, 이는 곧 Bayesian Estimation이다.

즉 optimal classification 방법은:

$ar g max_{k} P (c_{k} ∣ x, D) = ar g max_{k} \int P (c_{k} ∣ x, θ) P (θ ∣ D) d θ$
$\approx ar g max_{k} P (c_{k} ∣ x, θ_{bayes})$
$\approx ar g max_{k} P (c_{k} ∣ x, θ_{MAP})$
$\approx ar g max_{k} P (c_{k} ∣ x, θ_{MLE})$ : for uniform prior