QDA(Quadaratic Discriminant Analysis)

class간의 경계를 비선형적으로 그려내는 분류 기법.

각 class에 대해 다른 공분산 행렬을 허용하여 복잡한 비선형 경계를 생성 가능하다. Bayesian Decision에 기반한 방법으로써, 이를 이용해 각 class에 속할 확률을 계산하고, 가장 높은 확률로 분류한다.

기본적으로 각 class 데이터가 Gaussian Distribution을 따른다고 가정한다.

g_{k} (x) = lo g P (x ∣ c_{k}) + lo g P (c_{k}) = - \frac{d}{2} lo g 2 π - \frac{1}{2} lo g ∣ Σ_{k} ∣ - \frac{1}{2} (x^{t} - μ_{k})^{⊤} Σ^{- 1} (x^{t} - μ_{k})) + lo g P (c_{k})

$ar g max_{k} g_{k} (x)$ 를 찾는 것이므로 위에 비례하는 함수

- \frac{1}{2} x^{⊤} Σ_{k}^{- 1} x + μ_{k}^{⊤} Σ_{k}^{- 1} x - \frac{1}{2} μ_{k}^{⊤} Σ_{k}^{- 1} μ_{k} - \frac{1}{2} lo g ∣ Σ_{k} ∣ + lo g P (c_{k})

= x^{t} W_{k} x + w_{k}^{⊤} x + w_{k, 0}

: $k$ 는 클래스이다.