LDA

class간의 선형 경계를 찾는 방법으로, 주어진 데이터를 선형 변환해 각 class 간의 Variance를 최대화하고, class 내부의 Variance를 줄이는데 중점을 둔다. 이는 곧 Clustering에서의 Error로도 활용 가능하다.

Bayesian Decision을 기반으로 하는 이론 중 하나로, 모든 class는 동일한 Covariance 행렬을 가진다고 가정한다. 차원이 높은 데이터에서 차원을 줄이는 데 활용되기도 한다.

QDA처럼, 모든 class의 데이터가 Gaussian Distribution을 따른다고 가정하며, class간의 분포 차이는 평균의 차이에서 발생한다.

$ar g max_{k} g_{k} (x)$ 를 찾는 것이므로 위에 비례하는 함수

- \frac{1}{2} x^{⊤} Σ^{- 1} x + μ_{k}^{⊤} Σ^{- 1} x - \frac{1}{2} μ_{k}^{⊤} Σ_{k}^{- 1} μ_{k} - \frac{1}{2} lo g ∣Σ∣ + lo g P (c_{k})

= x^{⊤} W_{k} x + w_{k}^{⊤} x + w_{k, 0}

를 사용하며, [[QDA]]와 동일하지만, 모든 class에 대해 동일한 Covariance를 사용한다는데 차이가 있다.