PCA

Study /

AI /

Machine Learning /

Data Processing /

Analysis /

PCA

Create : 2024년 10월 16일 21:40Update : 2025년 8월 22일 23:31

# Tag:

Source/KU_ML

PCA (Principal component analysis)

Variance이 가장 큰 새로운 주성분 축의 순서대로 데이터의 차원을 축소 / 재구성하는 기법.

Variance가 크다는 것은, 데이터의 변동성을 많이 설명하고 있는 축이라는 것을 의미한다.
차원 축소: 정보의 손실을 최소화 하면서, 차원을 줄여 **차원의 저주(curse of dimensionality)**를 피할 수 있다.

Linear Transformation for new random vector(new principal axis)

기존의 축을 새로운 축(principal axis)로 재구성한다는 것은, 일종의 Linear Transformation으로 볼 수 있다.

이에 따라 생기는 Variance와 Covariance의 연산 성질을 알 필요가 있다.

Projection of random vector $x$ on $a$

Let $y = a^{⊤} x$

Mean: $E [y] = E [i \sum a_{i} x_{i}] = i \sum a_{i} E [x_{i}] = a^{⊤} E [x]$ , $μ_{y} = a^{⊤} μ_{x}$
Variance: $V [y] = E [(a^{⊤} x - E [a^{⊤} x])^{2}] = a^{⊤} E [(x - μ) (x - μ)^{⊤}] a = a^{⊤} Σ_{x} a$

Linear Transform of random vector $x$ on $A$

Let $x = A^{⊤} x$ : 새로운 축으로 변형하는 것이라 볼 수 있다.

Mean: $E [y] = E a_{1}^{⊤} x ⋮ a_{d}^{⊤} x = A^{⊤} μ_{x}$
Covariance: $Σ_{y} = CV [y] = CV [A^{⊤} x] = A^{⊤} Σ_{x} A$

PCA

새로운 축 unit vector

a

를 찾는 과정은, 그 크기가 1이라는 constraints하에 Variance

a^{⊤} Σ_{x} a

가 최대가 되게 하는 과정이 된다.

$z = a^{⊤} x$ 라고 가정하자. 이 때, $a$ 의 크기가 1이라는 constraints가 걸려 있으므로 최적화 조건은

ar g a max [a^{⊤} Σ_{x} a - λ (a^{⊤} a - 1)]

의 과정이라 할 수 있며, 이에 따라 Lagrange Multiplier에 따라 convex optimzation을 진행하면

$L = i \sum j \sum a_{i} σ_{ij} a_{j} - λ (i \sum a_{i}^{2} - 1)$
$\frac{\partial L}{\partial a _{k}} = 0$ : $i \sum σ_{ki} a_{i} = λ a_{k}, for all k$

이는 곧, $Σ a = λ a$ : Eigen decomposition의 문제로 변형되며, $a$ 는 eigenvector, $λ$ 는 eigenvalue이자 새로운 축의 Variance가 된다.

위의 식에 $a^{⊤}$ 를 곱하면, $σ_{z}^{2} = a^{⊤} Σ a = λ a^{⊤} a = λ$ 와 같이 변형되는데, $a^{T} a = 1$ 이므로, 이는 곧 새로운 축 $a$ 의 분산이 $λ$ 임을 의미한다.

즉, $Σ$ 를 Eigen decomposition하여 나타낸 것을

Σ = ΦΛ Φ^{⊤}

로 나타낼 수 있고, Variance가 큰, 즉 Eigenvalue가 큰 순서대로의 Eigenvector들을 Principal Axis로 한다.

$Λ = Φ^{⊤} ΣΦ$ : 이므로, 곧 이는 새로운 Domain에서 바라보는 Covariance Matrix임을 의미한다. 이 때, Eigenvalue Matrix는 Diagonal 행렬이므로 이는 다른 축과의 Correlation이 없음을 의미한다.

( $Σ$ 는 symmetric and semi-positive-definite하므로, $Φ^{- 1} = Φ^{⊤}$ )

Eigenvalue와 Eigenvector의 Linear Independent

서로 다른 eigenvalue에 대해 eigenvector는 Linear independent하므로, 새로운 principal axis끼리는 orthogonal하며, 이는 새로운 축에서의 Correlation이 0임을 의미한다.

만일 Eigenvalue의 중복이 일어나더라도, 그 EigenValue의 Nul Space에서 서로 Linear indendent한 Eigenvector를 찾을 수 있다.

For second principal component

결국 이는, $a$ 와 orthogonal한 새로운 두번째 principal axis $b$ 를 찾는다하여 optimization 문제를 풀어도, Eigenvector가 $b$ 임을 보여준다.

ar g b max [b^{⊤} Σ_{x} b - λ^{'} (b^{⊤} b - 1) - α (b^{⊤} a) - 0]

$L = i \sum j \sum b_{i} σ_{ij} b_{j} - λ^{'} (i \sum b_{i}^{2} - 1) - α (i \sum b_{i} a_{i} - 0)$
$\frac{\partial L}{\partial b _{k}} = 0$ : $2Σ b - λ^{'} b - α a = 0$

위에 식에 $a^{⊤}$ 를 곱해 식을 전개하면, 결국에는 $Σ b = λ^{'} b$ 라는, Eigen decomposition의 식이 나오게 된다.

For [[../../../../Mathematics/Probability/Distribution/Multivariate Distribution/MVN]]

Bivaraite Guassian Distribution에 대해 PCA를 통해 축을 변경하여도, 확률 분포가 동일함이 증명 가능하다.

즉, $P_{z} (z) = P_{x} (x)$ 라는 것이다.

수정수정