Orthogonal Projection

In Least Squares, $\hat{\vec{b}}=A\hat{\vec{x}}=A(A^{\top }A{)}^{-1}{A}^{\top }\vec{b}$
consider the orthogonal projection of $\vec{b}$ onto Col A as.

orthogonal sets

---

Vector Space ${\mathbb{R}}^n$에 대해서, 서로 orthogonal한 vector들 끼리 모아 놓은 집합을 의미한다.

을 만족하는 vector로만 이루어진 집합이다.

이 때, unit vectors로만 모여있는 경우, Orthonormal sets 라고 한다.

orthogonal basis

---

Gram-Schmidt Process

---

p-dimesional subspace $W$ in ${\mathbb{R}}^n$: basis $\{\overrightarrow{v_1},\cdots ,\overrightarrow{v_p}\}$
then, orthogonal basis will be $b-\hat{b}$ : orthogonal to subspace vectors

process

---

1. Let orthogonal basis$\{\overrightarrow{u_1},\cdots ,\overrightarrow{u_p}\}$ of $W$, and $\overrightarrow{u_1}=\overrightarrow{v_1}$
2. $\overrightarrow{u_2}=\overrightarrow{v_2}-pro{j}_{\overrightarrow{u_1}}\overrightarrow{v_2}$: which is orthogonal to $\overrightarrow{u_1}$
3. $\overrightarrow{u_3}=\overrightarrow{v_3}-pro{j}_{\overrightarrow{u_1}}\overrightarrow{v_3}-pro{j}_{\overrightarrow{u_2}}\overrightarrow{v_3}$
   1. 
   2. 따라서, $\hat{y}$는 두 $\widehat{y_1}$ 와 $\widehat{y_2}$의 Vector 합이 된다.
4. 게속해서 반복한다.

의의

---

orthogonalization 되지 않는다면 즉, Linear Independent 하지 않는다면 어느 정도 중복이 되는 featrue들을 추출하게 된다. 이를 위해서, 수직인 새로운 Subspace를 찾는다.

이를 통해 찾은 Span은, 그대로 유지되기 때문에 동일한 Span and Subspace를 가지게 된다.

transformation

---