Polynomial Regression

다차항으로 이루어진 Linear Regression의 일종.
$f (x) = g (w_{n}, \dots, w_{1}, w_{0}) = w_{n} x^{n} + x_{n - 1} x^{n - 1} + \dots + w_{1} x + w_{0}$

[[MLE]] for polynomial regression

$\frac{\partial L}{\partial w _{i}} = t \sum (r^{t} - w_{n} (x^{t})^{n} - w_{n - 1} (x^{t})^{n - 1} - \dots - w_{1} x^{t} - w_{0}) (- (x^{t})^{i}) = 0$

for $0 \leq i \leq n$ : 각각을 $w_{i}$ 으로 미분해 값들을 구하면

$t \sum (x^{t})^{2 n} w_{n} + t \sum (x^{t})^{2 n - 1} w_{n - 1} + \dots + t \sum (x^{t})^{n} w_{0} = t \sum (x^{t})^{n} r^{t}$
$t \sum (x^{t})^{2 n - 1} w_{n} + t \sum (x^{t})^{2 n - 2} w_{n - 1} + \dots + t \sum (x^{t})^{n - 1} w_{0} = t \sum (x^{t})^{n - 1} r^{t}$
$⋮$
$t \sum (x^{t})^{n} w_{n} + t \sum (x^{t})^{n - 1} w_{n - 1} + \dots + t \sum (x^{t})^{0} w_{0} = t \sum (x^{t})^{0} r^{t}$

이는 곧 Matrix( $A$ )로 표현 가능하다.

t \sum (x^{t})^{2 n} t \sum (x^{t})^{2 n - 1} ⋮ t \sum (x^{t})^{n} t \sum (x^{t})^{2 n - 1} t \sum (x^{t})^{2 n - 2} t \sum (x^{t})^{n - 1} \dots \dots \dots t \sum (x^{t})^{n} t \sum (x^{t})^{n - 1} t \sum (x^{t})^{0} w_{n} w_{n - 1} ⋮ w_{1} w_{0} = t \sum (x^{t})^{n} r^{t} t \sum (x^{t})^{n - 1} r^{t} ⋮ t \sum (x^{t})^{1} r^{t} t \sum (x^{t})^{0} r^{t}

Done

$w = A^{- 1} b$ : 이렇게 paramter $θ = w$ 를 찾을 수 있다.

MLE for Multivariate Distribution Polynomial regression

단순히 Multivaraite 로 변환하는 것을 넘어서, 고차원으로 변환하는 과정을 거친다. 이러한 과정을 담당하는 함수를 **Kernel**이라고 하며, 이를 통해 고차원에서 문제를 해결한다.

f (x) \approx g (x ∣ w) = w^{⊤} ϕ (x)

: 이 때, kernel function $z = ϕ ([x_{1}, x_{2}]^{⊤}) = [1, x_{1}, x_{2}, x_{1} x_{2}, x_{1}^{2}, x_{2}^{2}]^{⊤}$
: $(1 + x_{1} + x_{2})^{2}$ 의 각 term에 대해서 coefficient만을 제외하고 나열한 vector function이다.
이는 $d$ 차원의 data point를 $k$ 개의 dimension으로 확장한 것이라 볼 수 있다.

위의 kernel은 Polynomial Kernel이 된다.

L = t \sum (r^{t} - w^{⊤} ϕ (x^{t})^{2})

\frac{\partial L}{\partial w} = t \sum (r^{t} - (z^{t})^{⊤} w) (- z^{t}) = 0

이 때, 일반적인 Multivariate Distribution Linear Regression을 푸는 것처럼 풀 수 있다.

t \sum z_{0}^{t} z_{0}^{t} t \sum z_{1}^{t} z_{0}^{t} t \sum z_{k}^{t} z_{0}^{t} t \sum z_{0}^{t} z_{1}^{t} t \sum z_{1}^{t} z_{1}^{t} ⋮ t \sum z_{k}^{t} z_{1}^{t} \dots \dots \dots t \sum z_{0}^{t} z_{k}^{t} t \sum z_{1}^{t} z_{k}^{t} t \sum z_{k}^{t} z_{k}^{t} w_{0} w_{1} ⋮ w_{k - 1} w_{k} = t \sum r^{t} z_{0}^{t} t \sum r^{t} z_{1}^{t} ⋮ t \sum r^{t} z_{k - 1}^{t} t \sum r^{t} z_{k}^{t}

t \sum x_{0}^{t} x_{0}^{t} t \sum x_{1}^{t} x_{0}^{t} ⋮ t \sum x_{d - 1}^{t} x_{0}^{t} t \sum x_{d}^{t} x_{0}^{t} t \sum x_{0}^{t} x_{1}^{t} t \sum x_{1}^{t} x_{1}^{t} t \sum x_{d - 1}^{t} x_{1}^{t} t \sum x_{d}^{t} x_{1}^{t} \dots \dots \dots \dots t \sum x_{0}^{t} x_{d}^{t} t \sum x_{1}^{t} x_{d}^{t} t \sum x_{d - 1}^{t} x_{d}^{t} t \sum x_{d}^{t} x_{d}^{t} w_{0} w_{1} ⋮ w_{d - 1} w_{d} = t \sum r^{t} x_{0}^{t} t \sum r^{t} x_{1}^{t} ⋮ t \sum r^{t} x_{d - 1}^{t} t \sum r^{t} x_{d}^{t}

Done

$w = A^{- 1} b$ : paramter $θ = w$ 를 찾을 수 있다.