Linear Regression.md

Linear Regression

Study /

AI /

Machine Learning /

Regression /

Linear Regression /

Linear Regression

Create : 2024년 1월 17일 17:44Update : 2025년 8월 22일 23:31

# Tag:

Source/KU_ML

정# 선형 회귀 모형(Linear Regression Model)

Y = β_{0} + β_{1} X_{1} + ϵ

이 때, 주어진 데이터로부터 최소 제곱 추정법(Least Squares estimation)등을 이용하여 $\hat{β_{0}}, \hat{β_{1}}$ 추정량을 구한다. Y는 가설 함수가 된다.

$β_{1}$ : weight
$β_{0}$ : bias

이 때의 오차 항( $ϵ$ )은 Guassian Distribution를 따르며, 모든 관찰치에서 일정해야 하는 등분산성을 가진다.

통계적 가설(Hypothesis)에서는

귀무가설( $H_{0}$ ): $B_{i} = 0$
대립가설( $H_{1}$ ): $B_{i} \neq = 0$

Solution

${(x_{i}, y_{i})}_{i = 1}^{n}$ 의 데이터 집합이 주어졌을 때,

(\hat{β_{0}}, \hat{β_{1}}) = (b_{0}, b_{1}) ar g min i = 1 \sum n (y_{i} - (b_{0} + b_{1} x_{i}))^{2}

1. 최소 제곱법(Least Squares)

선형대수 상에서의 Least Square 문제로 확장 가능하지만, 단순 선형회귀

e_{i} = ∣ y_{i} - \overset{y_{i}}{^} ∣

를 최소화 시키는 문제로 본다.

기울기 $β_{1}$ : $\frac{\sum ( x _{i} - x ˉ ) ( y _{i} - y ˉ )}{\sum ( x _{i} - x ˉ ) ^{2}}$
y절편 $β_{0}$ : $\overset{y}{ˉ} - β_{1} \overset{x}{ˉ}$

Residual error in term of Matrix(vector)

$\overset{y}{^} = β^{⊤} X$ 이므로, residual error $e = y - \overset{y}{^} = y - β^{⊤} X$ 이고, 이 error을 최소화시켜야 한다. ( $X = [x_{1} 1]$ , $1$ 은 $β_{0}$ 를 위한 term이 된다.)

$e^{⊤} e = \sum_{i}^{N} (y_{i} - \overset{y_{i}}{^})^{2} = (y - Xβ)^{⊤} (y - Xβ)$ 를 최소화하는, 그러한 $β$ 를 찾아야 한다.
이는 잔 차제곱합(RSS: residual sum of squares)가 된다. 이는 Least Squares의 유도 방법과 동일하다.

이를 이용해 유도하면, 그 최적의 $β$ 는

β = (X^{⊤} X)^{- 1} X^{⊤} y

이는 당연히, Multivariate Distribution에 대해서도 성립한다.

2. MSE(Mean Squared Error), loss function

MSE를 제일 작게 만드는 Linear regression line을 구한다.

이 MSE와 기울기 $β_{1}$ 간의 관계에서, 이차함수의 그래프가 나오게 되며, MSE가 최소화 되는 $β_{1}$ 을 구하기 위해 Gradient Descent를 이용한다.
- MSE 식에 대해, $β_{1}$ 의 편미분을 통해 그 이차함수를 구한다.
$β_{0}$ 역시 마찬가지이며, 최적의 $β_{0}$ 값을 구하기 위해 Gradient Descent를 이용한다.

3. [[MLE]]

Let $θ = w_{1}, w_{0}$ . $f (x) \approx g (x ∣ w_{1}, w_{0}) = w_{1} x + w_{0}$

ar g θ min t \sum (r^{t} - w_{1} x^{t} - w_{0})^{2}

$L = t \sum (r^{t} - w_{1} x^{t} - w_{0})^{2}$

$\frac{\partial L}{\partial w _{1}} = t \sum (r^{t} - w_{1} x^{t} - w_{0}) (- x^{t}) = 0$
$\frac{\partial L}{\partial w _{0}} = t \sum (r^{t} - w_{1} x^{t} - w_{0}) (- 1) = 0$

위의 두 식을 연립하면,

$w_{0} = \frac{1}{N} (t \sum r^{t} - t \sum x^{t} w_{1})$
$w_{1}$ : $\frac{\sum ( x ^{t} - x ˉ ) ( r ^{t} - r ˉ )}{\sum ( x ^{t} - x ˉ ) ^{2}}$ : 최소 제곱법의 문제와 동일하게 성립됨이 보인다.

4. For Multivariate Distribution Linear Regression

위에서는 단순히 Univaraite값에 대해서 다루었지만,

x

를 Vector(혹은 Matrix)관점에서 다루어 Multivariate 값에 대한 Regression을 만들 수 있다.

f (x) \approx g ([x_{1}, x_{2}, \dots, x_{d}]^{⊤} ∣ w_{0}, w_{1}, \dots, w_{d}) = w_{0} + w_{1} x_{1} + \dots + w_{d} x_{d} = w^{⊤} x

, $x = 1 x_{1} x_{2} ⋮ x_{d}$ : 이 때 $x_{0} = 1$ 로 가정하여 inner product를 나타낸다.

L = \frac{1}{2} t \sum (r^{t} - w^{⊤} x^{t})^{2}

\frac{\partial L}{\partial w} = t \sum (r^{t} - (x^{t})^{⊤} w (- x^{t})) = 0

: $t \sum x^{t} (x^{t}^{⊤}) w = t \sum r^{t} x^{t}$ 의 식으로 치환되고, 이는 Matrix 관점에서 나타낼 수 있다.

t \sum x_{0}^{t} x_{0}^{t} t \sum x_{1}^{t} x_{0}^{t} ⋮ t \sum x_{d - 1}^{t} x_{0}^{t} t \sum x_{d}^{t} x_{0}^{t} t \sum x_{0}^{t} x_{1}^{t} t \sum x_{1}^{t} x_{1}^{t} t \sum x_{d - 1}^{t} x_{1}^{t} t \sum x_{d}^{t} x_{1}^{t} \dots \dots \dots \dots t \sum x_{0}^{t} x_{d}^{t} t \sum x_{1}^{t} x_{d}^{t} t \sum x_{d - 1}^{t} x_{d}^{t} t \sum x_{d}^{t} x_{d}^{t} w_{0} w_{1} ⋮ w_{d - 1} w_{d} = t \sum r^{t} x_{0}^{t} t \sum r^{t} x_{1}^{t} ⋮ t \sum r^{t} x_{d - 1}^{t} t \sum r^{t} x_{d}^{t}

Done

$w = A^{- 1} b$ : paramter $θ = w$ 를 찾을 수 있다.