Bias

Estimation의 Expectation과 실제 Population Parameter(참 값) 간의 차이.

Bias_{θ} (\hat{θ}) = E [\hat{θ}] - θ

$\hat{θ}$ : Estimation, $\hat{θ} = d (D)$ : 학습 데이터에 다라 달라지는 추정값.
$θ$ : 참 된 모수(Population Parameter) (모집단 평균, 분산 등)

Unbiased estimator: $Bias_{θ} (\hat{θ}) = 0$ , 어떠한 추정량에 대해 Bias가 0인 model을 말한다.

For Sample

Bias of Sample Mean

sample mean: $m = \frac{t \sum x ^{t}}{N}$ 이므로,
$E [m] = \frac{1}{N} t \sum E [x^{t}] = μ$

Unbiased estimator: $Bias_{μ} (m) = E [m] - μ = 0$ , 즉, sample mean에 대한 bias는 항상 unbiased임을 의미한다.

Bias of Sample Variance

sample variance: $s^{2} = \frac{t \sum ( x ^{t} - m ) ^{2}}{N}$ 이므로,
$E [s^{2}] = E [\frac{1}{N} t \sum (x^{t} - m)^{2}] = σ^{2} - \frac{1}{N} σ^{2} = \frac{N - 1}{N} σ^{2}$

|589

수정수정
Expected value of $s^{2}$ :

E [s^{2}] = E [\frac{1}{N} t \sum (x^{t} - m)^{2}] = E [\frac{1}{N} t \sum ((x^{t} - μ) - (m - μ))^{2}] = E [\frac{1}{N} t \sum (x^{t} - μ)^{2} - \frac{2}{N} t \sum (x^{t} - μ) (m - μ) + \frac{1}{N} t \sum (m - μ)^{2}] = \frac{1}{N} t \sum E [(x^{t} - μ)^{2}] - \frac{1}{N ^{2}} E (t \sum (x^{t} - μ))^{2} .

Biased estimator: $Bias_{σ^{2}} (s^{2}) = E [s^{2}] - σ^{2} \neq = 0$

Bias of Machine Learning

모델이 학습할 때 단순화 오류, 혹은 모델이 얼마나 편향되어서 패턴을 보는지.

또는 실제 참 값과 얼마나 predict한 값의 거리가 큰 지. 패턴을 단순화한 정도를 나타내며, 너무 단순화하면 데이터의 복잡성을 충분히 반영하지 못한다(underfitting). Sample Variance의 Expecatation식에서 알 수 있듯이, Variance와 Trade-off 관계에 있다.

$N \to \infty$ 에 따라, $Bias_{θ} (\hat{θ}) \to 0$ 이 되며, 이는 Train Data이 증가함에 따라 Bias가 줄어듬을 의미한다. 다만, 이에 따라 Variance가 증가하면서 Overfitting문제로 이어지는 것에 주의해야 한다.