Mean Square Error(MSE)

MSE of estimator

---

$$\text{MSE}(\theta ,\hat{\theta })=\mathbb{E}[(\hat{\theta }-\theta {)}^2]=\mathbb{E}[((\hat{\theta }-\mathbb{E}[\hat{\theta }])(\mathbb{E}[\hat{\theta }]-\theta ){)}^2]=\mathbb{E}[(\hat{\theta }-\mathbb{E}[\hat{\theta }]{)}^2]+\mathbb{E}[(\mathbb{E}[\hat{\theta }]-\theta ){)}^2]$$

: 이 때, 앞의 항은 Variance, 뒤의 항은 $(\mathbb{E}[\hat{\theta }]-\theta {)}^2$와 동일해져 Bias의 제곱의 동일해진다.

변하는 성분은 추정치 $\hat{\theta }$ 뿐이므로, Expectation은 $\hat{\theta }$외의 항에 대해서는 상수로 취급한다.

• Bias: 추정치와 평균과 label의 차이.
• Variance: 추정치와 추정치의 평균의 차이의 제곱.

MSE of MLE estimation and MAP estimation of $\mu$ for Gaussian Distribution

---

MSE of MLE estimator

---

${\mu }_{\text{MLE}}=\frac{{\sum }_t{x}^t}{N}$: 의 sample mean, MLE를 통해 구해진다.

• ${\text{bias}}_{\mu }({\mu }_{\text{MLE}})=\mathbb{E}[{\mu }_{\text{MLE}}]-\mu =0$ : 이는 unbiased estimator임을 의미한다.
• $\mathbb{V}[{\mu }_{\text{MLE}}]=\mathbb{E}[({\mu }_{\text{MLE}}-\mathbb{E}[{\mu }_{\text{MLE}}]{)}^2]=\frac{{\sigma }^2}{N}$

MSE of MAP estimator

---

${\mu }_{\text{MAP}}=\frac{N{\sigma }_0^2}{{\sigma }^2+N{\sigma }_0^2}{\mu }_{\text{MLE}}+\frac{{\sigma }_0^2}{{\sigma }^2+N{\sigma }_0^2}{\mu }_{\text{prior}}$
= $(1-\lambda ){\mu }_{\text{MLE}}+\lambda {\mu }_{\text{prior}}$: $\lambda$라는 weighted sum으로 변환 가능하며, $N$에 따라 $\lambda$가 조절되며 Prior 혹은 MLE에 대한 믿음이 조정되는 형태이다.

• ${\text{bias}}_{\mu }({\mu }_{\text{MAP}})=\mathbb{E}[{\mu }_{\text{MAP}}]-\mu =(1-\lambda )\mu +\lambda {\mu }_{\text{prior}}-\mu$ : 0이 되지 못하는 항이 되며, biased estimator임을 의미한다.
• $\mathbb{V}[{\mu }_{\text{MAP}}]=\mathbb{E}[({\mu }_{\text{MAP}}-\mathbb{E}[{\mu }_{\text{MAP}}]{)}^2]=$
  • $\mathbb{E}[((1-\lambda ){\mu }_{\text{MLE}}+\lambda {\mu }_{\text{prior}}-(1-\lambda )\mu -\lambda {\mu }_{\text{prior}}{)}^2]=(1-\lambda {)}^2\mathbb{E}[({\mu }_{\text{MLE}}-\mu {)}^2]$
  • $=(1-\lambda {)}^2\frac{{\sigma }^2}{N}$: $\le \mathbb{V}[{\mu }_{\text{MLE}}]$, MLE의 Variance보다 작다.

: 즉, $\lambda$에 따라 Variance와 Bias가 어떻게 되는지 조정된다.

• 데이터($N$)이 많아질수록 Variance가 높아진다: Overfitting
• 데이터($N$)이 적어질수록 Bias가 높아진다: Underfitting