Overfitting

Model이 복잡해짐에 따라, 데이터의 모든 Noise를 포함하게 된다.

이에 따라 Version Space이 작아지게 되면서 일반화 가능성이 떨어지거나, 데이터를 너무 많이 학습해 그에 따라 모델의 Variance가 상승하면서 Train Data의 특정 패턴에만 과하게 학습한 경우를 말한다.

Underfitting과 반대되는 개념이며, Bias는 Variance와 Trade-off관계에 있기 때문에 Model Complexity를 적절히 조절해 그 균형점을 찾는게 중요하다.
그 균형점을 찾기 위해 Validation과정이 이용되며, 더 정확하게는 Cross Validation기법을 이용해 면밀한 균형점을 찾는다.

예를 들어, Polynomial Regression같은 경우, 차수가 증가할수록 model이 복잡해지면서 overfitting이 일어난다.
Regression같은 경우 MSE를 Error로 사용한다. 그에 따르면, MSE는 Variance와 Bias의 제곱의 합이므로 그 trade-off를 조절하는게 중요하다.