(기초지식) 오버피팅(과적합) & 언더피팅(과소적합)

 

<이미지 출처 : https://yngie-c.github.io/machine%20learning/2020/04/30/training_test_reg/>

 

과적합

• 학습 데이터에는 굉장히 잘 맞지만 새로운 데이터에는 잘 맞지 않는 현상
• 모델이 훈련데이터에 데해 과하게 학습하여 테스트 데이터에 대한 일반화 성능이 낮음
• 머신러닝에서 '모델이 강건하다. robust하다'는 말의 의미는, 모델이 일부 특정 데이터만 잘 설명하는(=overfitting) 것이 아니라 범용적인 데이터도 잘 설명한다는 것을 의미한다. 
  
  

과소적합

• 너무 단순한 모델을 생성하여 학습 데이터와 잘 맞지 않는 현상

 

과적합 해소방법

• 데이터 양 증가시키기
• 모델의 복잡도 줄이기 (feature의 갯수 줄이기 = 각 레이어의 노드 갯수 줄이기)
• 가중치 규제(Regularization)
• 드랍아웃
• Early stopping
• 교차검증 : 데이터의 수가 적을 때, 다소나마 과적합의 위험을 줄일 수 있다.