개념
- 모델 복잡도에 대한 패널티
- Overfitting 을 예방하고 Generalization(일반화) 성능을 높임
- 모델이 학습을 진행하면서, 특정 weight의 값이 커진다. 이렇게 되면 과적합이 일어날 가능성이 높아진다.
종류
- L1 Regularization
- Lasso Regression
- cost function 에 가중치의 절대값을 더함
- 가중치가 너무 크지 않은 방향으로 학습 되도록 만든다.
- L2 Regularization
- Ridge Regression
- cost function 에 가중치의 제곱을 더함
- Elastic Net
- Ridge + Lasso (L1 and L2 regularization)
- Lasso는 특정 가중치를 0으로 만들 수 있기 때문에, 특성을 무력화시킬 수 있다. sparse model에 적합하다. 반대로 Ridge는 가중치를 0에 가깝게 만들기 때문에, 특성들의 영향력을 감소시킬뿐 없애지는 못한다. Non-sparse model에 적합하다.
반응형
'머신러닝_딥러닝 > 머신러닝 & 딥러닝' 카테고리의 다른 글
| (기초지식) 활성화 함수, Activation function (0) | 2021.01.15 |
|---|---|
| (기초지식) Dropout (0) | 2021.01.15 |
| (기초지식) 오버피팅(과적합) & 언더피팅(과소적합) (0) | 2021.01.15 |
| (기초지식) 오차역전파 (Back Propagation) (0) | 2021.01.15 |
| (기초지식) 최적화 알고리즘 (0) | 2021.01.15 |