모델 경량화 기술 동향

모델 경량화 

비슷한 수준의 성능을 유지하면서, 더 적은 파라미터 수와 연산량을 가지는 모델을 만드는 것

 

연구분야

1. 경량 알고리즘 연구 : 알고리즘 자체를 적은 연산과 효율적인 구조로 설계하는 연구 분야
2. 알고리즘 경량화 : 기존 모델의 크기를 줄이는 연구 분야

 

경량 알고리즘 

1. 모델 구조 변경 : 다양한 계층 구조를 이용하여 파라미터 축소 및 모델 성능을 개선하는 연구. (ex) ResNet, DenseNet, SqueezeNet 
2. 합성곱 필터 변경 : 합성곱 신경망의 가장 큰 계산량을 요구하는 합성곱 필터의 연산을 효율적으로 줄이는 연구. (ex) MobileNet, ShuffleNet
3. 자동 모델 탐색 : AutoML, 강화 학습 등을 통해 최적 모델을 자동 탐색하는 연구. (ex) NASNet, MnasNet, EfficientNet

※ AutoML : 딥러닝 architecture를 사람이 직접 설계하는 것이 아닌 machine learning 방법으로 설계

 

알고리즘 경량화

1. 모델 압축 : Pruning(가지치기, 기존 신경망이 가지고 있는 가중치 중 작은 가중치값을 모두 0으로 하여 네트워크의 모델 크기를 줄이는 방법), Quantization(파라미터의 Precision을 적절히 줄여서 연산 효율성을 높이는 방법), Weight Sharing( 낮은 정밀도에 대한 높은 내성을 가진 신경망의 특징을 활용해 가중치를 근사하는 방법)
2. 지식 증류(Knowledge Distillation) : 미리 잘 학습된 큰 네트워크(Teacher network) 의 지식을 실제로 사용하고자 하는 작은 네트워크(Student network) 에게 전달하는 방법
   
3. 하드웨어 가속화 기술 : 벡터/행렬 연산을 병렬 처리하기 위한 전용 하드웨어 (TPU), VPU, GPU Custer 기반 가속기 등의 연구개발
4. 모델 압축을 적용한 경량 모델 자동 탐색 기술

 

Reference

https://sotudy.tistory.com/12?category=795081