(논문리뷰) Faster R-CNN

논문 링크 : https://arxiv.org/abs/1506.01497

 

Contribution

 Region Proposal 단계를 Neural Network 안으로 포함시킴 -> end-to-end object detection 모델을 제시

 

Motivation

 기존 Fast R-CNN의 경우, region proposal인 Selective search알고리즘이 CNN외부에서 수행됨 -> 느림

 

학습구조

 Fast R-CNN 구조를 그대로 계승, selective search를 제거하고, RPN(Region Proposal Network)을 통해서 RoI를 계산. 이를 통해, GPU를 통한 RoI 계산이 가능해졌으며, RoI 계산 역시도 학습시켜 정확도를 높일 수 있음.

1. pretrained 모델을 불러온 다음, RPN을 학습시킴.
2. 1 단계에서 학습시킨 RPN으로 RoI를 추출, (pretrained 모델+추출한 RoI)를 사용하여,  Fast R-CNN을 학습시킴.
3. 학습시킨 Fast R-CNN과 RPN을 불러온 다음, 다른 가중치들은 고정하고, RPN에 해당하는 레이어들만 파인튜닝 시킨다. 여기서부터 RPN과 Fast R-CNN이 컨볼루션 가중치를 공유하게 된다.
4. 재학습된 RPN에서 RoI를 추출
5. 추출된 RoI(4번)와 재학습된 RPN으로 다시 Fast RCNN을 학습시킴

 

Region Proposal Network

1. pre-trained된 CNN 모델을 통해 뽑아낸 Feature Map을 입력으로 받는다.
2. feature map에 대하여 3x3 conv 연산을 적용합니다. (이때 feature map의 크기가 유지될 수 있도록 padding을 추가)
   
3. classification 예측 값을 계산하기 위하여, 2번의 feature map에 1x1 conv 연산을 적용한다. (RPN에서는 후보 영역이 어떤 class에 해당하는지까지 구체적인 분류를 하지 않고 객체가 포함되어 있는지 여부만을 분류)
4. bounding box regressor를 얻기 위해, 2번의 feature map에 1x1 conv 연산을 적용한다.
5. Classification의 값과 Bounding Box Regression의 값들을 통해 RoI를 계산.

<이미지 출처 : https://herbwood.tistory.com/10>

 

한계점

 이전 모델에 비해 속도와 정확도를 향상시키긴 했지만, 여전히, 실시간 영상처리에 사용하기에는 부족함