mAP(mean Average Precision)

• 이미지 분류(Classification)는 GT(Ground Truth)가 이미지의 클래스 -> 이미지가 주어졌을 때, 이 이미지의 클래스가 GT의 클래스와 일치하는지 불일치하는지를 비교함
• 객체 검출에서는 이미지 분류 문제와 달리, 여러 객체들이 존재하는 이미지 내에서 객체가 어디에 위치하는지 바운딩 박스(Bounding box)로 찾고, 찾은 위치에 해당하는 박스 내부의 객체가 실제 GT에 있는 클래스와 일치하는지의 여부를 비교함 -> 이미지 분류(Classification)와는 다른 평가지표 필요

 

IoU (Intersection Over Union)

• 객체 검출에서 바운딩 박스를 얼마나 잘 예측했는지는 IoU 지표를 통해 측정
• GT 와 예측값 간의 교집합과 합집합을 통해 IoU를 측정

이미지 출처 : https://eehoeskrap.tistory.com/546

 

Precision & Recall

True Positive (TP) : 맞다고 추측하고 실제로 맞음. IOU >= Threshold
False Positive (FP) : 오탐, 맞다고 추측하고 실제로는 틀림. IOU < Threshold
False Negative (FN) : 미탐, 아니라고 추측하고 실제로는 맞음. Ground Truth를 아예 detect 못함
True Negative (TN) : 아니라고 추측하고 실제로 아님. 


※  Object detecion에서 TN은 올바르게 감지되지 않은 모든 bounding box 인데, 이미지 내에는 bounding box가 너무 많으므로 메트릭에서는 사용하지 않음.

 

Precision : 예측된 결과가 얼마나 정확한지를 나타낼 수 있는 지표, 즉 검출된 것들 중에서 정답을 맞춘 것들의 비율

Recall : GT 중에서 얼마나 정답을 맞추었는지를 나타낼 수 있는 지표, 즉 검출되어야 할 객체들 중에서 제대로 검출된 것의 비율

 

정밀도와 재현율은 반비례 관계

 

AP (Average Precision)

• Precision과 Recall을 고려한 종합적 평가 지표
• Recall 을 0부터 0.1 단위로 증가시켜서 1까지 (총 11개의 값) 증가 시킬 때, 필연적으로 Precision 이 감소하게 되는데 각 단위 마다 Precision 값을 계산하여 평균을 내어 계산함
• 모든 점에서 수행된 보간법 사용

이미지 출처 : https://eehoeskrap.tistory.com/546

 

 

mAP (mean Average Precision)

• 하나의 클래스 마다 AP 값을 계산 할 수 있으며, 전체 클래스 갯수에 대해 AP를 계산하여 평균을 낸 값
  
  

  

  각 객체별(aero, bike 등등) AP값, 이를 평균낸 mAP