Object Detection Metric - mAP

실제 Object가 Detected 된 재현율(Recall)의 변화에 따른 정밀도(Precision)의 값을 평균한 성능 수치

 

mAP (mean Average Precision)

IOU, Precision-Recall Curve, Average Precision, Confidence threshold

 

- 정밀도(Precision)는 예측을 Positive로 한 대상 중에 예측과 실제 값이 Positive로 일치한 데이터의 비율을 의미

Object Detection에서는 검출 알고리즘이 검출 예측한 결과가 실제 Object들과 얼마나 일치하는지를 나타내는 지표

- 재현율(Recall)은 실제 값이 Positive인 대상 중에 예측과 실제 값이 Positive로 일치한 데이터의 비율을 의미

Object Detection에서는 검출 알고리즘이 실제 Object들을 빠뜨리지 않고 얼마나 정확히 검출 예측하는지를 나타내는 지표 

 

좋은 알고리즘은 이 두 지표 성능이 좋게 나와야 함

mAP의 성능 지표가 높으려면 Precision과 Recall의 밸런싱을 이루는게 굿 

 

TP는 예측한게 정답인 경우

FP는 예측 했는데 틀렸을 경우

(클래스를 잘못 설정 혹은 IOU < 0.5 혹은 겹치지 않는다거나)

FN은 예측을 안 한것 !

 

정밀도 = TP / (FP + TP)

재현율 = TP / (FN + TP)

 

임계값에 따라 정밀도와 재현율의 값이 변화됨

임곗값이 낮을 수록 더 많은 예측 bbox를 만들게 되어 정밀도는 낮아지고 재현율은 높아짐

임곗값이 높을 수록 예측 bbox를 만드는데 매우 신중하게 되어 정밀도는 높아지고 재현율은 낮아짐 

 

Precision Recall Trade-off

 

Precision-Recall Curve

- Recall 값의 변화에 따른 Precision 값을 나타낸 곡선을 정밀도 재현율 곡선이라고 함

이렇게 얻어진 Precision 값의 평균을 AP라고 하며, 일반적으로 정밀도 재현율 곡선의 면적 값으로 계산됨