촬영 https://github.com/rafaelpadilla/Object-Detection-Metrics#different-competitions-different-metrics
진정한 양성, 위양성, 위음성와 진정한 부정적
진정한 긍정적 인 (TP), • 정확한 탐지. IOU ≥로 감지 임계 값
거짓 양성 (FP) : 잘못된 탐지. IOU와 탐지 < 임계 값
위음성 (FN), • 지상 진실하지 감지
사실 네거티브 (테네시) : 적용되지 않습니다. 그것은 수정 misdetection을 나타내는 것입니다. 객체 탐지 작업에서는 이미지 내에서 감지되지 않습니다 많은 가능한 경계 상자가 있습니다. 따라서, TN은 corrrectly (이미지 내의 많은 가능한 박스)를 검출하지 않은 모든 가능한 경계 박스 것이다. 이 메트릭에서 사용하지 않는 이유입니다.
역치 메트릭에 따라, 이는 일반적으로 50 %, 75 % 또는 95 %로 설정된다.
정도
회상
정밀 X 리콜 곡선
정밀 X 리콜 곡선은 신뢰 각 객체 클래스에 대한 곡선을 플롯에 의해 변경 될 때 물체 검출기의 성능을 평가하는 좋은 방법이다.
당신이 신뢰 임계 값을 변경할 경우 회수가 증가함에 따라 높은 정밀도의 숙박은, 어떤 수단, 정밀도와 리콜은 여전히 높은 것으로하면 특정 클래스의 객체 검출기가 좋은 것으로 간주됩니다.
빈약 대상 검지부 요구가 탐지 된 개체의 수를 증가시키는 모든 지표 사실 오브젝트 (높은 회수)를 검색하기 위해 (오판 = 낮은 정밀도 향상). 즉, 정밀도가 리콜 곡선 X 왜 통상 회수가 증가함에 따라 감소하는, 고정밀 시작 값이다.
평균 정밀
오브젝트 검출기의 성능과 비교하는 또 다른 방법은 정밀 X 리콜 곡선의 곡선 (AUC) 아래의 면적을 계산하는 것이다. 실제로 AP는 0과 1 사이의 모든 리콜 값에 걸쳐 평균 정밀도입니다.
현재, PASCAL VOC 도전에 의해 수행 된 보간 오히려 단지 11 똑같이 이격 된 점을 보간하는 대신 모든 데이터 포인트를 사용한다.
11 점 보간법
11 점 보간법 시도가 정밀 형상 요약 11 개 개의 동일하게 이격 된 회수 수준 세트의 정밀도를 평균하여 리콜 곡선 X [0, 0.1, 0.2, ..., 1] :
와
여기서 회수의 측정 정밀도이다
.
대신 각 지점에서 관측 정밀도를 사용 중, AP는 단지 11 개 레벨의 정밀도를 보간함으로써 얻어진다 리콜 값보다 큰 최대 정밀도를 가지고
.
모든 점을 보간
대신 11 개 동일한 크기의 점에서만 보간, 당신은 같은 방법으로 그 모든 지점을 통해 보간 수 :
와
여기서 회수의 측정 정밀도이다
.
대신 단지 몇몇 지점에서 관측 정밀도를 사용하여이 경우, 상기 AP는 현재의 정밀도를 보간함으로써 얻어지는 각 레벨 , 복용 그 리콜 값보다 크거나 같은지 최대 정밀도
. 이 방법은 우리가 곡선 아래의 추정 면적을 계산.
ilustrated 예
아래의 탐지를 고려 :
There are 7 images with 15 ground truth objects representented by the green bounding boxes and 24 detected objects represented by the red bounding boxes. Each detected object has a confidence level and is identified by a letter (A,B,...,Y).
The following table shows the bounding boxes with their corresponding confidences. The last column identifies the detections as TP or FP. In this example a TP is considered if IOU 30%, otherwise it is a FP. By looking at the images above we can roughly tell if the detections are TP or FP.
In some images there are more than one detection overlapping a ground truth (Images 2, 3, 4, 5, 6 and 7). For those cases the detection with the highest IOU is considered TP and the others are considered FP.
The Precision x Recall curve is plotted by calculating the precision and recall values of the accumulated TP or FP detections. For this, first we need to order the detections by their confidences, then we calculate the precision and recall for each accumulated detection as shown in the table below:
Plotting the precision and recall values we have the following Precision x Recall curve:
Calculating the 11-point interpolation
By applying the 11-point interpolation, we have:
Calculating the interpolation performed in all points
Looking at the plot above, we can divide the AUC into 4 areas (A1, A2, A3 and A4):
Calculating the total area, we have the AP:
