智能盘点 - 钢筋数量 AI 识别 - 数据下载与评测

智能盘点 - 钢筋数量 AI 识别 - 数据下载与评测

train_dataset.zip
训练集图片资源文件 MD5: 34F09C91A96BACFFF12AA80DA1BBD085

train_labels.csv
训练集标注文件 MD5: 350668D7E7E9E40A2EBCA6DF8A0C947E

submit_example.csv
提交样例 MD5: 6726465B10566EB812F13A9E6DE5661A

test_dataset.zip
测试集图片资源文件 MD5: B945DE419989D41447E259C3F8AD5B7B

数据背景

钢筋数据来自现场手机采集。钢筋车辆进库时,使用手机拍摄成捆钢筋的截面 (一般保证较小倾角,尽量垂直于钢筋截面拍摄)。数据会包含直径从 12 mm-32 mm 等不同规格的钢筋图片。

数据规则

鼓励参赛团队扩大数据,可以使用外部数据进行更深入的研究,但须说明数据获取方式。对于特别需要的数据,参赛团队可以向组委会申请获取。

文件清单和使用说明

文件中包含以下内容:
1.train 文件夹:用于训练的图像集合,共 250 张。
2.test 文件夹:用于测试的图像集合,共 200 张。
3.train_labels.csv 文件:训练图像的标注文件。

ID Labels
xx.jpg x_min y_min x_max y_max

其中,ID 列为图像文件名,Labels 列为图像对应的标注信息,示例中 Labels 列为一个矩形框的标注信息,从左到右依次为 x_min (左上角 X 坐标),y_min (左上角 Y 坐标),x_max (右下角 X 坐标),y_max (右下角 Y 坐标) 四个值,中间用空格分割,Labels 中若包含多个矩形标注框则为多行。

作品要求

线上提交的测试结果为 csv 格式的目标识别结果文件,列之间用 “,” 分割,每行包含测试图片名称及识别结果两列组成。例如:

ID Detections
xxx.jpg 240 170 260 240
xxx.jpg 152 331 246 415
yyy.jpg 240 170 260 240

其中识别结果为检测框坐标依次排列的形式,例如 “240 170 260 240” 表示左上角坐标 (240, 170),右下角坐标 (260, 240) 的矩形框位置检测到钢筋,数据之间采用空格隔开,同一张图片上的不同检测结果写入多行记录。

评分方式

评分算法采用 F1-Score 的计算方式

计算作品的召回率 (recall) 和准确率 (precision):

R ( ) = + R (召回率) =\frac{检测正确的目标数量}{检测正确的目标数量+漏检的目标数量}

P ( ) = + P (准确率) =\frac{检测正确的目标数量}{检测正确的目标数量+检测错误的目标数量}

F 1 S c o r e = 2 P R P + R {F1-Score} = \frac{2PR}{P+R}

F1-score 值越高,排名越靠前。

本题规定 predicted bounding box 和 ground truth bounding box 的 IOU (交并比) 作为结果匹配的依据。
检测正确的目标:IOU > 0.7 的结果。
漏检:标准答案中标识出的目标,但是作品中未找到 IOU > 0.7 的匹配项。
检测错误的目标:作品中标注的目标在标准答案中没有对应的 IOU > 0.7 的匹配项。

CSV 文件转换成为 VOC 格式文件

大小错误,是指文件大小超出限制。
格式错误,是指结果中的字段数不对、字段分隔符、换行符不对,请按照比赛说明中要求的格式编写结果文件。
编码错误,是指结果为非文本格式或包含非法字符、字符集错误等,推荐使用 UTF-8 无 BOM 编码的文本格式。
逻辑错误,是指结果文件的内容在逻辑上不符合比赛要求。

A/B 榜是指在对结果进行评分排名时,将测试数据分割为 A/B 两份,分别评分并生成对应排行榜。

A 榜和 B 榜的存在是为了防止参赛队伍对测试数据过拟合,分割方式可能会采用随机分割方式、时序分割方式或者其他专业分割方式。

A 榜在提交开放阶段为每支参赛队伍的提交结果自动评分并排名,生成 A 榜;B 榜在提交截止阶段为参赛队伍选定的候选文件进行自动评分并排名,生成 B 榜。

A/B 榜不会更换数据。

所有报名参加同一赛题的参赛者,可进行组队操作。每队 1-5 人,不可重复组队。组队截止至初赛 A 榜结束。

猜你喜欢

转载自blog.csdn.net/chengyq116/article/details/86412906