行人重识别综述

这几天又仔细调研了下这个领域的现状。行人重识别,也称为行人再识别或者跨镜追踪,属于图像检索的一个子问题。主要是实现从一个摄像头下捕获的行人图片,到另一设备下去检索同一ID的图片,就是以图搜图问题。是继人脸识别后的一个重要的方向,对于不清晰的人脸图片,人脸识别的效果就不起作用,这样引入reid技术,reid是针对人的整张图片进行提取特征,包含更多的信息。
1、先展望一下reid的应用前景
①智能寻人。比如说一家人去主题公园玩,但是孩子走丢了。这样提供一张孩子的照片,以及提供一些服装、主要的特征信息,利用REID技术就可以找到丢失的孩子。
②无人超市
③相册聚类,把同一人的图片进行聚类
④智能安防。比如提供一张罪犯的图片,去监控视频中收集其出现的视频段,然后将各个摄像头 的轨迹联系起来,从而知道罪犯的行踪。
⑤家庭机器人,由于机器人在一定的情境中看到的是主人的背影或者是侧面,这时候人脸识别就无法应用起来,可以应用REID对主人的衣服,pose或者其他显著的标志进行识别。
2、说一下reid面临的问题
①数据集小,一般是常用的几个数据集、market1501,DUHK03,DUKEMTMS,与人脸识别比起来,简直是太小了,而且这几个数据集一般是在学校采集的,身份大都是学生,而人脸识别的数据身份多样,上千万ID,而REID的数据集只有2000左右ID。
(所以,针对这个问题,有在数据增广方面做工作的。比如:Gan生成数据,应用无监督学习去提高reid效果。)
②无正脸照、姿态。配饰、遮挡、相机拍摄角度大 、监控图片模糊不清、室内室外环境变化、白天黑夜光线差异、季节性穿衣风格,衣服变换等等。
现在这个方向的数据集就那么几个,除非等一些大公司在提出新的数据集。
下面说一下采集数据的困难吧,一般是公司做,学生一般弄不来。
困难:
(1)必须跨摄像头(2)公开数据集的规模小(3)影响因素多样
(4)数据一般是视频的连续截图(5)同一个人最好有多张全身照
(6)互联网提供的照片几乎无法应用在Reid上(7)监控大规模搜集会涉及隐私
3、Reid常用的算法
①表征学习
最简单的就是输入对比的两张图,计算两者的分类损失以及对比损失。
(有论文在上面改进的)
②度量学习
三元组损失、改进版、四元组损失、MSML等
③局部特征学习
主要针对全局特征的学习不足以更好地提取出一些判别力的一些细节特征。比如衣服上的logo。
(论文有提出分块思想的,将整张图片水平切块,这样能够提取局部的特征,但这个方面存在的缺陷是这么干脆的切片,没有任何的语义信息,以及一些不对齐的情况,在没有人为标注的情况下,很容易将两张图的脸部和肩部作对比,从而判别有误。针对这个问题,后来有写文引入一些先验知识,比如通过人体部位的关键点检测技术以及pose等先进行对齐,借助人对人体的理解。借助语义分割(硬分割),让头部与头部进行比较。)
之前看的PCB以及MGN,都是利用的切块思想做的改进,精度已经达到96.6%(是不是很难改进了呢?)

展望一下接下来可以从哪些方面研究。。。

有Reid方向的研究者的话,欢迎踊跃交流啊!

猜你喜欢

转载自blog.csdn.net/weixin_43979572/article/details/85993776