行人再识别(行人重识别)【包含与行人检测的对比】

        最近,在网上搜索关于“行人重识别”及“行人再识别”等关键词,发现几乎都是关于行人检测的内容。对于“行人重(再)识别”技术能找到的资料很少,这可能是因为“行人重(再)识别”技术最近才刚刚兴起吧。总之,除了能在谷歌学术中搜到一些Person re-identification的学术论文外,其他的资料明显没有行人检测的多。由于本人主要是学习“行人重(再)识别”技术的,每次和别人提起自己的研究方向时都要费力的解释一番,因此,本人打算在这里对“行人重(再)识别”进行阐述,同时,也为以后读者阅读相关的技术文献提供一个参考。

一、 概念解释

       “行人重(再)识别”:首先从字面上将就是对“行人”进行“识别”。其中的“重(再)”则是指“重新”、“再一次”的意思。“行人重(再)识别”技术主要是应用在视频监控方面。在刑侦工作中,刑侦人员经常要浏览多个摄像头中的视频,查找某个特定的行人在哪些摄像头曾经出现过。计算机视觉领域的学者们形象地将针对特定行人的监控视频检索问题称为行人重识别(Personre-identification)

 

图1 行人重识别过程的实际应用场景可以想象成上图的样子:一个行人沿着图中红色的轨迹从左到右先后经过了拐角处的两个摄像头。注意:这两个摄像头拍摄的范围没有交叉的部分,即经过一个摄像头后,中间有一段时间没有被任何摄像头拍摄到,然后再经过第二个摄像头。

二、“行人重(再)识别”与“行人检测”的区别

(1)     主要应用领域的区别:

“行人重(再)识别”主要应用于刑侦工作、图像检索等方面。

“行人检测”主要用于智能驾驶、辅助驾驶和智能监控等相关领域。

(2)     主要目的区别:

“行人重(再)识别”主要目的是:判断某个摄像头中的某个行人是否曾经出现在其他的摄像头中,即需要将某个行人特征与其他行人特征进行对比,判断是否属于同一个行人。

“行人检测”主要的目的是:检测图像或视频中是否存在行人,而不需要判断该行人特征与其他行人特征是否属于同一个行人。

三、小结

  其实,本人一直认为 “行人重(再)识别”与“行人检测”本身就有许多的关联之处:本人在平时学习“行人重识别”过程中,使用的数据库都是从视频中剪切好的行人图片,如图2    

图2 上面一行的图片由A摄像头拍摄得到,下面一行的图片由B摄像头拍摄得到。并且,上下对应的两张图片都属于同一个人的图片,只是由于光照、拍摄角度等因素,导致同一个人的两张图片有所不同。

    即数据库中的图片里一定含有行人。“行人重识别”所要做的就是先对图像进行特征提取,然后接下来做的是判断某个测试图片的特征与训练集中的哪个图片最接近。“行人检测”一般是在一张图片或一段视频中判断是否存在行人,如图3。从图2和图3中可以看出“行人重识别”和“行人检测”两种技术的区别和联系。因此,在实际的监控视频应用中,应该是先进行行人检测,把视频或图片中的行人筛选出来,输出类似图2中的结果,然后,再使用行人重识别技术识别行人。(个人观点)(注意:我们现在的行人重识别研究主要是在图片库中进行的,这些图片也都是从监控视频中剪切得到的。)

    

图3 行人检测示意图

四、 国内外研究现状(行人重识别领域)

         行人重识别问题中的图片来源于不同的摄像头,然而,由于不同摄像头所处的角度、光照等环境的影响,行人重识别问题具有以下几个特点:

         1.  由于实际监控环境中,无法使用脸部的有效信息,所以,只能利用行人的外貌特征来进行识别。

         2.  在不同摄像头中,由于尺度、光照和角度的变化,同一个行人的不同图片中,外貌特征会有一定程度的变化。

         3.  由于行人姿势及摄像头角度的变化,在不同摄像头中,不同行人的外貌特征可能比同一个人的外貌特征更相似。

         针对以上几个特点,计算机视觉领域的研究人员在最近几年里进行了大量的研究工作。

         目前,行人重识别领域的研究工作主要分为大致两类:

         1.研究行人对象的特征表示方法,提取更具有鲁棒性的鉴别特征对行人进行表示。

         2.使用距离度量学习方法,通过学习一个有判别力的距离度量函数,使得同一个人的图像间距离小于不同行人图像间的距离。

下面分别从上述两个方面来介绍国内外研究现状:

       (1)     基于特征表示的方法

        在视频监控环境中,行人的外貌特征比较容易提取和表示。因此,同一行人的不同外貌特征具有一定的鲁棒性。

最近几年的一些论文:

       1)  “Person re-identification by symmetry-drivenaccumulation of local features”, CVPR, 2010. 为了减少视角变化导致的外貌变化,本文提出通过基于人身体对称性的特征提取方法。首先通过一个预处理过程在人身体上划分头、躯干、腿部和左右对称中轴,然后提取除了头部以外的各区域的多种特征,包括累积颜色特征和纹理特征。并基于对称中轴对特征进行加权,越靠近中轴权值越高。下面是论文示例图。


2) Custom pictorial structures for re-identification”, BMVC,2011.本文提出类似的方法,将绘画结构应用于行人重识别。用一个自适应的身体外形结构来表示行人像,包括头、胸、大腿和小腿,然后提取每个部分的颜色特征进行精确匹配。


         3)“Multiple-shot person re-identification by chromatic andepitomic analyses”, Pattern Recognition Letters, Vol.33, PP. 898–903, 2012.  本文结合行人的全局和局部外貌特征进行重识别,首先根据行人在单摄像头下的连续运动提取多个关键帧图像,并用多帧图像的累积 HSV 颜色直方图表示全局特征;其次,在把人身体分割成上、下半身并去除头部区域后,提取各上、下半身多帧图像中频繁出现的块信息表示局部特征;最后加权融合全局和局部特征进行行人重识别。

       (2)     基于距离度量学习的方法

        上述基于特征的方法都是使用标准距离(如曼哈顿距离、欧氏距离和巴氏距离等)进行相似性度量。然而同一身份行人在跨越多个无重叠区摄像头时,不同外貌特征受视角、光照等因素的影响不同。标准的距离度量方法平等的对待每一种特征,而不会摒弃那些独立使用时效果很差的特征。因此,研究者尝试通过距离学习的方法,获得一个新的距离度量空间,使得同一行人不同图像的距离小于不同人间的距离。距离学习方法一般在 Mahalanobis 距离的基础上进行,通过学习一个投影矩阵,使得在投影空间中同类样本之间的距离较小,而不同类样本之间的距离较大。

        1)“Distance metric learning with application to clustering withside-information”, NIPS, 2003.本文首次提出距离测度学习的问题,他在 Mahalanobis 距离的基础上,根据样本的类别,将具有相同类别标签的样本组成正样本对,不同类别标签的样本构成负样本对,然后利用这些样本对作为约束条件来训练得到一个 Mahalanobis 矩阵,从而使得最终的距离度量函数能够尽可能地满足所给定的约束条件。

        2)“Distance metric learning for large margin nearest neighborclassification”,  Journal of Machine LearningResearch, vol. 10, pp. 207–244, 2009. 本文提出最大近邻分类间隔(large marginnearest neighbor classification, LMNN)的算法,其思想类似于支持向量机,即希望寻求一个分类超平面,使得该超平面与最靠近点的距离尽可能大。同样,LMNN 希望通过投影后,数据的邻域内的同类点向内部紧缩,不同类点向外扩张,并且之间的间隔尽可能大。


         3)“Pedestrianrecognition with a learned metric”, ACCV, 2011. 本文对 LMNN进行改进提出 LMNN-R方法,其用所有样本点的平均近邻边界来代替 LMNN 中不同样本点所采用的各自近邻边界,取得了比 LMNN 方法更强的约束效果。

         4)“PersonRe-identification by Probabilistic Relative Distance Comparison”, CVPR, 2011. 本文提出概率相对距离比较(probabilisticrelative distance comparison PRDC)的方法,在学习距离度量函数时考虑相对约束,与之前的同类距离尽可能小,不同类距离尽可能大的要求不同,其要求同类的距离小于不同类之间的距离。对每一个样本,选择一个同类样本和不同类样本形成 3 元组,在训练过程通过最小化不同类样本距离减去同类样本距离的和,得到满足约束的距离度量矩阵。

五、总结

         第四节中介绍的两类方法各有利弊,根据本文近一年来的学习经验,基于特征表示的方法虽然运算复杂度相对度量学习方法简单,没有复杂的学习过程,但是,效果可能并不理想。基于距离度量学习方法需要一个复杂的学习过程,但是,效果比前者要好。另外,有个特例,Large Scale Metric Learning from Equivalence Constraints中将样本之间的差向量看做是高斯分布中的一个点,同类样本的差向量分布在同一个高斯分布中,而不同样本之间的差向量分布在另一个高斯分布中,然后用概率的比值来度量样本之间的距离。作者通过转换最终将高斯分布的比值转换成马氏距离的形式,马氏距离矩阵为同类样本差向量协方差的逆减去不同类样本差向量协方差的逆。该方法由于没有使用到迭代优化的算法,算法速度快,但是该方法也属于距离度量学习方法

    对于行人重识别感兴趣的读者可以关注一下相关的研究人员的个人主页,比如:郑伟诗(中山大学)、龚少刚、赵瑞、陶大成、Hirzer等,一般主页上会提供论文和代码。



阅读更多
(".MathJax").remove();    MathJax.Hub.Config({            "HTML-CSS": {                    linebreaks: { automatic: true, width: "94%container" },                    imageFont: null            },            tex2jax: {                preview: "none"            },            mml2jax: {                preview: 'none'            }    });    (function(){        var btnReadmore = ("#btn-readmore"); if(btnReadmore.length>0){ var winH = ( w i n d o w ) . h e i g h t ( ) ; v a r a r t i c l e B o x = ("div.article_content"); var artH = articleBox.height(); if(artH > winH*2){ articleBox.css({ 'height':winH*2+'px', 'overflow':'hidden' }) btnReadmore.click(function(){ articleBox.removeAttr("style"); $(this).parent().remove(); }) }else{ btnReadmore.parent().remove(); } } })()
想对作者说点什么? 我来说一句
  • qq_18219905
    qq_18219905 2017-11-05 18:09:20 #16楼
    深度学习的代码和数据集汇总:https://www.zhihu.com/question/46943328/answer/139931140 这个帖子不错。
  • dashan8608
    dashan8608 2017-10-17 16:50:31 #15楼
    分享的链接已经过期了 能不能再发一下
    • liuqinglong110
      liuqinglong110回复 dashan8608 2017-10-17 18:53:53
      【开源代码合集】行人重识别: http://blog.csdn.net/layumi1993/article/details/55798568 这个是其他人的博客。可以参考一下。
    • liuqinglong110
      liuqinglong110回复 dashan8608 2017-10-17 18:51:05
      链接:http://pan.baidu.com/s/1hsksWWc 密码:brnc 链接:http://pan.baidu.com/s/1kVP4zER 密码:xrne 链接:http://pan.baidu.com/s/1qXKuq3E 密码:6mx2
  • yuti7393
    chenxiaocui195 2017-10-10 08:52:14 #14楼
    博主,你好,我是一个在读研二学生,现在才开始了解行人再识别。不知如何下手,是先学习传统方法还是深度学习方法呢?望博主指点,能分享一些资料给我吗?非常感谢。。。
    • qq_36644644
      4359大大哥回复 chenxiaocui195 2017-12-12 08:55:02
      同学 你好 我也是研二的学生 也才开始了解行人再识别 可否给个联系方式一起交流 我的QQ是435981572~
    • GenuierChen
      GenuierChan回复 chenxiaocui195 2017-11-21 16:32:28
      我也是研二在读,你在哪个学校呢?
    • JW_999
      JW_999回复 chenxiaocui195 2017-11-14 10:33:54
      你好,链接失效了,可不可以再发一遍,谢谢
    • yuti7393
      chenxiaocui195回复 2017-10-27 20:47:20
      [reply]yuti7393[/reply谢谢博主的建议。才看到您的回复。
    • dashan8608
      dashan8608回复 chenxiaocui195 2017-10-17 16:51:22
      链接已过期 能不能重新发一下
    • liuqinglong110
      liuqinglong110回复 chenxiaocui195 2017-10-10 10:06:18
      不好意思,我也是初学者,谈不上指点。一起学习吧。我最近没有关注行人再识别方面的论文,现在深度学习太火了,估计除了以前的传统方法之外,又有了一大批深度学习方面的论文。如果是为了发论文的话,多看看深度学习应该是比较好的选择,当然,传统方法也要兼顾一下,毕竟,深度学习方法有时候感觉像个黑盒。我在大概三年前学习行人再识别时还是传统方法占主流位置。我个人建议,你先读一读传统方法的行人再识别论文,这类方法论文资料也比较多。而且,推到过程也很详细,应该有助于你更深入的理解算法过程,仔细研究几篇即可。我这里有本书,是前几年的行人再识别方面的综述。基本上都是传统方法,你可以看看。当然,深度学习也不能丢下,你还是要时刻跟踪最新的深度学习论文。这个就看看你自己的学习方法了。这是个人建议啊。我分享的一些资料:链接:http://pan.baidu.com/s/1jH6YRJ4 密码:bxu4 链接:http://pan.baidu.com/s/1jIFwECu 密码:ailu 还有郑伟诗的主页(RDC算法)可以搜集一些。我觉得不要花太长时间在传统学习上,你能理解一些经典算法就可以了,然后就可以跟踪深度学习方法。
  • 上一页
  • 1
  • 2
  • 3
  • 4
  • 下一页
查看 54 条热评
老中医说:男人多吃它,性生活时间延长5倍 国瑞兴邦 · 顶新
var width = $("div.recommend-box").outerWidth() - 48; NEWS_FEED({ w: width, h : 90, showid : 'GNKXx7', placeholderId: "ad1", inject : 'define', define : { imagePosition : 'left', imageBorderRadius : 0, imageWidth: 120, imageHeight: 90, imageFill : 'clip', displayImage : true, displayTitle : true, titleFontSize: 20, titleFontColor: '#333', titleFontFamily : 'Microsoft Yahei', titleFontWeight: 'bold', titlePaddingTop : 0, titlePaddingRight : 0, titlePaddingBottom : 10, titlePaddingLeft : 16, displayDesc : true, descFontSize: 14, descPaddingLeft: 14, descFontColor: '#6b6b6b', descFontFamily : 'Microsoft Yahei', paddingTop : 0, paddingRight : 0, paddingBottom : 0, paddingLeft : 0, backgroundColor: '#fff', hoverColor: '#ca0c16' } })
农村有一宝,可解决痔疮,可惜很少人知道! 柚子生物 · 顶新
var width = $("div.recommend-box").outerWidth() - 48; NEWS_FEED({ w: width, h: 90, showid: 'Afihld', placeholderId: 'a_d_feed_0', inject: 'define', define: { imagePosition: 'left', imageBorderRadius: 0, imageWidth: 120, imageHeight: 90, imageFill: 'clip', displayImage: true, displayTitle: true, titleFontSize: 20, titleFontColor: '#333', titleFontFamily: 'Microsoft Yahei', titleFontWeight: 'bold', titlePaddingTop: 0, titlePaddingRight: 0, titlePaddingBottom: 10, titlePaddingLeft: 16, displayDesc: true, descFontSize: 14, descPaddingLeft: 14, descFontColor: '#6b6b6b', descFontFamily: 'Microsoft Yahei', paddingTop: 0, paddingRight: 0, paddingBottom: 0, paddingLeft: 0, backgroundColor: '#fff', hoverColor: '#ca0c16' } })

svd行人识别简单测试

2014年08月12日 540KB 下载

<iframe id="iframeu3394176_0" src="https://pos.baidu.com/mcvm?conwid=800&amp;conhei=100&amp;rdid=3394176&amp;dc=3&amp;di=u3394176&amp;dri=0&amp;dis=0&amp;dai=7&amp;ps=4506x346&amp;enu=encoding&amp;dcb=___adblockplus&amp;dtm=HTML_POST&amp;dvi=0.0&amp;dci=-1&amp;dpt=none&amp;tsr=0&amp;tpr=1531185904966&amp;ti=%E8%A1%8C%E4%BA%BA%E5%86%8D%E8%AF%86%E5%88%AB%EF%BC%88%E8%A1%8C%E4%BA%BA%E9%87%8D%E8%AF%86%E5%88%AB%EF%BC%89%E3%80%90%E5%8C%85%E5%90%AB%E4%B8%8E%E8%A1%8C%E4%BA%BA%E6%A3%80%E6%B5%8B%E7%9A%84%E5%AF%B9%E6%AF%94%E3%80%91%20-%20CSDN%E5%8D%9A%E5%AE%A2&amp;ari=2&amp;dbv=0&amp;drs=3&amp;pcs=1908x636&amp;pss=1908x4580&amp;cfv=0&amp;cpl=0&amp;chi=7&amp;cce=true&amp;cec=UTF-8&amp;tlm=1531185905&amp;prot=2&amp;rw=636&amp;ltu=https%3A%2F%2Fblog.csdn.net%2Fliuqinglong110%2Farticle%2Fdetails%2F41699861%230-tsina-1-66170-397232819ff9a47a7b7e80a40613cfe1&amp;ecd=1&amp;uc=1920x988&amp;pis=-1x-1&amp;sr=1920x1080&amp;tcn=1531185905&amp;qn=f9ea1af9c21b8517&amp;tt=1531185904339.847.847.849" vspace="0" hspace="0" scrolling="no" width="800" height="100" align="center,center"></iframe>

行人识别必读论文

2014年07月31日 40.22MB 下载

没有更多推荐了,返回首页






最新评论






    <div class="aside-box">
                    <div id="_qm7opbnd8qh" style="width: 100%;"><div><iframe scrolling="no" src="//pos.baidu.com/s?hei=250&amp;wid=300&amp;di=u3163270&amp;ltu=https%3A%2F%2Fblog.csdn.net%2Fliuqinglong110%2Farticle%2Fdetails%2F41699861%230-tsina-1-66170-397232819ff9a47a7b7e80a40613cfe1&amp;cfv=0&amp;dai=2&amp;cce=true&amp;chi=7&amp;drs=1&amp;cpl=0&amp;col=zh-CN&amp;ant=0&amp;ari=2&amp;par=1920x988&amp;dis=0&amp;ps=2356x1262&amp;psr=1920x1080&amp;cec=UTF-8&amp;cmi=0&amp;cdo=-1&amp;dtm=HTML_POST&amp;dc=3&amp;tlm=1531185904&amp;prot=2&amp;tpr=1531185904928&amp;ccd=24&amp;cja=false&amp;tcn=1531185905&amp;exps=111000&amp;pss=1908x3480&amp;ti=%E8%A1%8C%E4%BA%BA%E5%86%8D%E8%AF%86%E5%88%AB%EF%BC%88%E8%A1%8C%E4%BA%BA%E9%87%8D%E8%AF%86%E5%88%AB%EF%BC%89%E3%80%90%E5%8C%85%E5%90%AB%E4%B8%8E%E8%A1%8C%E4%BA%BA%E6%A3%80%E6%B5%8B%E7%9A%84%E5%AF%B9%E6%AF%94%E3%80%91%20-%20CSDN%E5%8D%9A%E5%AE%A2&amp;pis=-1x-1&amp;dri=0&amp;pcs=1908x636" width="300" height="250" frameborder="0"></iframe></div></div><script type="text/javascript" src="//cee1.iteye.com/avneunkwb.js"></script>
                </div>
            <div class="aside-box">
        <div class="persion_article">
        <div class="right_box footer_box csdn-tracking-statistics" data-mod="popu_475" data-dsm="post">        <h3 class="feed_new_tit"><span class="line"></span><span class="txt">联系我们</span></h3>        <div class="contact-box">        <div class="img-box"><img src="//csdnimg.cn/pubfooter/images/csdn_cs_qr.png" alt="客服"></div>        <div class="contact-info">        <h4>请扫描二维码联系客服</h4>        <p><svg width="16" height="16" xmlns="http://www.w3.org/2000/svg"><path d="M2.167 2h11.666C14.478 2 15 2.576 15 3.286v9.428c0 .71-.522 1.286-1.167 1.286H2.167C1.522 14 1 13.424 1 12.714V3.286C1 2.576 1.522 2 2.167 2zm-.164 3v1L8 10l6-4V5L8 9 2.003 5z" fill="#B3B3B3" fill-rule="evenodd"></path></svg><a href="mailto:[email protected]" target="_blank"><span class="txt">[email protected]</span></a></p><p><svg width="16" height="16" xmlns="http://www.w3.org/2000/svg"><path d="M14.999 13.355a.603.603 0 0 1-.609.645H1.61a.603.603 0 0 1-.609-.645l.139-1.47c.021-.355.25-.845.51-1.088 0 0 3.107-2.827 3.343-2.909 0 0-.029-2.46 1.2-2.46h3.635c1.112 0 1.202 2.469 1.202 2.469l3.32 2.9c.26.243.489.733.51 1.088l.139 1.47zM7 10a1 1 0 0 0 0 2h2a1 1 0 0 0 0-2H7zm7.806-5.674c.105.135.191.384.19.554l-.003 2.811c0 .17-.133.26-.295.2l-2.462-.999a.478.478 0 0 1-.296-.416V5.445c0-2.07-7.878-2.225-7.878 0v1.21c0 .17-.135.352-.3.404L1.3 7.904c-.165.052-.3-.044-.3-.213V4.88c0-.17.086-.42.191-.554C1.191 4.326 2.131 2 8 2s6.807 2.326 6.807 2.326z" fill="#B3B3B3"></path></svg><span class="txt"> 400-660-0108</span></p>        <p><svg width="16" height="16" xmlns="http://www.w3.org/2000/svg"><path d="M14.496 10.35c-.301-1.705-1.565-2.822-1.565-2.822.18-1.548-.481-1.823-.481-1.823C12.31.915 8.089.998 8 1 7.91.998 3.689.915 3.55 5.705c0 0-.662.275-.481 1.823 0 0-1.264 1.117-1.565 2.822 0 0-.16 2.882 1.445.353 0 0 .36.96 1.022 1.823 0 0-1.183.392-1.083 1.412 0 0-.04 1.136 2.527 1.058 0 0 1.805-.137 2.347-.882h.476c.542.745 2.347.882 2.347.882 2.566.078 2.527-1.058 2.527-1.058.1-1.02-1.083-1.412-1.083-1.412a7.986 7.986 0 0 0 1.022-1.823c1.604 2.529 1.445-.353 1.445-.353z" fill="#B3B3B3" fill-rule="evenodd"></path></svg><a href="javascript:void(0);" class="qqcustomer_s" target="_blank"><span class="txt">QQ客服</span></a>        <svg width="16" height="16" xmlns="http://www.w3.org/2000/svg"><path d="M7.325 13.965a6.5 6.5 0 1 1 7.175-6.4C14.467 11.677 11.346 15 7.5 15c-.514 0-1.015-.06-1.498-.172.488-.178.922-.48 1.323-.863zM4 7.5a4 4 0 1 0 8 0 .5.5 0 1 0-1 0 3 3 0 1 1-6 0 .5.5 0 0 0-1 0z" fill="#B3B3B3" fill-rule="evenodd"></path></svg><a href="http://bbs.csdn.net/forums/Service" target="_blank"><span class="txt">客服论坛</span></a>        </p>        </div></div>        <div class="bg-gray">        <div class="feed_copyright">        <p><a class="right-dotte" href="//www.csdn.net/company/index.html#about" target="_blank">关于</a><a href="//www.csdn.net/company/index.html#recruit" target="_blank" class="right-dotte">招聘</a><a href="//www.csdn.net/company/index.html#business" target="_blank" class="right-dotte">广告服务</a>        <a href="https://www.csdn.net/gather/A" target="_blank" class="footer_baidu">        网站地图</a></p>        <p class="fz12">©2018 CSDN版权所有 <a href="http://www.miibeian.gov.cn/" target="_blank" class="ml14">京ICP证09002463号</a></p>        <p class="fz12 fz12_baidu"><svg width="13" height="14" xmlns="http://www.w3.org/2000/svg"><path d="M8.392 7.013c1.014 1.454 2.753 2.8 2.753 2.8s1.303 1.017.47 2.98c-.833 1.962-3.876.942-3.876.942s-1.122-.36-2.424-.072c-1.303.291-2.426.181-2.426.181s-1.523.037-1.957-1.888c-.434-1.927 1.52-2.982 1.666-3.161.145-.183 1.159-.873 1.81-1.963.653-1.09 2.608-1.962 3.984.181zm1.23 5.706V9.346H8.64v2.534h-.937s-.3-.044-.356-.285V9.33l-.925.015v2.518s.042.627.925.855h2.277zm-3.685.013V7.951l-.896-.014v1.295H3.987s-1.054.086-1.422 1.28c-.129.798.114 1.266.156 1.368.043.099.383.682 1.238.852h1.978zm-2.433-1.45c-.087-.286.013-.613.057-.741.042-.128.228-.427.61-.54h.855v1.948h-.797s-.555-.029-.725-.668zm6.877-8.775c-.143.909-.865 2.108-1.99 1.962-1.121-.144-1.375-1.16-1.267-2.179C7.214 1.458 8.21.18 9.007.364c.796.18 1.52 1.235 1.374 2.143zm-4.09-.345c0 1.197-.68 2.164-1.52 2.164S3.25 3.36 3.25 2.162C3.25.967 3.932 0 4.77 0c.842 0 1.52.967 1.52 2.162zm4.854 2.09c1.34 0 1.701 1.309 1.701 1.743 0 .438.182 2.29-1.485 2.326-1.667.037-1.737-1.126-1.737-1.96 0-.874.179-2.11 1.52-2.11zm-7.93.581c.045.398.253 2.217-1.27 2.544C.427 7.704-.14 5.947.028 5.124c0 0 .18-1.78 1.412-1.89.98-.085 1.7.986 1.774 1.6z" fill="#999" fill-rule="evenodd"></path></svg><em>百度提供支持</em></p>        </div>        <div class="allow-info-box">        <p><a href="http://www.hd315.gov.cn/beian/view.asp?bianhao=010202001032100010" target="_blank"><span>经营性网站备案信息</span></a></p>        <p><a href="http://www.cyberpolice.cn/" target="_blank"><span>网络110报警服务</span></a></p>        <p><a href="http://www.12377.cn/" target="_blank"><span>中国互联网举报中心</span></a></p>        <p><a href="http://www.bjjubao.org/" target="_blank"><span>北京互联网违法和不良信息举报中心</span></a></p>        </div>        </div>        </div></div>
    </div>
</div>

("a.flexible-btn").click(function(){ (this).parents('div.aside-box').removeClass('flexible-box'); $(this).remove(); })

        最近,在网上搜索关于“行人重识别”及“行人再识别”等关键词,发现几乎都是关于行人检测的内容。对于“行人重(再)识别”技术能找到的资料很少,这可能是因为“行人重(再)识别”技术最近才刚刚兴起吧。总之,除了能在谷歌学术中搜到一些Person re-identification的学术论文外,其他的资料明显没有行人检测的多。由于本人主要是学习“行人重(再)识别”技术的,每次和别人提起自己的研究方向时都要费力的解释一番,因此,本人打算在这里对“行人重(再)识别”进行阐述,同时,也为以后读者阅读相关的技术文献提供一个参考。

一、 概念解释

       “行人重(再)识别”:首先从字面上将就是对“行人”进行“识别”。其中的“重(再)”则是指“重新”、“再一次”的意思。“行人重(再)识别”技术主要是应用在视频监控方面。在刑侦工作中,刑侦人员经常要浏览多个摄像头中的视频,查找某个特定的行人在哪些摄像头曾经出现过。计算机视觉领域的学者们形象地将针对特定行人的监控视频检索问题称为行人重识别(Personre-identification)

 

图1 行人重识别过程的实际应用场景可以想象成上图的样子:一个行人沿着图中红色的轨迹从左到右先后经过了拐角处的两个摄像头。注意:这两个摄像头拍摄的范围没有交叉的部分,即经过一个摄像头后,中间有一段时间没有被任何摄像头拍摄到,然后再经过第二个摄像头。

二、“行人重(再)识别”与“行人检测”的区别

(1)     主要应用领域的区别:

“行人重(再)识别”主要应用于刑侦工作、图像检索等方面。

“行人检测”主要用于智能驾驶、辅助驾驶和智能监控等相关领域。

(2)     主要目的区别:

“行人重(再)识别”主要目的是:判断某个摄像头中的某个行人是否曾经出现在其他的摄像头中,即需要将某个行人特征与其他行人特征进行对比,判断是否属于同一个行人。

“行人检测”主要的目的是:检测图像或视频中是否存在行人,而不需要判断该行人特征与其他行人特征是否属于同一个行人。

三、小结

  其实,本人一直认为 “行人重(再)识别”与“行人检测”本身就有许多的关联之处:本人在平时学习“行人重识别”过程中,使用的数据库都是从视频中剪切好的行人图片,如图2    

图2 上面一行的图片由A摄像头拍摄得到,下面一行的图片由B摄像头拍摄得到。并且,上下对应的两张图片都属于同一个人的图片,只是由于光照、拍摄角度等因素,导致同一个人的两张图片有所不同。

    即数据库中的图片里一定含有行人。“行人重识别”所要做的就是先对图像进行特征提取,然后接下来做的是判断某个测试图片的特征与训练集中的哪个图片最接近。“行人检测”一般是在一张图片或一段视频中判断是否存在行人,如图3。从图2和图3中可以看出“行人重识别”和“行人检测”两种技术的区别和联系。因此,在实际的监控视频应用中,应该是先进行行人检测,把视频或图片中的行人筛选出来,输出类似图2中的结果,然后,再使用行人重识别技术识别行人。(个人观点)(注意:我们现在的行人重识别研究主要是在图片库中进行的,这些图片也都是从监控视频中剪切得到的。)

    

图3 行人检测示意图

四、 国内外研究现状(行人重识别领域)

         行人重识别问题中的图片来源于不同的摄像头,然而,由于不同摄像头所处的角度、光照等环境的影响,行人重识别问题具有以下几个特点:

         1.  由于实际监控环境中,无法使用脸部的有效信息,所以,只能利用行人的外貌特征来进行识别。

         2.  在不同摄像头中,由于尺度、光照和角度的变化,同一个行人的不同图片中,外貌特征会有一定程度的变化。

         3.  由于行人姿势及摄像头角度的变化,在不同摄像头中,不同行人的外貌特征可能比同一个人的外貌特征更相似。

         针对以上几个特点,计算机视觉领域的研究人员在最近几年里进行了大量的研究工作。

         目前,行人重识别领域的研究工作主要分为大致两类:

         1.研究行人对象的特征表示方法,提取更具有鲁棒性的鉴别特征对行人进行表示。

         2.使用距离度量学习方法,通过学习一个有判别力的距离度量函数,使得同一个人的图像间距离小于不同行人图像间的距离。

下面分别从上述两个方面来介绍国内外研究现状:

       (1)     基于特征表示的方法

        在视频监控环境中,行人的外貌特征比较容易提取和表示。因此,同一行人的不同外貌特征具有一定的鲁棒性。

最近几年的一些论文:

       1)  “Person re-identification by symmetry-drivenaccumulation of local features”, CVPR, 2010. 为了减少视角变化导致的外貌变化,本文提出通过基于人身体对称性的特征提取方法。首先通过一个预处理过程在人身体上划分头、躯干、腿部和左右对称中轴,然后提取除了头部以外的各区域的多种特征,包括累积颜色特征和纹理特征。并基于对称中轴对特征进行加权,越靠近中轴权值越高。下面是论文示例图。


2) Custom pictorial structures for re-identification”, BMVC,2011.本文提出类似的方法,将绘画结构应用于行人重识别。用一个自适应的身体外形结构来表示行人像,包括头、胸、大腿和小腿,然后提取每个部分的颜色特征进行精确匹配。


         3)“Multiple-shot person re-identification by chromatic andepitomic analyses”, Pattern Recognition Letters, Vol.33, PP. 898–903, 2012.  本文结合行人的全局和局部外貌特征进行重识别,首先根据行人在单摄像头下的连续运动提取多个关键帧图像,并用多帧图像的累积 HSV 颜色直方图表示全局特征;其次,在把人身体分割成上、下半身并去除头部区域后,提取各上、下半身多帧图像中频繁出现的块信息表示局部特征;最后加权融合全局和局部特征进行行人重识别。

       (2)     基于距离度量学习的方法

        上述基于特征的方法都是使用标准距离(如曼哈顿距离、欧氏距离和巴氏距离等)进行相似性度量。然而同一身份行人在跨越多个无重叠区摄像头时,不同外貌特征受视角、光照等因素的影响不同。标准的距离度量方法平等的对待每一种特征,而不会摒弃那些独立使用时效果很差的特征。因此,研究者尝试通过距离学习的方法,获得一个新的距离度量空间,使得同一行人不同图像的距离小于不同人间的距离。距离学习方法一般在 Mahalanobis 距离的基础上进行,通过学习一个投影矩阵,使得在投影空间中同类样本之间的距离较小,而不同类样本之间的距离较大。

        1)“Distance metric learning with application to clustering withside-information”, NIPS, 2003.本文首次提出距离测度学习的问题,他在 Mahalanobis 距离的基础上,根据样本的类别,将具有相同类别标签的样本组成正样本对,不同类别标签的样本构成负样本对,然后利用这些样本对作为约束条件来训练得到一个 Mahalanobis 矩阵,从而使得最终的距离度量函数能够尽可能地满足所给定的约束条件。

        2)“Distance metric learning for large margin nearest neighborclassification”,  Journal of Machine LearningResearch, vol. 10, pp. 207–244, 2009. 本文提出最大近邻分类间隔(large marginnearest neighbor classification, LMNN)的算法,其思想类似于支持向量机,即希望寻求一个分类超平面,使得该超平面与最靠近点的距离尽可能大。同样,LMNN 希望通过投影后,数据的邻域内的同类点向内部紧缩,不同类点向外扩张,并且之间的间隔尽可能大。


         3)“Pedestrianrecognition with a learned metric”, ACCV, 2011. 本文对 LMNN进行改进提出 LMNN-R方法,其用所有样本点的平均近邻边界来代替 LMNN 中不同样本点所采用的各自近邻边界,取得了比 LMNN 方法更强的约束效果。

         4)“PersonRe-identification by Probabilistic Relative Distance Comparison”, CVPR, 2011. 本文提出概率相对距离比较(probabilisticrelative distance comparison PRDC)的方法,在学习距离度量函数时考虑相对约束,与之前的同类距离尽可能小,不同类距离尽可能大的要求不同,其要求同类的距离小于不同类之间的距离。对每一个样本,选择一个同类样本和不同类样本形成 3 元组,在训练过程通过最小化不同类样本距离减去同类样本距离的和,得到满足约束的距离度量矩阵。

五、总结

         第四节中介绍的两类方法各有利弊,根据本文近一年来的学习经验,基于特征表示的方法虽然运算复杂度相对度量学习方法简单,没有复杂的学习过程,但是,效果可能并不理想。基于距离度量学习方法需要一个复杂的学习过程,但是,效果比前者要好。另外,有个特例,Large Scale Metric Learning from Equivalence Constraints中将样本之间的差向量看做是高斯分布中的一个点,同类样本的差向量分布在同一个高斯分布中,而不同样本之间的差向量分布在另一个高斯分布中,然后用概率的比值来度量样本之间的距离。作者通过转换最终将高斯分布的比值转换成马氏距离的形式,马氏距离矩阵为同类样本差向量协方差的逆减去不同类样本差向量协方差的逆。该方法由于没有使用到迭代优化的算法,算法速度快,但是该方法也属于距离度量学习方法

    对于行人重识别感兴趣的读者可以关注一下相关的研究人员的个人主页,比如:郑伟诗(中山大学)、龚少刚、赵瑞、陶大成、Hirzer等,一般主页上会提供论文和代码。



猜你喜欢

转载自blog.csdn.net/yllifesong/article/details/80980964