Paper Reading:Real-time part-based visual tracking via adaptive correlation filters

论文链接:https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Liu_Real-Time_Part-Based_Visual_2015_CVPR_paper.pdf

摘要

本文在KCF的基础上进行改进,提出基于多子块相关滤波、自适应权值抑制和贝叶斯推理框架的实时跟踪算法。将追踪目标划分为多个子块有效解决跟踪目标部分遮挡问题。当目标被划分为多个子块进行跟踪时,算法实时性会受到较大影响,为解决这一问题本文采用效率极高的相关滤波方法进行跟踪。在大多数相关滤波方法中,目标框的尺度是固定的,这在长期跟踪任务上会导致结果不可信。为解决上述问题,本文提出基于每个子块进行相关滤波的跟踪策略。此外,我们采用贝叶斯推断框架和结构化约束掩膜来保证算法对形变等因素的鲁棒性。

 

背景介绍部分

生成式跟踪算法负责搜索与跟踪目标最相似的区域,而判别式算法主要是分类问题负责将跟踪目标从背景中分离出来。同时指出当下常规的跟踪算法有基于boosting的集成分类器方法、在线多距离的学习算法、基于P-N学习的TLD算法、在线结构化SVM方法、相关滤波方法等。最近基于局部块的跟踪算法在局部遮挡问题上取得十分鲁棒的效果,当然该方法的计算量十分大,实时性很不理想。本文针对上述分块跟踪算法实时性差的缺陷,提出本文的通过自适应相关滤波器进行视觉目标跟踪的基于分块的实时性算法。

该方法总体思路如下:

  1. 采用相关滤波器作为每个局部子块的分类器,来加快跟踪速度
  2. 对每个子块按照打分赋予不同权重进行组合
  3. 使用置信度映射的平滑约束(SCCM)来评估子块被遮挡的程度
  4. 提出一种空间布局约束的方法:有效抑制组合各个独立部分时产生的噪声;当发生目标遮挡时,准确估计其边界框的尺寸

 

 

 

 

相关工作

基于相关滤波的跟踪方法

基于相关滤波的跟踪策略具有极好的实时性,目标在第一帧被一个较小的跟踪框选中,此后的跟踪是在下一帧一个更大的搜索框上使用相关滤波进行。具有最大相关值的位置就是下一帧目标所在的位置,之后一帧的跟踪在这一帧的基础上进行。

基于局部滤波的跟踪方法

在本文中,在贝叶斯推断中使用联合置信度映射来得出具备最大后验概率的候选位置。为了更好地获得每个子块对应空间上的内容,采用结构化约束掩膜来计算观察和实际的极大似然估计。

 

子块目标跟踪

常见子块目标跟踪采用灰度直方图匹配等方法,这些方法计算量巨大,实时性很差。

 

使用相关滤波方法的基于子块划分的跟踪方法

  1. 使用快速KCF作为子块分类器
  2. 提出一种新的方法来自适应地组合块打分分类器和更新模型
  3. 采用贝叶斯推断框架来实现更好的鲁棒性

KCF跟踪器

直接基于CF的跟踪器跟踪效果很好但鲁棒性不高,一旦目标存在部分遮挡的情况便意味着本次跟踪以失败告终。针对上述缺陷,KCF提出使用循环矩阵进行运算,同时对结果值进行连续平滑,靠近目标中心到远离目标自1衰减到0。

最小化的目标函数:

权重w的值:

置信度映射:

 

块跟踪器的自适应权值计算

  1. 将目标整体划分为多个子部分,单独跟踪每个子块
  2. 定位每个子块位置,使用贝叶斯推理框架整合所有单个置信度映射
  3. 整合过程赋予不同权重进行,更值得信赖的子块赋予更大的权重,消除因漂移引起的噪声
  4. 用PSR和SCCM来度量子块置信度映射的权重

 

其中fp(i)t表示第i个子块在t时刻的子块。

 

自适应分类器更新策略

子块跟踪器的更新策略:

 

基于置信度映射的跟踪策略

传统方法通过在所有子块的跟踪结果上计算几何中心以此来确定这个目标的位置。但考虑到部分遮挡和形变等因素的影响,一些子块跟踪器会产生漂移导致定位不准确。还有一种方法通过稠密采样的方式来解决上述问题,但计算量巨大,实时性差。本文提出一种基于贝叶斯推理的框架来解决该跟踪问题。

关于联合置信度映射的一系列观察数据

最佳状态通过最大后验概率估计来计算

通过贝叶斯理论递归的计算后验概率

 

实验

在实验过程中,本文发现将子块的尺寸设为原目标的1/4和1/6时效果最为稳定,子块尺寸太大或者太小就过都会表现更差,无法确保算法的鲁棒性。同时还发现当子块数量大于5时,跟踪结果无任何变化。在本实验中我们使用5个子块和400个候选采样点。

 

速度分析

本文提出算法的主要计算资源开销花费在N个子块的KCF跟踪和候选采样框上。在采用5个子块和400采样窗的基础上,本文所提方法的速度为30FPS。其他三种基于块的跟踪方法在它们对应配置环境的最佳速度依次为10FPS,2FPS和3.7FPS。本文所提方法在它们配置环境上的运行速度依次为20和22FPS。显然要远优于这三种方法。

 

量化估计

评估本文所提跟踪算法的执行效果可从两个角度的标准进行:中心位置误差和重叠率。平均误差越小或者覆盖率越大都意味着一个更加准确的结果。

覆盖率计算公式:

观察平均中心位置误差和平均覆盖率可知,本文提出的方法基本表现出最佳的效果,有一部分测试集上表现出第二的效果。

定性估计

得益于多子块和自适应更新策略,我们的方法在部分遮挡的测试集上表现出可信赖的效果;由于采用多子块和贝叶斯框架,我们的方法能很好的适应尺度变化,同时也能十分准确地覆盖目标;对于couple测试序列,传统KCF算法在一开始便已经失败,我们的基于块的方法将这个目标划分为多个子块,能成功地定位到目标整体通过子块。

 

结论

基于相关滤波器和贝叶斯推理框架,我们提出一种具有更好跟踪效果的基于块的实时的跟踪器。使用自适应权重在线更新和结构化掩膜方法,本文提出的跟踪器对部分遮挡、尺度变化、光照、旋转等具有极好的鲁棒性。

猜你喜欢

转载自blog.csdn.net/weixin_41797117/article/details/88864701