行人重识别–Video ReID
前言
目前主流的行人重识别方法大部分是基于单帧 图像的, 然而单帧图像给予的信息终究是有限的. 此外, 单帧的方法要求图像质量很高, 这对于相机 的布置和使用的场景是一个非常大的限制, 因此研究基于序列的方法便显得十分重要。
介绍
. 基于单帧图像 的 ReID 方法可以通过一个简单方法扩展到视频序 列, 即用所有序列图像特征向量的平均池化或者最 大池化作为该序列的最终特征. 
但是仍然有很多工作在研究如何更好地利用视频序列来进行行人重识别。
这类方法除了考虑了图像的内容信息, 还会考虑:
(1) 帧与帧之间的运动信息;
(2) 更好的特征融合;
(3) 对图像帧进行质量判断等.
总体来说, 基 于序列的方法核心思想为通过融合更多的信息来解 决图像噪声较大、背景复杂等一系列质量不佳的问题.
特点
- 姿态变化丰富
- 遮挡现象普遍
- 总有几帧质量好,也有几帧质量差
- 需要考虑如何融合各帧的信息
代表算法
1.AMOC–RNN提取时序（运动）特征
融合图像内容信息和运动信息是一种常见的思路, 因为运动信息里面可能包含了步态等信息辅助识别任务, 最早的序列类方法的关注点就在于运动信息上。
主要思想是利用 CNN 来提取空 间特征的同时利用递归循环网络 (Recurrent neural networks, RNN) 来提取时序 (运动) 特征.
AMOC 输入的包括 原始的图像序列和提取的光流序列 (运动特征). 其 核心思想在于网络除了要提取序列图像的特征, 还 要提取运动光流的运动特征, 其网络结构图如图所示.
AMOC 拥有空间信息网络 (Spatial network,Spat Nets) 和运动信息网络 (Motion network, MotiNets) 两个子网络.
图像序列的每一帧图像都被输 入到 Spat Nets 来提取图像的全局内容特征. 而相 邻的两帧将会送到 Moti Nets 来提取光流图特征. 之后空间特征和光流特征融合后输入到一个 RNN来提取时序特征.
通过 AMOC 网络, 每个图像序 列都能被提取出一个融合了内容信息、运动信息的 特征.
网络采用了分类损失和对比损失来训练模型. 融合了运动信息的序列图像特征能够提高行人重识 别的准确度.
2.DFGP–最稳定帧MSVF
序列图像每一帧都可以提取一个特征, 通常每 一帧贡献的信息是不同的, 因此如何更好地融合 每一帧的特征也是一个研究热点.
DFGP 先用一个深度学习模型对每一 帧提取一个深度特征, 之后用平均池化得到序列图 像的平均特征, 这与大部分工作一致. 之后 DFGP提出一个最稳定帧算法 (Maximally Stable VideoFrame, MSVF).
MSVF 通过计算每一帧图像特征 与平均特征之间的距离, 挑出距离最小的那一帧为 该序列的最稳定帧. 如果某一帧与最稳定帧越接近, 则给予该帧越大的权重. 实现方式为计算每一帧的 特征与最稳定帧特征的距离, 距离越近权重最大, 只 要满足所有帧的权重和为 1 即可. 
DFGP 是一种手动实现特征融合的方法, 当前另一种流行的思路是 利用深度学习的注意力机制, 来自动地给每一帧图像赋予一个权重[47]当然这个权重是由网络自动学 习出来, 解释性不如手动提取方法.
3.RQEN-遮挡质量判断
序列方法另外一个思路就是对图像帧进行质量 判断, 往往序列中并不是每一帧图像都是完整的高 质量图像, 遮挡、姿态、分辨率等因素都是可能造成 图像不佳的因素. 因此保留更多的高质量图像的特 征便显得比较重要。
RQEN(Region-based QualityEstimation Network) 就是一个对遮挡图像进行质 量判断的工作. RQEN 认为在遮挡较严重的情况 下, 如果用一般的平均池化会造成遮挡区域的特征 丢失很多. 而 RQEN 以姿态估计点为先验知识, 对 每帧进行一个质量判断, 姿态完整的图像被认为是 高质量的图像, 反之姿态不完整的图像即存在遮挡 的图像是低质量的图像.
将这个先验结果输入到网 络, 诱导网络学习更多高质量图像帧的信息, 给高质 量图像帧打上高权重, 然后对特征图进行一个线性 叠加.
上图 显示了平均池化和 RQEN 方法的注意力 图, 可以看出在存在遮挡的情况下, 平均池化在遮挡 区域会丢失很多信息, 而融合质量判断的 RQEN 网 络依然可以得到较好的结果。
总结
基于视频序列的行人重识别技术是该领域未来研究的一个重要方向. 总体而言, 和单帧方法相比, 序列方法无论是从思路的多样性上, 还是从结果性 能上, 都还存在一定的差距.
问题主要集中在以下几个方面:
- 多帧特征如何融合
- -图像质量判断的方法
- 如何提取序列图像的运动特征
- 如何解决序列帧数不统一问题
- ReId运算效率如何提高