文章链接：添加链接描述
摘要
针对视频行人重识别的部分遮挡问题，提出了一个时空补全网络（Spatio-Temporal Completion network, STCnet）用来精确的恢复遮挡部位的信息。相较于之前的大部分工作选择丢弃部分遮挡的图片 ，基于深度学习的STCNet方法可以恢复遮挡部分，利用spatial structure预测哪部分被遮挡，temporal patterns提供生成遮挡部分的重要线索。
1 Introduction
视频行人重识别旨在从多个不重叠的摄像机下识别同一行人。由于摄像机视角引起的外观巨大变化，背景杂乱，尤其是部分遮挡，使得视频行人重识别具有挑战。在部分遮挡下，视频行人重识别性能严重下降。这个问题很难解决因为行人的任何一部分都可能被其他行人或者周围环境物体遮挡（例如，自行车和显示器）。
典型的video re-id方法【21,30,22】并没有将partial occlusion的影响考虑进去。它们将视频的每一个帧作为一个特征向量并且使用平均池或最大池跨时间计算聚合表示。在存在部分遮挡的情况下，由于对所有帧的平等处理，通常会导致视频特征被破坏，导致严重的性能退化。
最近，为了处理部分遮挡[18,43,33,15,3] video re-id引入了注意力机制（attention mechanism）。它们从视频序列中选择有识别力的帧并产生informative video representation。尽管这些方法对部分遮挡有一定的容忍度，但抛弃遮挡的帧并不理想。一方面，丢弃帧的剩余可见部分可能为re-ID提供强有力的线索。因此，这些方法在视频特征中丢失了太多的外观信息，使得识别人变得困难。另一方面，丢弃的帧中断了视频的时间信息。文献[21,30,32]证实了视频的时间信息可以帮助识别人。例如，如果不同的人有相似的外貌，我们可以从他们的步态中消除歧义。因此，当部分遮挡发生时，这些方法仍然可能失败。
在本文中，我们提出了时空补全网络(STCnet)来明确地解决部分遮挡问题，以恢复被遮挡部分的外观。一方面，根据行人帧的空间结构，可以利用可见的(未遮挡的)身体部分来预测一个人缺失的(遮挡的)身体部分。另一方面，由于行人序列的时间模式，相邻帧的信息有助于恢复当前帧的外观。 基于这两个事实，我们设计了STCnet中的空间结构生成器和时间注意生成器。The spatial structure generator 利用帧的空间信息来预测遮挡部分的外观。The temporal attention generator 利用利用视频的时间信息，通过一个新的时间注意层来细化空间生成器生成的部分。通过空间和时间生成器，STCnet能够恢复被遮挡的部分。
在此基础上，我们提出了一种 occlusion-free video re-ID framework，该框架将reid网络与STCnet (VRSTC)相结合，利用未被遮挡的帧对reid网络进行训练和测试。由于STCnet具有优越的合成能力，使得视频行人重识别框架VRSTC对部分遮挡具有鲁棒性。我们证明了该框架在三个具有挑战性的视频数据集上的有效性，并且我们的方法在多种评价指标下都优于现有的方法。
2 Related work
Person re-identification.
Image completion.
3 Spatial-Temporal Completion network
3.1 Network Overview
STCnet的关键思想是利用视频的时空信息显式地恢复被遮挡部分，以减轻遮挡物对提取的行人检索特征的干扰。STCnet的网络结构如图1所示。
空间结构生成器将masked frame作为输入，输出 generated frame。时间注意发生器用相邻的帧细化生成的帧。两个鉴别器将掩模和整个生成帧中的合成内容区分为真假。 ID引导网络是为了保证生成的帧的身份。
STCnet包含了 spatial structure generator, temporal attention generator, 两个discriminators 和一个 ID guider subnetwork。spatial structure generator利用行人帧的空间结构，并以该帧的可见部分为条件，对遮挡部分的内容进行了初步的粗预测。时间注意发生器利用视频的时间模式，利用相邻帧的信息细化被遮挡部分的内容。为了得到更真实的效果，我们引入了局部鉴别器用于遮挡区域和一个全局鉴别器，用于整个框架来追求全局一致性。此外，还采用了一个ID引导子网络在completion之后来保存帧的ID标签。
