2016 CVPR-Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss

Motivation

提出了multi-channel CNN model来同时学习身体全局特征以及局部细节特征，最后将两者结合作为输入行人图像的表示
an improved triplet loss function：不仅要求类内距离小于类间距离，同时还要小于一个预先定义的margin，通过改进的loss能够进一步提高模型的精度

re-ID的工作两大方面：
- 特征提取：
  - color histograms and their variants
  - local binary pattern
  - Gabor features
  - color name
  - other visual appearance or contextual cues
- 距离度量：
  - Mahalanobis metric learning(KISSME)
  - Local Fisher Discriminant Analysis(LFDA)
  - Marginal Fisher Analysis(MFA)
  - large margin nearest neighbour(LMNN)
  - Locally Adaptive Decision Functions(LADF)
  - attribute consistent matching
深度学习方法：
- 有关Triplet loss应用的：
  - fine grained image similarity metrics
  - FaceNet
  - Deep feature learning with relative distance comparison for person re- identification
- 其他工作：
  - FPNN
  - DeepM
  - mFilter：local path matching method
  - 2015 CVPR An Improved Deep Learning Architecture for Person Re-Identification
本文工作与上述工作的不同：
- 网络结构：使用了由多个分支构成大单一网络来学习全局与局部特征
- loss function：improved triplet loss使类内更近、类间更远

如下图是一个triplet training，三个部分共享参数，每个部分都为本文提出的multi-channel CNN model
该模型将输入 $I_i = <I^o_i,I^+_i,I^-_i>$ 映射到 $\phi_{\mathbf{w}}(I_i) = < \phi_{\mathbf{w}}(I^o_i),\phi_{\mathbf{w}}(I^+_i),\phi_{\mathbf{w}}(I^-_i)>$ ，其中 $\phi_{\mathbf{w}}(I^o_i)$ 与 $\phi_{\mathbf{w}}(I^+_i)$ 距离小于一个margin，其中 $\phi_{\mathbf{w}}(I^o_i)$ 与 $\phi_{\mathbf{w}}(I^-_i)$ 距离较远

主要层：如下图
- 一个全局卷积层:7x7filter size，stride=3
- 全身卷积层
- 4个身体分块卷积层
- 5个各自通道的全连接层
全身通道：conv:5x5 s=1 –> max-pooling:3x3 –> conv:3x3 s=1 –>max-pooling:3x3 –> fc:400
4个身体分块通道：conv:3x3 s=1 –> conv:3x3 s=1 –>fc 100
对于较大的数据集CUHK01，对五个通道各加了一个卷积层，本文使用了两种网络配置
在最后对各通道输出的向量进行了拼接，特征向量同时有全局与局部的特征，能带来显著的性能提升。

original triplet: loss:只是要求类内小于内间距离，类簇可能相对较大，这样会影响re-id的性能
$d^{n} (I_{i}^{o}, I_{i}^{+}, I_{i}^{-}, w) = d (ϕ_{w} (I_{i}^{o}), ϕ_{w} (I_{i}^{+})) - d (ϕ_{w} (I_{i}^{o}), ϕ_{w} (I_{i}^{-})) ⩽ τ_{1} .$ $d^n(I^o_i,I^+_i,I^-_i,\mathbf{w})=d(\phi_\mathbf{w}(I^o_i),\phi_\mathbf{w}(I^+_i))-d(\phi_\mathbf{w}(I^o_i),\phi_\mathbf{w}(I^-_i)) \leqslant \tau_1.$
improved triplet: loss:要求类内也要小于一个margin
$d^{p} (I_{i}^{o}, I_{i}^{+}, w) = d (ϕ_{w} (I_{i}^{o}), ϕ_{w} (I_{i}^{+})) ⩽ τ_{2}$ $d^p(I^o_i,I^+_i,\mathbf{w}) = d(\phi_\mathbf{w}(I^o_i),\phi_\mathbf{w}(I^+_i)) \leqslant \tau_2$
最终公式如下：
$L (I, w) = \frac{1}{N} \sum_{i = 1}^{N} (\underset{i n t e r - c l a s s - c o n s t r a i n t}{\underset{⏟}{m a x {d^{n} (I_{i}^{o}, I_{i}^{+}, I_{i}^{-}, w), τ_{1}}}} + β \underset{i n t r a - c l a s s - c o n s t r a i n t}{\underset{⏟}{m a x {d^{p} (I_{i}^{o}, I_{i}^{+}, I_{i}^{-}, w), τ_{2}}}}) d (ϕ_{w} (I_{i}^{o}), ϕ_{w} (I_{i}^{+})) = ‖ ϕ_{w} (I_{i}^{o}) - ϕ_{w} (I_{i}^{+}) ‖^{2}$ $L(I,\mathbf{w}) = \frac{1}{N}\sum_{i=1}^N(\underbrace{max\{d^n(I^o_i,I^+_i,I^-_i,\mathbf{w}), \tau_1\}}_{inter-class-constraint} + \beta\underbrace{max\{d^p(I^o_i,I^+_i,I^-_i,\mathbf{w}), \tau_2\}}_{intra-class-constraint}) \\ d(\phi_\mathbf{w}(I^o_i),\phi_\mathbf{w}(I^+_i)) = \|\phi_\mathbf{w}(I^o_i) - \phi_w(I^+_i)\|^2$

Data augmentation: resize图片到100x250，然后随机crop80x230并加上微小的随机扰动
Setting training parameters::
- 权重初始化:两个均值为0的高斯分布，一个方差为0.01,另一个方差为0.001
- 产生triplets:batch size=100，随机选五个人，对每个人随机生成20个triplets，相同对从类中选，不同对从剩下的类中选。
- $\tau_1,\tau_2,\beta$ 分别设置为-1，0.01，0.002
DataSets:
- i-LIDS
- PRID2011
- VIPeR
- CUHK01
Evaluation protocol: cumulative match curve(CMC) metric：CMC曲线Rank1识别率就是表示按照某种相似度匹配规则匹配后，第一次就能判断出正确的标签的数目与总的测试样本数目之比，Rank5识别率就是指前五项（按照匹配程度从大到小排列后）有正确匹配。如果一个样本按照匹配程度从大到小排列后，到最后一项，才匹配到正确标签

通过4个变体来说明本文提出方法的有效性：
- Variant1(T):去除了4个body-part通道并使用原始的triplet loss
- Variant2(TC):相比T，使用了改进的triplet loss
- Variant3(TP):使用五个通道与原始的triplet loss
- Variant4(TPC):相比TP，使用了改进的triplet loss
具体结果如下：
对于较大的CUHK01，对上面四个变体每个通道各多加了一个卷积层
交叉验证对 $\beta$ 进行了选择，结果如下：