论文笔记：Contrastive Learning for Image Captioning

原文链接：Contrastive Learning for Image Captioning

Introduction

本文的提出的Contrastive Learning (CL) 主要是为了解决Image Caption任务中生成的Caption缺少Distinctiveness的问题。

这里的Distinctiveness可以理解为独特性，指的是对于不同的图片，其caption也应该是独特的、易于区分的。**即在所有图片中，这个caption与这幅图片的匹配度是最高的。**然而现在大多数的模型生成的caption都非常死板，尤其是对于那些属于同一类的图片，所生成的caption都非常相似，而且caption并没有描述出这些图片在其他方面的差异。

##Contrastive Learning for Image Captioning

Empirical Study

文章提出了一个self-retrieval study，来展示缺少Distinctiveness的问题。作者从MSCOCO test set上随机选取了5000张图片 $I_1, ... I_{5000}$ ，并且用训练好的Neuraltalk2和AdaptiveAttention分别对这些图片生成对应的5000个caption $c_1, ..., c_{5000}$ 。用 $p_m(:, \theta)$ 表示模型，对于每个caption $c_t$ ，计算其对于所有图片的条件概率 $p_m(c_t | I_1), ..., p_m(c_t | I_{5000})$ ，然后对这些概率做一个排序，看这个caption对应的原图片是否在这些排序后的结果的top-k个里。具体可见下图。

这里写图片描述

可见加入了CL来训练以后，模型的查找准确率明显提高了，并且ROUGE_L以及CIDEr的分数也提高了，并且准确度与这两个评价标准的分数呈正相关关系。说明提高Distinctiveness是可以提高模型的performance的。

Contrastive Learning

先介绍通常使用 Maximum Likelihood Estimation (MLE) 训练的方式，这里借用show and tell论文里面的图：

这里写图片描述

输入一副图片以后，我们会逐个地得到下一个目标单词的概率 $p_t(S_t)$ ，我们需要最大化这个概率，而训练目标则通过最小化 $L(I,S)=-\sum_{t=1}^N logp_t(S_t)$ 来实现这一目标。

而使用MLE训练会导致缺少Distinctiveness的问题，作者在他之前的文章Towards Diverse and Natural Image Descriptions via a Conditional GAN里面已经解释过了，大家可以读一读。

而CL的中心思想是以一个参考模型 (reference model，如state-of-the-art的模型，本文以Neuraltalk2和AdaptiveAttention为例) 作为baseline，在此基础上提高Distinctiveness，同时又能保留其生成caption的质量。参考模型在训练过程中是固定的。

CL同时还需要正样本和负样本作为输入，正负样本都是图片与ground-truth caption的pair，只不过正样本的caption与图片是匹配的；而负样本虽然图片与正样本相同，但caption却是描述其他图片的。

具体符号：
目标模型 target model: $p_m(:, \theta)$
参考模型 reference model: $p_n(:, \phi)$
正样本 ground-truth pairs: $X = ((c_1, I_1), ..., (c_{Tm}, I_{Tm}))$
负样本 mismatched pairs: $Y = ((c_{/1}, I_1), ..., (c_{/Tn}, I_{Tn}))$

目标模型和参考模型都对所有样本给出其估计的条件概率 $p_m(c|I,\theta)$ 和 $p_n(c|I,\phi)$
（这里的 $p_m(c|I,\theta)$ 应该是输入图片后，依次输入caption中的的单词 $S_0, ..., S_{N-1}$ ，并且依次把得到的下一个目标单词概率 $p_1(S_1), ..., p_N(S_N)$ 相乘所得到的。结合上图看会更清晰。），并且希望对于所有正样本来说， $p_m(c|I,\theta)$ 大于 $p_n(c|I,\theta)$ ；对于所有负样本， $p_m(c_/|I,\theta)$ 小于 $p_n(c|I,\phi)$ 。意思就是目标模型对于正样本要给出比参考模型更高的条件概率，对于负样本要给出比参考模型更低的条件概率。

定义 $p_m(c|I,\theta)$ 和 $p_n(c|I,\phi)$ 的差为 $D((c, I);\theta,\phi) = p_m(c|I,\theta) -p_n(c|I,\phi)$

而loss function为 $\mathcal{L}'(\theta; X, Y, \phi) = \sum_{t=1}^{T_m}D((c_t, I_t);\theta,\phi) - \sum_{t=1}^{T_n}D((c_{/t}, I_t);\theta,\phi)$

这里应该是最大化loss进行求解。

然而实际上这里会遇到几个问题：

首先 $p_m(c|I,\theta)$ 和 $p_n(c|I,\phi)$ 都非常小(~ 1e-8)，可能会产生numerical problem。因此分别对 $p_m(c|I,\theta)$ 和 $p_n(c|I,\phi)$ 取对数，

用 $G((c, I);\theta,\phi) = ln p_m(c|I,\theta) - ln p_n(c|I,\phi)$ 来取代 $D((c, I);\theta,\phi)$ 。

其次，由于负样本是随机采样的，不同的正负样本所产生的 $D((c, I);\theta,\phi)$ 大小也不一样，有些D可能远远大于0，有些D则比较小，而在最大化loss的过程中更新较小的D则更加有效，因此作者使用了一个logistic function （其实就是sigmoid） $r_v(z) = \frac 1 {1+\nu exp(-z)}$ ，来saturate这些影响，其中 $\nu = T_n/T_m$ ，并且$ T_n = T_m $来平衡正负样本的数量。所以$ D((c, I);\theta,\phi)$又变成了：

$h((c, I);\theta,\phi) = r_\nu(G((c, I);\theta,\phi)))$

因为 $h((c, I);\theta,\phi) \in (0, 1)$ ，所以loss function变成了

$\mathcal{L}(\theta; X, Y, \phi) = \sum_{t=1}^{T_m}ln[h((c_t, I_t);\theta,\phi)] + \sum_{t=1}^{T_n}ln[1 - h((c_{/t}, I_t);\theta,\phi)]$

等式的第一项保证了ground-truth pairs的概率，第二项抑制了mismatched pairs的概率，强制模型学习出Distinctiveness。

另外，本文把X复制了K次，来对应K个不同的负样本Y，这样可以防止过拟合，文中选择K=5。
最终的loss function： $J(\theta) = \frac 1 K \frac 1 {T_m} \sum_{k=1}^K \mathcal{L}(\theta; X, Y_k, \phi)$

以上的这些变换的主要受Noise Contrastive Estimation (NCE) 的启发。

理想情况下，当正负样本能够被完美分辨时， $J(\theta)$ 的上界是0。即目标模型会对正样本 $p(c_t | I_t)$ 给出高概率，负样本 $p(c_{/t} | I_t)$ 给出低概率。此时

$G((c_t, I_t);\theta,\phi) = \rightarrow \infty$ ， $G((c_{/t}, I_t);\theta,\phi) \rightarrow - \infty$ ，

$h((c_t, I_t);\theta,\phi) =1$ ， $h((c_{/t}, I_t);\theta,\phi) = 0$ ，
$J(\theta)$ 取得上界0。

但实际上，当目标模型对正样本给出最高概率1时，我认为 $G((c_t, I_t);\theta,\phi) 应该等于 ln p_n(c|I,\phi)$ ，因此 $h((c_t, I_t);\theta,\phi) <1$ ， $J(\theta)$ 的上界应该是小于0的。

实验结果

这里写图片描述
如上图，可以看到，加入CL以后，模型的表现有较大提升。

这里写图片描述
上图为CL与原模型的一些可视化结果。

这里写图片描述
文章还对比了CL跟GAN、IL(Introspective Learning)之间的区别：

IL把target model自身作为reference，并且是通过比较 $(I, c), (I_/, c)$ 来进行学习的。
IL的负样本 $(I_/, c)$ 通常是预定义且固定的，而CL的负样本则是动态采样的。
GAN中的evaluator直接测量Distinctiveness，而不能保证其准确性。

另外，加入IL和GAN后模型的准确性都有所下降，说明模型为了提高Distinctiveness而牺牲了准确性。但CL在保持准确性的同时又能提高Distinctiveness。

上图还对比了分别只有正负样本的训练情况。可以看到：

只有正样本的情况下模型的表现只稍微提升了一些。我认为，这是因为参考模型是固定的，其对于每个正样本给出的概率也都是固定的，而正样本没有负样本的随机采样过程，所有的样本也是确定的，所以参考模型给出的概率和是恒定的，去掉负样本以后的损失函数就相当于MLE的损失函数再减去一个常数，与MLE是等价的，因此相当于在原来的模型的基础上多进行了一些训练。
只有负样本的情况下模型的表现是大幅下降的（因为没有指定正样本，且负样本是随机抽取的）。

而只有两个样本都参与训练的时候能给模型带来很大的提升。

这里写图片描述
上图测试了CL的泛化能力。“-”表示模型使用MLE训练。可以看到，通过选择更好的模型（AA）作为reference，NT的提升更大。（但是却没有超过AA本身，按理说不是应该比reference模型更好嘛？）

这里写图片描述
另外，还可以通过周期性地以训练好的目标模型作为更好的参考模型，来提升模型的下界。然而在Run 2进行第二次替换的时候提升已经不大，证明没有必要多次替换。

总结

总的来说，本文主要的贡献在于提出了Contrastive Learning的方法，构造损失函数利用了负样本来参与训练，提高模型的Distinctiveness。另外本文提出的self-retrieval实验思路在同类论文里也是挺特别的。