[论文翻译] Unpaired Image-to-Image Translation using Adversarial Consistency Loss

[论文地址] [代码] [ECCV 20]

只翻译方法部分

Method

我们的目标是将图像从一个域翻译到另一个域，并支持多样化和多模态的输出。令$X_S$ 和$X_T$ 为源域和目标域，$X$为$X_S$ 和$X_T$的并集(即$X=X_S\cup X_T$)，$x\in X$为单张图像，$x_S\in X_S$和$x_T\in X_T$为不同域的图像。我们定义$p_X$，$p_S$和$p_T$为$X$，$S$和$T$的分布情况。$p(a,b)$用于$(a,b)$的联合分布，其中$a$和$b$可以是图像或噪声向量。设$Z$为噪声向量空间，$z\in Z$为噪声向量，$z\sim \mathcal{N}(0,1)$。

我们的方法有两个生成器。$G_S:(x,z)\to x_S$和$G_T:(x,z)\to x_T$分别将图像转换为域$X_S$和$X_T$。与[10]类似，每个生成器包含一个噪声编码器、一个图像编码器和一个解码器，其中噪声编码器仅用于计算一致损失(identity loss)。生成器接收输入对(图像，噪声向量)，其中图像来自$X$。详细地说，图像编码器接收从$X$采样的图像。从噪声编码器得到的噪声向量$z$只用于一致损失，而对于其他损失，噪声向量$z$是从标准正态分布$\mathcal{N}(0,1)$中随机采样的。噪声向量$z$和图像编码器的输出被转发给解码器，解码器的输出是翻译后的图像。

此外，有两种判别器$D_S/D_T$和$\hat{D}$。$\hat{D}$是一个一致性判别器。它的目标是确保源图像和翻译图像之间的一致性，这也是我们方法的核心。$D_S$和$D_T$的目标是在某一领域区分真实和虚假的图像。具体来说，$D_S$的任务是区分$X_S$和$G_S(X)$，而$D_T$的任务是区分$X_T$和$G_T(X)$。

ACL-GAN的目标有三个部分。第一，对抗性翻译损失，将生成的图像分布与目标域的数据分布相匹配。第二，对抗性一致性损失，在翻译后的图像中保留源图像的重要特征，也就是说，它导致域之间的合理映射。第三种，一致损失和bounded focus mask，可以进一步帮助提高图像质量并保持图像的背景。流程如图2所示，下面介绍我们方法的细节。

Adversarial-Translation Loss

对于域之间的图像翻译，我们利用经典的对抗性损失，在我们的方法中称为对抗性翻译损失，用于生成器$G_S$和$G_T$，以及判别器$D_S$和$D_T$。对于生成器$G_T$及其判别器$D_T$，对抗性翻译损失如下： L a d v T ( G T , D T , X S , X T ) = E x T ∼ p T [ log ⁡ D T ( x T ) ] + E x ˉ T ∼ p { x ˉ T } [ log ⁡ ( 1 − D T ( x ˉ T ) ) ] \begin{aligned} \mathscr{L}_{a d v}^{T}\left(G_{T}, D_{T}, X_{S}, X_{T}\right) &=\mathbb{E}_{x_{T} \sim p_{T}}\left[\log D_{T}\left(x_{T}\right)\right] \\ &+\mathbb{E}_{\bar{x}_{T} \sim p_{\left\{\bar{x}_{T}\right\}}}\left[\log \left(1-D_{T}\left(\bar{x}_{T}\right)\right)\right] \end{aligned} LadvT​(GT​,DT​,XS​,XT​)​=ExT​∼pT​​[logDT​(xT​)]+ExˉT​∼p{ xˉT​}​​[log(1−DT​(xˉT​))]​ 其中${\bar{x}}_T=G_T\left(x_S,z_1\right)$，$z_1\sim \mathcal{N}(0,1)$。目标为${\min }_{G_T}{\max }_{D_T}{\mathcal{L}}_{adv}^T\left(G_T,D_T,X_S,X_T\right)$。

判别器$D_S$用于区分域$X_S$的真实图像和由$G_S$生成的翻译图像。生成器$G_S$试图生成的图像${\hat{x}}_S$和${\tilde{x}}_S$，这些图像看起来与来自域$X_S$的图像相似。因此，损失函数被定义为： L a d v S ( G S , D S , { x ˉ T } , X S ) = E x S ∼ p S [ log ⁡ D S ( x S ) ] + E x ~ S ∼ p { x ~ S } [ log ⁡ ( 1 − D S ( x ~ S ) ) ] ) / 2 \begin{aligned} &\mathscr{L}_{a d v}^{S}\left(G_{S}, D_{S},\left\{\bar{x}_{T}\right\}, X_{S}\right)=\mathbb{E}_{x_{S} \sim p_{S}}\left[\log D_{S}\left(x_{S}\right)\right]\\ &\left.+\mathbb{E}_{\tilde{x}_{S} \sim p_{\left\{\tilde{x}_{S}\right\}}}\left[\log \left(1-D_{S}\left(\tilde{x}_{S}\right)\right)\right]\right) / 2 \end{aligned} ​LadvS​(GS​,DS​,{ xˉT​},XS​)=ExS​∼pS​​[logDS​(xS​)]+Ex~S​∼p{ x~S​}​​[log(1−DS​(x~S​))])/2​ 其中${\hat{x}}_S=G_S\left({\bar{x}}_T,z_2\right)$，${\tilde{x}}_S=G_S\left(x_S,z_3\right)$，$z_2,z_3\sim \mathcal{N}(0,1)$，目标为 min ⁡ G S max ⁡ D S L a d v S ( G S , D S , { x ˉ T } , X S ) \min _{G_{S}} \max _{D_{S}} \mathscr{L}_{a d v}^{S}\left(G_{S}, D_{S},\left\{\bar{x}_{T}\right\}, X_{S}\right) minGS​​maxDS​​LadvS​(GS​,DS​,{ xˉT​},XS​)。最终，对抗翻译损失可以定义为： L a d v = L a d v T ( G T , D T , X S , X T ) + L a d v S ( G S , D S , { x ˉ T } , X S ) \mathscr{L}_{a d v}=\mathscr{L}_{a d v}^{T}\left(G_{T}, D_{T}, X_{S}, X_{T}\right)+\mathscr{L}_{a d v}^{S}\left(G_{S}, D_{S},\left\{\bar{x}_{T}\right\}, X_{S}\right) Ladv​=LadvT​(GT​,DT​,XS​,XT​)+LadvS​(GS​,DS​,{ xˉT​},XS​)

---

Adversarial-Consistency Loss

上述的${\mathcal{L}}_{adv}$损失可以促使翻译后的图像${\bar{x}}_T$在正确的域$X_T$。然而，这种损失不能促使翻译的图像${\bar{x}}_T$与源图像$x_S$相似。例如，当把男性翻译成女性时，女性的面部特征可能与男性的面部特征没有关系。为了在翻译后的图像中保留源图像的重要特征，我们提出了对抗性一致性损失，这是由一个一致性判别器$\hat{D}$实现的。如图3所示，一致性判别器促使生成器最小化图像${\tilde{x}}_S$和${\hat{x}}_S$之间的距离。$\hat{D}$的"真"和"假"图像可以互换而不影响性能。然而，让$\hat{D}$只区分${\hat{x}}_S$和${\tilde{x}}_S$并不能满足我们的需要，因为翻译的图像${\hat{x}}_S$和${\tilde{x}}_S$只需要属于域$X_S$；它们并不要求接近特定的源图像。因此，一致性判别器$\hat{D}$使用$x_S$作为参考，并采用成对的图像作为输入，让生成器最小化$(x_S,{\hat{x}}_S)$和$(x_S,{\tilde{x}}_S)$的联合分布之间的距离。这样，一致性判别器$\hat{D}$鼓励翻译回来的图像，${\hat{x}}_S$，包含源图像$x_S$的特征。由于${\hat{x}}_S$是由${\bar{x}}_T$生成的，这可以鼓励翻译的图像${\bar{x}}_T$保留源图像$x_S$的特征。

输入的噪声向量$z$可以实现多模态输出，这对我们的方法来说是至关重要的。如果没有多模态输出，给定一个特定的输入图像$x_S$，${\tilde{x}}_S$只能有一种情况。因此，将$(x_S,{\hat{x}}_S)$和$(x_S,{\tilde{x}}_S)$映射在一起，几乎等同于要求${\hat{x}}_S$和$x_S$完全相同。这种强烈的约束类似于循环一致的损失，其缺点之前已经讨论过了。对于多模态输出，给定一个特定的图像$x_S$，${\tilde{x}}_S$可以有许多可能的情况。因此，一致性判别器$\hat{D}$可以专注于特征层面，而不是像素层面。也就是说，${\hat{x}}_S$不一定要与特定的图像$x_S$相同。例如，当把戴眼镜的脸翻译成不戴眼镜的脸时，${\tilde{x}}_S$和${\hat{x}}_S$可以是戴不同眼镜的脸，例如图2中$x_S$、${\tilde{x}}_S$和${\hat{x}}_S$的眼镜颜色和框架不同。因此，${\bar{x}}_T$不需要冒着增加${\mathcal{L}}_{adv}^T$的风险来保留任何眼镜的痕迹，此时${\mathcal{L}}_{acl}$仍然可以很小。

最终的对抗一致性损失如下所示： L a c l = E ( x S , x ^ S ) ∼ p ( X S , { x ^ S } ) [ log ⁡ D ^ ( x S , x ^ S ) ] + E ( x S , x ~ S ) ∼ p ( X S , { x ~ S } ) [ log ⁡ ( 1 − D ^ ( x S , x ~ S ) ) ] \mathscr{L}_{a c l}=\mathbb{E}_{\left(x_{S}, \hat{x}_{S}\right) \sim p_{\left(X_{S},\left\{\hat{x}_{S}\right\}\right)}}\left[\log \hat{D}\left(x_{S}, \hat{x}_{S}\right)\right] +\mathbb{E}_{\left(x_{S}, \tilde{x}_{S}\right) \sim p_{\left(X_{S},\left\{\tilde{x}_{S}\right\}\right)}}\left[\log \left(1-\hat{D}\left(x_{S}, \tilde{x}_{S}\right)\right)\right] Lacl​=E(xS​,x^S​)∼p(XS​,{ x^S​})​​[logD^(xS​,x^S​)]+E(xS​,x~S​)∼p(XS​,{ x~S​})​​[log(1−D^(xS​,x~S​))] 其中$x_S\in X_S$，${\bar{x}}_T=G_T{\left(x_S,z_1\right)}_1$， ${\hat{x}}_S=G_S\left({\bar{x}}_T,z_2\right)$，${\tilde{x}}_S=G_S\left(x_S,z_3\right)$。

---

Other Losses

Identity Loss 当目标域的图像被输入生成器时，我们进一步应用一致损失来鼓励生成器成为近似的一致映射。一致损失可以进一步鼓励特征保留，提高翻译图像的质量，稳定训练过程，避免模式崩溃，因为生成器被要求能够合成数据集中的所有图像。此外，源图像$x_S$和重建图像$x_S^{idt}$之间的一致损失可以保证$x_S$在${\tilde{x}}_S$的分布之内，如图3所示。

我们构建了两个噪声编码器网络，$E_S^z:X_S\to Z$和$E_T^z:X_T\to Z$，分别用于$G_S$和$G_T$，它们将图像与噪声向量进行映射。一致性损失可以被形式化为：$${\mathcal{L}}_{idt}={\mathbb{E}}_{x_S\sim p_S}\left[{\Vert x_S-x_S^{idt}\Vert }_1\right]+{\mathbb{E}}_{x_T\sim p_T}\left[{\Vert x_T-x_T^{idt}\Vert |}_1\right]$$ 其中$x_S^{idt}=G_S\left(x_S,E_S^z\left(x_S\right)\right)$，$x_T^{idt}=G_T\left(x_T,E_T^z\left(x_T\right)\right)$。

Bounded Focus Mask 有些应用要求生成器只修改源图像的某些区域，其余部分保持不变。我们让生成器产生四个通道，其中前三个是RGB图像的通道，第四个被称为bounded focus mask，其值在0和1之间。 翻译后的图像$x_T$可以通过公式得到：$x_T=x{\prime }_T\odot x_m+x_S\odot \left(1-x_m\right)$，其中，$\odot$是元素相乘，$x_S$是源图像，$x{\prime }_T$是生成器的前三个输出通道，$x_m$是bounded focus mask。我们为生成器添加了以下约束，这是我们的贡献之一：$$\begin{array}{rl}{\mathcal{L}}_{\text{mask }}& =\delta [{\left(\max \left\{\sum _k{x}_m[k]-{\delta }_{\max }\times W,0\right\}\right)}^2\\ & +{\left(\max \left\{{\delta }_{\min }\times W-\sum _k{x}_m[k],0\right\}\right)}^2]\\ & +\sum _k\frac{1}{\left|x_m[k]-0.5\right|+ϵ}\end{array}$$ 其中$\delta$、${\delta }_{max}$和${\delta }_{min}$是控制mask大小的超参数，$x_m[k]$是mask的第k个像素，W是图像的像素数。$ϵ$是一个边缘值，以避免除以零。这个损失的第一项将mask的大小限制在一个合适的范围内。它鼓励生成器做出足够的改变并保持背景，其中${\delta }_{max}$和${\delta }_{min}$是mask中前景的最大和最小比例。最小比例对我们的方法至关重要，因为它可以避免${\tilde{x}}_S$在不同的噪声向量下与$x_S$相同。该损失的最后一项鼓励mask值为0或1，将图像分割成前景和背景。最后，这个损失被图像的大小标准化。

---

Implementation Details

Full Objective 我们的总损失如下：$${\mathcal{L}}_{total}={\mathcal{L}}_{adv}+{\lambda }_{acl}{\mathcal{L}}_{acl}+{\lambda }_{idt}{\mathcal{L}}_{idt}+{\lambda }_{\text{mask }}{\mathcal{L}}_{\text{mask }}$$ 其中${\lambda }_{acl}$，${\lambda }_{idt}$，${\lambda }_{mask}$都是控制不同损失权重的尺度值。在第4.2节中，我们将提出的方法与完整目标函数的消融进行了比较，以表明提出的方法的重要性。

Network Architecture 对于生成器和判别器，我们遵循[10]中的设计。具体来说，一个生成器由两个编码器和一个解码器组成。除了图像编码器和解码器共同构成一个自动编码器架构外，我们的模型还采用了噪声编码器，其架构与[10]中的风格编码器相似。同时，我们的判别器采用了多尺度技术来提高合成图像的视觉质量。

Training Details 我们对${\mathcal{L}}_{adv}$(公式3)和${\mathcal{L}}_{acl}$(公式4)采用最小平方损失(least-square loss)。与[8]相比，这种损失带来更稳定的训练过程和更好的结果。在所有的实验中，我们使用Adam优化器，${\beta }_1=0.5$，${\beta }_2=0.999$。所有的模型都以0.0001的学习率进行训练，每100K次迭代后学习率下降0.5倍。我们对所有模型进行了350K次迭代训练。判别器更新两次，而生成器更新一次。在训练中，我们设定$\delta =0.001$，$ϵ=0.01$，${\lambda }_{idt}=1$；${\lambda }_{acl}$，${\lambda }_{mask}$，${\delta }_{min}$和${\delta }_{max}$的值根据不同的应用而设定：对于眼镜移除任务，${\lambda }_{acl}=0.2$，${\lambda }_{mask}=0.025$，${\delta }_{min}=0.05$，${\delta }_{max}=0.1$；在男女转换中${\lambda }_{acl}=0.2$，${\lambda }_{mask}=0.025$，${\delta }_{min}=0.3$，${\delta }_{max}=0.5$；在自拍到动漫的翻译中${\lambda }_{acl}=0.5$，${\lambda }_{mask}={\delta }_{min}={\delta }_{max}=0$。为了公平比较，我们遵循CouncilGAN中描述的相同数据增强方法。