Unsupervised Image-to-Image Translation Networks---VAE+GAN+Cycle

版权声明：要转随便转，如果能加上原文的链接就感谢各位了。( ⊙ o ⊙ ) https://blog.csdn.net/Hungryof/article/details/78714613

总说

这篇论文是基于CoGAN的，下面是总体结构图：

文章假设来自两个不同domain的同种语义的图片具有相同的latent vector。比如白天的上海滩与黑夜的上海滩，都是上海滩（高层语义一致，即latent vector一致），而这种语义特征再经过解码成具体的表现形式（底层网络用于语义的具体表现形式）。
因此网络设计如下：
$E_1$和$E_2$的高层网络进行共享（具有相同的语义），得到相同的语义表达$z$之后，再进行解码。解码也最开始也要进行共享，一论文中的一个例子是，如果$z$表示一种场景，比如前方车后方树。这种场景在不同的domain中呈现不同的表达效果。$G_1$和$G_2$最开始几层权值共享，表示$z$被赋予更多的信息：可能树和车的具体内容。但是对于不同domain，比如rainy或是sunny的情况下，树的颜色会不同，车的颜色以及一些具体的细节也会不同。

框架

总的loss：VAE+GAN+Cycle

VAE loss

后面的一项是NNL loss，这里用高斯分布来建模$p_{G_1}$和$p_{G_2}$，只有这种情况下，NNL loss才是等价与图像与重建图像的绝对距离。
$z_1$的采样$z_1\sim q_1(z_1|x_1)$是通过$z_1=E_{\mu,1}(x_1)+\eta$, 其中$\eta\sim N(\eta|0,I)$.

GAN loss

Cycle loss

效果

感兴趣自己看论文吧：Unsupervised Image-to-Image Translation Networks