版权声明:要转随便转,如果能加上原文的链接就感谢各位了。( ⊙ o ⊙ ) https://blog.csdn.net/Hungryof/article/details/78714613
总说
这篇论文是基于CoGAN的,下面是总体结构图:
文章假设来自两个不同domain的同种语义的图片具有相同的latent vector。比如白天的上海滩与黑夜的上海滩,都是上海滩(高层语义一致,即latent vector一致),而这种语义特征再经过解码成具体的表现形式(底层网络用于语义的具体表现形式)。
因此网络设计如下:
E1
和
E2
的高层网络进行共享(具有相同的语义),得到相同的语义表达
z
之后,再进行解码。解码也最开始也要进行共享,一论文中的一个例子是,如果
z
表示一种场景,比如前方车后方树。这种场景在不同的domain中呈现不同的表达效果。
G1
和
G2
最开始几层权值共享,表示
z
被赋予更多的信息:可能树和车的具体内容。但是对于不同domain,比如rainy或是sunny的情况下,树的颜色会不同,车的颜色以及一些具体的细节也会不同。
框架
总的loss:VAE+GAN+Cycle
VAE loss
后面的一项是NNL loss,这里用高斯分布来建模
pG1
和
pG2
,只有这种情况下,NNL loss才是等价与图像与重建图像的绝对距离。
z1
的采样
z1∼q1(z1|x1)
是通过
z1=Eμ,1(x1)+η
, 其中
η∼N(η|0,I)
.
GAN loss
Cycle loss
效果
感兴趣自己看论文吧:Unsupervised Image-to-Image Translation Networks