生成对抗网络(GAN)的变体pix2pix思想

1.概述

pix2pix 是对抗生成网络的一种变体,它的结构类似于CGAN,但又有别于CGAN。先来说一下它能做哪些事情,顾名思义就是将一张图片转成另一张图片(千万不要理解成像素变像素啊),或者说将一个场景转换成另一场景。pix2pix 能做的事情有很多,比如说将素描画轮廓转换成图片,将黑夜场景转换成白天场景,自动上色,超分辨率等等。具体的可以在pix2pix的在线演示体验。下面列几个应用例子。
在这里插入图片描述
在这里插入图片描述
也可以按照自己的意愿直接画图,然后生成图片,先点击图片中的clear, 然后自己画图, 点击process 稍等片刻就能生成对应得实物图。

2.理解pix2pix

还是通过该模型的两个输入网络来直观理解pix2pix.
pix2pix 同样是由两个网路组成,生成网络G, 判别网络D, 假设我们现在要将A类型的图片转换成B类型的图片,两个网络的输入输出分别是:
G: 输入图片a(A类型), 输出生成的图片G(a)
D: 输入图片b, 和一个A类型的图片a, 在a和b项对应得条件下,判断b图片是否是真正的B类型的图片。
要记着D的最终目的就是判断生成的图片是否是B类型的图片(前提是a, b是对应着的,比如画一个男生的素描轮廓(a), 得到一个男生的实物图(B),这就是对应的含义)。
下面是pix2pix 结构图。
在这里插入图片描述
先写这么多,希望大家能对pix2pix有个直观的理解,具体的细节请参考原论文

猜你喜欢

转载自blog.csdn.net/qq_41559533/article/details/83862201