版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/YhL_Leo/article/details/56674833
本系列文章由 @yhl_leo 出品,转载请注明出处。
文章链接: http://blog.csdn.net/yhl_leo/article/details/56674833
本文简单介绍两篇基于CNN进行图像修复的论文,论文以及源码分别为:
- Paper: Context Encoders: Feature Learning by Inpainting, GitHub: pathak22/context-encoder
- Paper: High-Resolution Image Inpainting using Multi-Scale Neural Patch Systhesis, GitHub: leehomyc/High-Res-Neural-Inpainting
两篇论文的网络框架基本一样:
主要思路都是结合Encoder-Decoder 网络结构和 GAN (Generative Adversarial Networks),Encoder-Decoder 阶段用于学习图像特征和生成图像待修补区域对应的预测图,GAN部分用于判断预测图来自训练集和预测集的可能性,当生成的预测图与GroundTruth在图像内容上达到一致,并且GAN的判别器无法判断预测图是否来自训练集或预测集时,就认为网络模型参数达到了最优状态。
因此,网络训练的过程中损失函数都由两部分组成:
- Encoder-decoder 部分的图像内容约束(Reconstruction Loss)
- GAN部分的对抗损失(Adversarial Loss)
其中,两篇论文在Adversarial Loss都是一致的,发表的时间也早于WassersteinGAN,所以并没有在这方面进行改进。所以,两者的主要差异就在Reconstruction Loss。
Context Encoders 采用最简单的整体内容约束,也就是预测图与原图的
详细内容可以阅读原文。
贴出一组对比图:
References: