Background Matting: The World is Your Green Screen,来啊,一起来抠图呀

CVPR2020评价颇高的一抠图算法,非常适用于static background的相关领域,可用高细粒度的前景提取,以及背景替换(可用于小样本数据增强),目前github开源已经三千多星

论文地址:https://arxiv.org/abs/2004.00626

代码:https://github.com/senguptaumd/Background-Matting

上算法原理前,需要介绍,抠图物理模型是基于

I = αF + (1 − α)B , 很好理解, I是原图,F是前景,B是背景,alpha可以理解为前景heatmap

算法主体思路包括两部分,上图:

第一部分,前景抠图网络:输入包括四部分,原图I,背景B,分割结果S,前后帧灰度图M,经过encoding后,将B,S,M采样结果分别与I采样结果concat,之后经过一步卷积,融合所有信息前向并上采样得到输出,alpha以及foreground

作者实验后发现,单纯使用Adobe数据集训练的网络在变换场景后,抠图效果不理想,故级联了第二步工作,级联GAN,GAN的部分初始化了新的抠图网络Greal,同时需要使用第一步训练得到的网络Gadobe,利用Gadobe作为教师网络并结合判别器(Discriminator)的loss训练Greal,最后,每五个iteration,更新一次判别器参数

猜你喜欢

转载自blog.csdn.net/dl643053/article/details/107284895