ECCV2020# MGCNet#3D人脸重建表现SOTA!通过多视图几何一致性进行单目3D人脸重建

#ECCV2020# MGCNet:通过多视图几何一致性进行单目3D人脸重建

本文针对多视图一致性设计了三个新颖的损失函数,包括像素一致性损失,深度一致性损失和基于人脸关键点的对极损失,在人脸对齐和3D人脸重建方向表现SOTA!性能优于PRN、CMD等网络。

作者单位:香港科技大学&珠峰创新科技

       最近的基于学习的方法(其中通过单视图图像训练模型)已显示出用于单目3D人脸重建的有希望的结果,但是它们遭受ill-posed的人脸姿势和深度模糊性问题的困扰。与之前仅实施2D特征约束的工作相比,我们提出了一种利用多视图几何一致性的自监督训练体系结构,该体系结构提供了对人脸姿势和深度估计的可靠约束。我们首先提出一种遮挡感知视图合成方法,以将多视图几何一致性应用于自监督学习。然后,我们针对多视图一致性设计了三个新颖的损失函数,包括像素一致性损失,深度一致性损失和基于人脸关键点的对极损失。我们的方法准确而稳健,尤其是在表情,姿势和照明条件变化较大的情况下。在人脸对齐和3D人脸重建基准方面的综合实验证明了其优于最新方法的优越性。

《Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency》

代码:https://github.com/jiaxiangshang/MGCNet

论文下载:https://arxiv.org/abs/2007.12494

猜你喜欢

转载自blog.csdn.net/Irwin2020/article/details/107768314