Accurate 3D Face Reconstruction with Weakly-Supervised Learning

待预测的未知数可以用向量x = (α, β,δ, γ, p) ∈ R 239 来表示。在本文中,我们使

用 ResNet-50 网络 [22] 通过将最后一个全连接层修改为 239 个神经元来回归这些系数。

为简洁起见,我们将这种用于单幅图像重建的改进 ResNet50 网络表示为 R-Net

 

 

LOSS:

Robust Photometric Loss:

图像级损失函数,即光度损失。光度损失是指用网络预测的 3D 人脸渲染出一个合成图像,然后计算它和输入图像之间的像素差异。这个损失函数可以让网络学习到如何使合成图像和输入图像尽可能相似,从而提高重建的质量。然而,直接使用像素差异作为损失函数可能会导致一些问题,比如过拟合、模糊、不稳定等。为了解决这些问题,这一节提出了一种鲁棒的光度损失函数,它有两个特点:1) 它使用了一个 Huber 损失函数,而不是一个 L2 损失函数,来衡量像素差异。Huber 损失函数是一种平滑的绝对值函数,它对于较小的误差使用平方项,对于较大的误差使用线性项。这样可以减少对异常值的敏感性,提高鲁棒性。2) 它使用了一个肤色掩码,来给不同区域的像素分配不同的权重。肤色掩码是一个二值图像,它表示了输入图像中哪些区域是人脸肤色,哪些区域不是。这样可以让网络更关注人脸区域,从而抵抗遮挡和其他外观变化的影响。 

 Landmark Loss:

Perception-Level Loss: 

 

  

 

 Regularization:

 

猜你喜欢

转载自blog.csdn.net/u010087338/article/details/131034684
今日推荐