一键生成?从照片生成人脸 3D 模型 #AvatarMe

b584b80faa85548e3b4df53ec90449cb.gif

Mixlab

制作数字人的工具非常多,2D 类制作工具包括 Live2D、Vroid Studio;超写实类制作工具包括 Avatary、MetaHuman Creator 等。

d8fc54178b5ecf62bbf67c5bcf8460da.png

知识库

除了使用设计工具进行数字人制作,也可以使用算法直接生成数字人模型。AvatarCLIP 就是通过输入文本来输出动态数字人模型。

0196a7a8853bfb68cf8f8f8aa2149b0e.png

小杜

AvatarMe 也是可自动生成数字人模型的算法,输入信息可以是任何人脸图片类信息,包括相机拍摄的图片、绘画人像等。

AvatarMe

910afbc6ddd010362fd47e5311ffbd98.png

2bd0278e181794380ca6ebed13fa9362.png

AvatarMe 是一种数字人脸模型重建方法,输入一张包含人脸图像的信息即可生成可实时渲染的逼真写实的 3D 面部

ea6fb4f6b4e14b883e93bc0100676e71.png

小杜

使用该模型用输入图片生成重建数字人脸有三个准备步骤

# 01

人脸输入图像基础信息重建

b20ae08cf34d84f79a01003d884eb69a.png

重建输入图片信息得到可渲染用纹理模型

# 02

提高纹理模型分辨率

6c907436ab954eb4d979e979bdd8da4f.png

纹理被采样8次后使用8倍分辨率增强纹理模型,提高输出模拟的精度

#03

图像转换网络对纹理进行去光处理

37985b2285f06be94213721d71392e7a.png

最后一步使模型获得具有高频细节的漫反射反照率,使面部和头部模型可以在任何环境中逼真地渲染

58b09dd6eaf763955f087cbb1d99a921.png

小杜

完成模型的输出生成后即可开始模型应用

较高精度模型展览

a5283e62b6bdced2a732551341d6ffcd.png

不同种类输入图像的3D数字模型重建

f98bc48d870fd6c5aa3c50d2841c5599.png

4cfc1336d81387b9f3c80ae1b65794d9.png

黑白照片、名人名画、不同背景中的人像都可重建生成。

# 不同光源、场景中的重建头像实时渲染

e2e91e770f4c35924da6bc39ac28054f.png

44da305a65dc87f851a1a2849e28531b.png

76abc2f6057859827da9c59951e02463.png

小杜

该模型使用了高分辨率网格和反射纹理,包括漫反射反照率、镜面反射率、漫反射法线、镜面法线等,可与大多数开源或商业渲染器一起使用,能够实现在各种照明环境中渲染重建的数字头像模型。

图片-数字重建模型-实时场景渲染技术应用面十分广。文物头像&名人画像动态创意元宇宙身份系统技术基础设施等等应用领域都有用武之地。

项目地址:

github.com/lattas/avatarme

论文地址:

arxiv.org/abs/2112.05957

视频地址:

youtube.com/watch?v=fEsgeZPN8Uw

技术解读扩展阅读推荐:

zhangtemplar.github.io/avatarme

bd98836fb610af13fa421902b16b7ba5.png

小杜

关于输入图片类数字人生成还有类似的算法

f4e8bdd80e04dce0da67153932ecb02e.gif

DECA: 基于单张图片进行三维人脸建模

可参考项目资源:

openbayes.com/console/open-tutorials/containers/3vGLMGSXAcY

a1c9e55774f0bee1b1594c2ab2f853cf.png

opus

欢迎加入社群,探索 数字人 的多样玩法~

7f3f858bd0f751fabdde594393d4116c.png

备注:数字人

[ 元宇宙创作者指南 ] 

[ 元宇宙资源清单 ]

github.com/shadowcz007/awesome-metaverse

猜你喜欢

转载自blog.csdn.net/shadowcz007/article/details/124976796
今日推荐