昨天新出的论文 Pixel-Face: A Large-Scale, High-Resolution Benchmark for 3D Face Reconstruction 介绍了阿里巴巴、香港中文大学、中科院推出的大型人脸三维重建数据集Pixel-Face。
作者 | Zhang Yunxuan, Rong Yu, Liu Ziwei, Cheng Cheng
单位 | 阿里巴巴；港中文；中科院
Pixel-Face 数据集中的3D样例：
三维人脸重建是一项计算机视觉基本任务，可以促进众多应用，如鲁棒的面部分析和增强现实等
但现有的相关的三维人脸数据集存在诸多限制：
1、高质量数据集较少
2、数量较少
3、真实性不足
4、多样性不足
于是作者们推出了 Pixel-Face，一个大规模、高分辨率和多样化的 3D 人脸数据集，含有丰富的标注。
下图展示了数据集的部分属性：
数据集中样本性别、年龄、表情等相对均衡且多样。
具体来说，Pixel-Face 包含 855名 年龄从 18 岁到 80 岁的个体。每个个体均有 20 多个具有各种表情的样本。每个样本由高分辨率多视角 RGB 图像和具有各种表情的 3D 网格组成。训练集含655个体，测试集含200个体。
下图展示了数据采集的过程：
包括多视图扫描、人脸特征点标注、纹理映射、多视图融合、表面网格生成和深度信息生成等流程。
数据集收集了精确的人脸关键点标注和每个数据的 3D 配准结果。为了证明Pixel-Face的优势，利用收集到的数据将3D Morphable Model（3DMM）重新参数化为Pixel-3DM。
验证结果表明 Pixel-3DM 在对各种人脸形状和表情建模时效果更好。
另外使用该数据集作为训练源在 3D 人脸重建方法进行了基准测试，结果证明Pixel-Face是有效的训练源。微调后，现有的人脸重建模型的性能在已有的基准测试和 Pixel-Face 上都能获得显著性能提高。
大量的实验证明了 Pixel-3DM 的有效性和 Pixel-Face 的实用性。