An Empirical Study of Recent Face Alignment Methods

内容说明：本博客内容主要是对一篇关于人脸对齐方法的综述性论文《 An Empirical Study of Recent Face Alignment Methods 》的简要概括，刚接触这方面内容，如有错误之处，还望各位不吝指教，如有疑问之处，欢迎一起探讨。

论文链接：An Empirical Study of Recent Face Alignment Methods （详细内容请阅读英文原文）

一、简单介绍

近些年有很多新的人脸对齐的方法被提出来，而且在标准数据集（如,300W)上表现出良好的性能，但是这些方法之间存在一些差异，主要表现为：（1）实验设置不一样；（2）评估指标不一样；（3）缺少细节介绍，使得评估相关指标更加困难。所以，本文主要做出如下贡献：（1）提出一个针对整个测试图片集的评估指标；（2）扩展了300W数据集；（3）做了人脸对齐方法的灵敏度分析；（4）研究两个重要的影响因素并提出实际建议。

二、人脸对齐方法概述

论文作者主要根据是否针对单个的检测点（individual landmark）使用检测器，将其分为三种方法：（1）基于局部的方法（local-based methods）；（2）基于整体的方法（holistic-based methods）；（3）混合方法（hybird methods）。论文中主要介绍了前两种。

2.1 基于局部的方法（local-based methods）

这里作者又分为两个小的类，一个是Local Expert ，一个是Shape Model 。前者重在描述每个landmark周围的“模样”，后者重在描述人脸形状的变化。详细算法请查阅英文原文的参考文献。

Local Expert 主要有三类：

（1）基于分类的方法（classification-based），如SVMs，SIFT，DRMP等；

（2）基于回归的方法（regression-based），如SVRs，CCNF等；

（3）基于投票的方法（voting-based），如基于回归森林的投票等；

Shape Model 典型的有局部约束模型（CLM），其他的有RANSAC，GNDPM等。

基于局部的方法的主要缺点：

（1）计算量大，尤其是当landmarks很多的时候；

（2）很难平衡局部响应（local responses）和全局约束（global constraints）。

2.2 基于整体的方法（holistic-based methods）

基于整体的部分方法如下，详细算法请查阅英文原文的参考文献。

大多数基于整体的方法采用级联方式（cascaded way）和由精到细模式（coarse-to-fine fashion）。

级联方式：和经典的AAM算法类似，这种方法一般是将landmarks的坐标串起来描述人脸形状。

由精到细模式： 下图为原文的第16个参考文献的一个程序步骤，可以说明此问题。

给定一个图像I和初始形状S0，通过不断迭代来估计第T次的形状ST，迭代过程如下：

（1）根据原始图像I和前一个估计图像的图像提取当前特征；

（2）根据特征计算出形变量；

（3）将形变量加上上一个形状估计得到当前形状估计。

大多数基于整体的方法都有着上述的框架结构，他们之间主要的区别有如下三点：（TABLE 2 有详细给出）

（1）初始化方法（initialization）: 主要有random，mean shape ，supervised 三种；

（2）采用的特征（features）：像素pixel，SIFT特征，HOG特征，auto-encoder，LBF等；

（3）回归量（regressor）：随机蕨（random ferns），随机树（random tree），线性回归（linear）等。

2.3 混合方法（hybird methods）

几种混合方法，如基于遮挡检测的方法（occlusion detection based methods），weakly supervised method 等。

三、数据准备及评估指标

扩展了300W标准数据集以及提出了一个针对整体测试集的评估指标。

3.1 300W数据集的扩展

300W数据集包括有AFW，LFPW，HELEN以及IBUG，总共有3148个训练样本和689个测试样本。原始的ground truth 的人脸边框有两种，一种是the tight bounding box ，一种是由mixture trees model （慢且不高效）检测出来的。作者分别通过Viola-Jones（From MATLAB），HeadHunter和HOG+SVM（From Dlib）以及IBUG。同时提出一个深度卷积网络（ConvNet）方法来检测上面几个检测器漏检的人脸。

3.2 评估指标AUC

说明：（左侧为累积误差分布（CED）曲线，右侧人脸蓝色点为真实位置，白色点为估计位置）

归一化误差ex是指估计位置与真实位置的距离除以两眼真实距离。

CED曲线横轴表示归一化误差值e，纵轴表示小于归一化e的landmarks占所有landmarks的比例。如：横坐标

e=0.10时表示所有归一化误差小于0.10的landmarks占整体landmarks的比例。而AUC是对e取积分，积分上限可根据需要自己设定。这是个极好的评估标准，克服了取平均值的方法中由于极少数误差太大造成的评估不好的情况。

四、实验

主要利用上面的AUC指标分析比较。我这里直接贴实验结果图，并作简单描述相关结论，详细情况请看原文。

4.1 现成（off-the-shelf）的方法的比较

这里列出11种方法，其中 GNDPM，DRMF，CCNF为local-based的方法，其余的为holistic-based方法。值得注意的是：

（1）这里的PCPR和LBF的代码不是从作者那里获得的，其他的都是从作者那里获得的；

（2）这里各个算法的实现语言是不一样的，个人认为很大程度上是不可比较的。

每种方法的最佳边框、landmarks数、训练集、性能如下表格所示。特别提醒，2014年出来的LBP算法是很火的一种算法，速度可达3000FPS，这里可能由于实现语言是MATLAB，所以和LBF原作者的结果相差甚远。

上述11种算法的AUC等指标结果如下：

实验结果：

（1）对比(a)和(b)，可知TREES，CFAN等性能较好，DRMF性能较差；

（2）由(c)可知CFAN的平均误差比PCPR，CFSS等都大，但是AUC指标CFAN较好；再对比(c)和(d)，去掉最大

错误的5个样本（不足1%）后，平均错误下降了0.73，比原本CFAN和PCPR之间0.55的差异还大，说明用

平均值的指标来衡量人脸对齐的性能不及AUC这一指标的好。

4.2 现成（off-the-shelf）方法的灵敏度分析

4.2.1 人脸中心的偏移（face centre shifts）

实验方法：以红色的VJ检测到的人脸框为标准，以其框中心为中心，然后分别在半径为[0.01:0.02:0.21]共十个半径上分别随机选取10个点，然后把以该点为中心的框作为人脸检测到的框，取10次的均值作为对应半径上的AUC指标。对比结果如下。

实验结果：TREES和PCPR等对人脸边框中心的偏移不敏感，而DRMF和GNDPM对人脸框中心的偏移非常敏感。

4.2.2 人脸框大小的改变（face scale changes）

实验方法：红色框为标准框，分别取该标准框尺寸的[0.8:0.05:1.20]实验，计算AUC指标，对比结果如下。

实验结果：TREES等对人脸框大小变化的鲁棒性要好，而DRMF等较差。

4.2.3 人脸检测器的变化（real face detection shifts）

实验方法：分别使用4种不同的人脸检测器检测人脸，分析对应的人脸对齐的AUC指标。对比结果如下。

实验结果：只能说明不同的方法的最佳人脸框不太一样。而且他们的最佳框不一定是真实的框IBUG。

4.3 重新训练（off-the-shelf）的方法的灵敏度分析

实验方法：作者这里选用了其中较好的4种方法，统一他们的实验训练集为300W++，以及人脸检测器为HOG+SCM方法。对比结果如下。

实验结果：结果分析方法同上。

4.4 重要的影响因素（important factors）

实验方法：作者在这里对比了ESR和TREES，分别对初始条件（initialization）和级联数（cascade level）进行分析。结果如下。