作者简介：Tiger，云从研究院人脸识别团队成员，主攻图像重建和特征定位
基于多角度的人脸3D重建算法研究
一、 研究背景
人脸识别算法是模式识别和计算机视觉领域一个重要的研究内容。虽然近年来，人脸识别取得了长足的进步，但是仍受到一些因素的制约，如人脸角度、光照条件和表情的不同变化等。减少这些因素对人脸识别准确率的影响，需要不同的算法研究作为支撑。这里，我们主要研究的是基于不同角度的人脸识别算法。
目前已有很多方法试图解决这一问题。Chan[1]采用了一种局部线性回归（Locally linear Regression）的方法，将非正面人脸转换为虚拟的正面人脸。Berg[2]通过一种叫做“身份保留”（Identity-Preserving）的对齐方法，将不同角度和表情的人脸变化至正面人脸。Hu[3]将一张2D人脸图像重建为3D人脸模型，通过3D模型的变化，生成更多的人脸数据库进行训练，从而提高人脸识别的准确率。Asthana[4]提出了一种3D角度归一化模型，用于改进角度适中的人脸识别率。
这些方法在实验室数据中都取得了一定的成效，但是对于实际情况下光照和角度更为复杂的人脸图片，识别性能却不尽如人意。我们提出了一种更加稳定和准确的基于不同角度的人脸3D重建算法，用于提高各种角度的人脸图片的识别准确率。首先，我们引入了更为鲁棒的人脸关键点算法和角度估计模型，为人脸重建工
作提供较好的初始化参数；再次，我们在传统人脸3D重建的基础上，提出了动态提取特征的方法用于提取不同角度下的人脸特征。算法流程图如图1所示。
图1 基于不同角度的人脸3D重建算法流程图
二、 算法内容介绍
1． 算法的预处理和初始化
在建立人脸的3D模型之前，我们首先进行关键点检测和角度估计。
对一张输入图片，在检测出其中的人脸后，我们采用了一种树型模型的关键点检测点算法[5]来检测人脸的关键点信息。我们采用的训练数据为角度和光照较为复杂的人脸图片（多为网络图片），所以我们的关键点检测算法对于这些条件较为复杂的图片，均能取得较为准确的关键点信息。在关键点检测过程之后，我们能够得到人脸的68个关键点的位置信息。
我们通过提取一种分层高斯[6]（HG）的特征，来对不同角度的人脸进行分类。我们同样采用了角度和光照均比实验室复杂的人脸图片作为训练数据，从而训练得到更为鲁棒的角度估计模型。
通过关键点检测和角度估计，我们能够为3D人脸重建提供一个较好的初始化参数模型，避免由于错误的初始化影响后续处理的结果。
2． 人脸3D重建
3．
将3D人脸的位置信息记为一个向量：
其中
是
个结点中第
个的坐标信息。一个新的3D人脸形状模型可以看作是一个平均形状模型和主成分的线性组合。这样新的形状模型可以表示为：
其中
表示平均形状，
为形状向量的因子系数向量，
为形状信息前
个主成分向量组成的矩阵。
在上一步初始化的过程中，我们得到了
个关键点的2D位置信息，我们根据这些位置信息与平均3D模型的对应关系，来重新构建新的人脸3D模型。定义2D形状向量
，新的2D形状模型表示为：
其中 为
的
和
轴部分，这里的
与求取3D模型时系数向量
完全相同。通过2D模型与人脸的关键点信息的对应关系，我们可以计算得到系数向量
，从而推广至3D模型计算公式中。具体细节详见[3]。
上述的形状模型重建是基于正面人脸图像，当处理其它角度的人脸时，我们首先将3D形状模型
以估计的人脸角度旋转，然后再映射至 ：
其中 为映射矩阵，
为角度旋转矩阵，这样可以得到新的重建公式：
我们注意到 ,
,
均为旋转后的向量，而系数向量 保持不变。
在形状模型重建后，我们将2D图像的纹理信息映射至3D模型中，并通过线性插值等方式补全所有结点及结点间的纹理，从而完成纹理信息的重建[3]。这时的3D模型为旋转后的模型，需将它按照相反的角度再旋转至正面视角，从而得到重建后的正面人脸，如图2所示。
图2 Multipie数据库不同角度重建后的正面人脸，其中第一行为侧面人脸，第二行为重建后的正面人脸，第三行为真实的正面人脸
4． 动态特征提取
虽然上述的人脸3D重建系统可以处理大部分的非正面人脸，但是在少数光照和角度较为极端的情况下，仍然出会现重建错误的情况，特别是由于角度较大导致较多人脸信息不可见的情况。这时通过插值的方法，得到的纹理信息并不准确，反而影响了最终的人脸识别率。在特征提取中，我们根据不同的人脸角度，动态地降低这些纹理部分的权值，从而减少这些错误重建信息对人脸识别的干扰。
我们将人脸区域在垂直方向切为
个块，对于每个块
，分别有一个相应地特征权值
(
)。对于偏航角（yaw angle） 的人脸，我们这样设置权值：
其中
与
为正比关系，
可由训练优化得到。当
时，
动态特征提取参数的选取示例见图3。对于俯仰角（pitch angle），原理与以上过程类似。
图3 偏航角yaw angle 分别为 -30°和30°下的动态特征选取示例
5． 人脸识别结果
我们分别在Multi-PIE和采集的阵列CIGIT数据上进行了实验。其中我们使用了Multi-PIE数据中角度为yaw angle
[-45°，45°]、正常表情、5种光照的8716张图片用于训练和测试。CIGIT数据中，我们采用了俯仰角pitch angle
[0°，10°]，yaw angle
[-45°，45°]，正常表情的12507张图片用于训练和测试。在测试过程中，我们采用了正面人脸图片作为gallery image，其它图片作为probe image。
特征提取方法我们采用了HG的特征提取方法，分类采用了WCCN[7]的方法。我们将未使用和使用人脸3D重建、动态特征提取的两种方法进行了对比，结果如表1所示。更进一步地，我们又在这两个数据库中将未使用和使用了动态特征提取的两种方法进行了对比，结果如图4、5所示。
表1 使用人脸3D重建、动态特征提取方法前后的人脸识别率对比 Mean rate (%)
Method Baseline Ours Multi-PIE 91.5 95.6 CIGIT Face 95.0 96.7
图4 不同方法在不同角度下的人脸识别率的对比（Multi-PIE）
图5不同方法在不同角度下的人脸识别率的对比（CIGIT）
6． 结论
我们提出了一种高效自动的基于不同角度的人脸识别系统，与传统方法相比，我们的工作主要有以下改进：（1）通过引入较为鲁棒的人脸关键点检测方法和角度估计模型，我们对重建工作做了较好的初始化；（2）采用了可对不同角度人脸进行重建的人脸3D模型；（3）为了有效避免人脸3D重建工作中的纹理信息错误，我们提出了动态提取方法来衡量两张对比人脸图片的距离。基于上述工作，我们的人脸识别系统能够很好地提高地不同角度下的人脸识别率。
【参考文献】
1．X. Chai, S. Shan, X. Chen, and W. Gao, \regression for pose-invariant face recognition,\Image Processing (TIP), vol. 16, pp. 1716-1725, 2007.
2. T. Berg and P. N. Belhumeur, \Identity-Preserving Alignment for Face Verification,\the British Machine Vision Conference (BMVC), 2012.
3. Y. Hu, D. Jiang, S. Yan, and L. Zhang, \
reconstruction for face recognition,\Conference on Automatic Face and Gesture Recognition, pp. 843-848, 2004.
4. A. Asthana, T. K. Marks, M. J. Jones, K. H. Tieu, and M. Rohith, \
normalization,\Vision (ICCV), pp. 937-944, 2011.
5. X. Zhu and D. Ramnan, \Landmark Localization in the Wild,\Computer Vision and Pattern Recognition, 2012.
6. X. Zhou, N. Cui, Z. Li, F. Liang, and T. S. Huang, \gaussianization for image classification,\International Conference on Computer Vision, pp. 1971-1977, 2009.
7. X. Zhou, K. Yu, T. Zhang, and T. S. Huang, %using super-vector coding of local image descriptors,\International Conference on Computer Vision: Springer, pp. 141-154, 2010.
云从科技研究院丨人脸3D重建
