人脸识别中多种特征融合技术的研究文献综述

文献综述

由于在多种领域的广泛应用，人脸识别技术在过去数十年里获得了巨大关注。来自不同领域的专家，比如心理学、计算机学等都对人脸识别进行了大量研究。人类可以很轻易得识别人脸，但如何让计算机高正确率地识别人脸，确是一件较为困难的事情。过去几十年的研究诞生了很多相应的研究方法，例如基于图像的人脸识别、基于模型的二维、三维人脸识别、主成分分析法（PCA）[1]等。这些方法使得人脸识别的准确率有了很大的提高。但对于光照、姿态、表情等因素的鲁棒性不太好，当人带上墨镜、帽子等修饰物时，准确率又会进一步下降，因而仍存在不小的改进空间。如今，神经网络已经深入到各个领域，在人脸识别上使用BP或者RBF神经网络也取得了不错的效果，目前的另一个趋势是在三维下进行人脸识别[2]，利用脸部的三维表达可以比较有效地提高性能。

人脸识别经典方法介绍：

1、二维PCA

PCA是一种广泛应用于模式识别和计算机视觉领域的经典特征提取和数据表示方法。Sirovich和Kirby[3],[4]首先把PCA应用于人脸的高效表示。他们宣称任何人脸图像都可以由定义为人脸基的一小部分图像加上人脸平均图像的加权和基本重构。在此背景下，Turk和Pentland[5]在1991年将著名的特征脸方法用于人脸识别。自此以后，PCA被广泛研究，其已经成为在人脸识别方面最成功的几种方法之一[6],[7],[8],[9]。在基于PCA的人脸识别技术中，二维人脸图像必须事先转换为一维向量。这样的缺点是产生的向量维度很高，由于维数高和相对少的训练样本，很难计算协方差矩阵。而二维PCA很容易地解决了这一问题，图像矩阵不需要事先转换为一维向量。相反，使用原始图像矩阵可以直接生成图像协方差矩阵。与PCA的协方差矩阵不同的是，二维PCA协方差矩阵的规模小了很多。因此，二维PCA和PCA相比有两个很重要的优势。第一，它很容易精确地产生协方差矩阵；第二，得到相应特征向量所需时间也较少。结果验证，这一方法在计算效率以及准确率上都要优于PCA。

2、结合BP神经网络的人脸识别算法

BP神经网络是一种采用误差反向传播的具有多个隐层的前馈神经网络。具有一个隐层时，BP神经网络便可以有效地表示任意连续函数[10]。它通过权值的动态调整，在训练之后，输出正确的结果是较为有效的方法。对于人脸图像，首先使用PCA算法提取出主成分，之后利用多个样本训练BP神经网络，当误差在合理范围内之后，便可以用于人脸的识别。但是BP神经网络存在一些固有的缺点，比如收敛过慢、收敛过程震荡、易陷于局部极小值等缺点，我们采用了附加动量法、弹性梯度下降法等方法改善BP网络的性能，结果实验验证有不错的效果。不仅仅是BP神经网络，其他的比如结合了遗传算法的网络也可以用于人脸识别，遗传中存在的变异可以有效防止优化过程中陷于局部极小值，并帮助找到全局最优解。

3、SVM

对于人脸的二分类情况，在低维空间中，很难用直线或者平面去分类。利用核函数，将维度提升至高维，便可以找到相应的平面，实现二类的分类。基本的SVM主要用于二分类，但是在人脸识别领域，面对的往往是多分类情况。处理方式有两种，分别是“一对多分类”，“一对一分类”。“一对多分类”指每一类和剩余的k-1类构成两类情况，这样的话一共需要K个SVM分类器。“一对一分类”则指每两个类都要训练相应的SVM分类器，需要K*（K-1）/2个分类器。在人脸识别领域，一般采用“一对多分类”，把某一类的所有训练样本归为一类，其他样本归为另一类。在识别新的人脸图像时，依次调用不同的SVM分类器，直到输出的结果不再把此图像归为另一类。

人脸识别发展方向：

1. 基于图匹配实现人脸识别

主成分分析法、神经网络等存在一些共性缺点：需要较多的训练样本。但是实际运用中，往往样本并不多，这为这些方法的训练造成了一定难度。而陈宁、姚楚楚[11]提出的基于SIFT算子，结合图匹配的方法不仅可以克服表情对人脸识别造成的误差，单个人也不需要太多的训练样本，甚至在人脸表情出现较大变化时，依然有很高的准确率。

1. 人脸的稀疏表示

理论上，任何一种信号都是稀疏信号，根据D.Donoho 等人2004年提出的压缩感知理论[12]，稀疏信号在经过远低于奈奎斯特抽样定理的频率采样后，仍然可以从少量投影中，以高概率重构信号。这一理论大大降低了信号的采样率。将这一理论用于人脸识别，在人脸遮盖等方面取得了不错的识别效果。

1. 三维下的人脸识别

三维下的人脸相比二维所含信息更加丰富，设备采集到的脸部三维数据可以看做对光照、姿态具有较大的鲁棒性，同时墨镜、化妆等附属物对三维下人脸识别的影响也很小[13][14]。如果用较为合理的特征提取算法，可以得到比二维更有代表性的特征，识别率也会得到相应提升。但是目前的三维识别还存在一些待解决的问题，比如在数据获取方面，难度要比二维数据要大得多，过程中对用户干扰也大；计算复杂度较高，对于采样分辨率很高的三维人脸数据，匹配的时间会大大长于二维匹配；三维人脸具有较丰富的形状信息，但对于表情引起的脸部曲面形变，还有待进一步去解决。

困难以及待改进地方：

1. 目前的大多数算法对表情的鲁棒性不够，当人脸表情出现较大变化时，准确率会下降。
2. 计算效率上还有待提高，对于大量的人脸匹配问题，需要较长的计算时间。
3. 人脸有装饰物，比如墨镜、帽子等遮挡时，识别率也同样需要提高。

参考文献

[1] Gottumukkal R. An improved face recognition technique based on modular PCA approach[J]. Pattern Recognition Letters, 2004, 25(4):429–436.

[2]王跃明, 潘纲, 吴朝晖. 三维人脸识别研究综述[J]. 计算机辅助设计与图形学学报, 2008, 20(7):819-829.

[3] L. Sirovich and M. Kirby, “Low-Dimensional Procedure for Characterization of Human Faces,” J. Optical Soc. Am., vol. 4, pp. 519-524, 1987.

[4] M. Kirby and L. Sirovich, “Application of the KL Procedure for the Characterization of Human Faces,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103-108, Jan. 1990.

[5] M. Turk and A. Pentland, “Eigenfaces for Recognition,” J. Cognitive Neuroscience, vol. 3, no. 1, pp. 71-86, 1991.

[6] A. Pentland, “Looking at People: Sensing for Ubiquitous and Wearable Computing,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 22, no. 1, pp. 107-119, Jan. 2000.

[7] M.A. Grudin, “On Internal Representations in Face Recognition Systems,”Pattern Recognition, vol. 33, no. 7, pp. 1161-1177, 2000.

[8] G.W. Cottrell and M.K. Fleming, “Face Recognition Using Unsupervised Feature Extraction,” Proc. Intrsquo;l Neural Network Conf., pp. 322-325, 1990.

[9] D. Valentin, H. Abdi, A.J. Orsquo;Toole, and G.W. Cottrell, “Connectionist Models of Face Processing: a Survey,” Pattern Recognition, vol. 27, no. 9, pp. 1209-1230, 1994.

[10] Hecht-Nielsen R. Theory of the backpropagation neural network[J]. Neural Networks, 1988, 1(1):65–93.

[11] 陈宁, 姚楚楚, . 基于图匹配的人脸识别算法[J/OL]. 纺织高校基础科学学报, 2016 （01）

[12] . G. Baraniuk.Compressive Sensing[J].IEEE Signal Processing Magazine，2007，24(4)：

118-120

[13] 段锦, 周春光, 刘小华. 三维人脸识别研究进展[J]. 小型微型计算机系统, 2004, 25(5):886-890.

[14] 刘青, 孙军华. 基于局部径向二值模式的三维人脸识别[J]. 北京航空航天大学学报, 2015, 41(4):732-736.