基于深度学习的人证识别文献综述

1. 文献综述（或调研报告）：

1.研究现状

人证识别相比通用的人脸识别，要面对许多不一样的问题。对于典型的无约束场景的人脸识别来说，主要的挑战是姿态，光照，表情（PIE）。与此相反，在人证识别中，我们比较身份证照片和实时照片。假设用户是配合的，那么这两种照片都是在受控条件下拍摄的，所以PIE的差别一般是很小的。困难主要来自于（1）由于图像压缩导致的低质量的身份证照片（2）身份证照片和生活照之间的年龄差别。另外，由于需要使用深度学习的方法进行训练，缺少大量的数据也是需要面对的困难之一。

（1）基于图像重建的方法

Bourlai[1]将人证识别问题当做是一个退化照片和高质量实际照片的比较。为了消除由扫描带来的图像退化，Bourlai在进行人证匹配之前先对退化照片（证件照）进行重建。特别的是，他们训练了一个分类器来识别给定图片的退化类型，然后应用特定分类器重建退化图像。这种方法的缺点是必须对识别给定图片的退化类型识别正确，然后才能为特定退化类型重建退化图像。如果识别错误，那重建的效果就会很差。

（2）异构人脸识别

异构人脸识别指的是来自不同形态的人脸识别， 比如可见光图像，近红外图像，热红外图像，草图等等。人证比对可以看做是一种特殊的异构人脸比对， 两种图像来自于不同的领域。通常异构图像的人脸比对的方法分为两种：基于生成图像的方法和基于可分特征的方法。基于生成图像的方法是指将一种图像转换成另一种，然后使用通用的人脸比对方法。基于可分特征的方法是指将来自于两种不同领域的图像，映射到同一个共享的特征空间中。Liu [2]第一次提出了将深度可见光脸部特征应用于可见光-红外光图片比对通过迁移学习。他们的网络在数据集上用改进的triplet loss 进行了微调。他随后提出使用使用一个共享权值的网络将可见光图像和红外图像映射成三个特征向量：一个共享特征和两个特定特征，这些向量被串联起来并用三个Softmax loss 函数进行训练。Wu[3] 提出通过两个不同的Softmax loss 函数学习一个统一的特征空间。这两个函数的权重被矩阵范数和块对角化先验调整，这是为了提高不同形态之间的特征表达的相关性以及避免过拟合。

（3）Low-shot Learning（小样本学习）

在小样本学习中，模型训练之后可以泛化使用在没有见过的只有很少的几个样本的类别中。小样本学习有两个步骤：首先在大的分类数据集上训练模型，在测试的时候，将新的类别的少量标注样本放到模型中训练一个新的分类器。小样本学习的意思是每个类别中只有很少的图片。这与人证识别相关，因为大多数身份只有几个样本， 导致样本集很小。学者们在小样本学习上提出了许多方法。Koch [4]提出了一种简单但是有效的方法，通过孪生神经网络（siamese network）学习度量。Snell [5]提出的Prototypical Network学习一个不可见类别的平均特征向量，能够用于分类。在这种想法的基础上，Qi [6]提出了一种imprint the weights 的方法，他们利用imprinted 权重作为初始化参数。