论文部分内容阅读
人脸识别不仅是计算机视觉领域的一个核心研究方向，更是关系国计民生的一项重要技术。随着大数据时代的到来和深度学习技术的发展，人脸识别技术发生了重要突破，现在已经越来越广泛地应用在公共安防、银行金融、公安刑侦以及社交媒体等场景下。随着以iPhone X为代表的人脸解锁智能手机的问世，人脸识别技术展现出其在未来广阔的应用空间。本文以人脸识别问题入手，研究基于身份证的人脸比对（即身份证照和生活照比对，简称人证比对）问题。人证比对技术虽然本质上还是人脸识别技术，但由于涉及到受控环境下采集的身份证照和非受控环境下采集的生活照的比对，因而又有其独特的性质。同时，由于身份证照片不需要单独采集，因此人证比对技术是当前世界上应用最为广泛的人脸识别技术。在实际应用中，人证比对问题存在三个挑战。首先由于身份证图像和生活照图像存在异质性，如何获得性能优异的特征提取器值得深入研究;其次，由于身份证图像通常带有网纹干扰，如何去除网纹对于提升系统性能就变得尤为重要;最后，对于非受控环境下采集的生活照，进行跨姿态校正问题的研究对于提升跨姿态的人脸识别性能大有帮助。本文针对人证比对技术中的上述三个关键问题，进行了如下研究: (1)搭建了一套完整的人证比对系统，并研究了针对人证比对这一特殊问题的深度特征提取方法。为了实现人证对比系统的实际应用，我们首先调研人证比对系统中各个阶段涉及的算法，并挑选出速度快，精度高的人脸检测、人脸对齐以及人脸特征提取算法搭建出一套完整的人证比对系统。该比对系统对我们后续的研究工作提供了有力的平台支撑。此外，针对人证比对这一特殊问题，我们探索了如何使用同一个深度模型对存在异质性的身份证和生活照图片进行更好的特征提取。结合当前主流的研究以及人证比对问题的特点，我们提出使用一种联合使用改进的三元组损失和大间隔softmax损失的方法来训练特征提取器。同时，为了适应这一类型的数据分布，我们专门采集了一个大规模的人证数据库来进行特征提取器的训练。 (2)研究了基于深度学习的身份证去网纹算法。在实际的应用中，带网纹遮挡的身份证照片会严重干扰人证比对的性能。针对该问题，我们经过实际问题的提炼建模，提出了一种全新的研究问题一身份证去网纹问题。研究初期，我们以像素级网纹去除作为主要目标，提出了一种基于多任务神经网络和残差学习的卷积神经网络模型。虽然该模型可以在视觉效果和像素级精度指标达到比较好的去网纹效果，恢复真实纹理，但我们发现，其对识别率的提升还远远不能满足实际需求。为此，我们提出一种新的去网纹框架，该框架不仅对像素级的恢复进行监督，更从深度特征空间挖掘约束信息。此外，通过引入一个空间变形模块，我们将人脸对齐和特征提取放在一个端到端的网络中进行训练。受益于以上模块以及全卷积神经网络更强的建模能力，这一新的方法不仅实现了更好的视觉去除效果，更使得识别率得到了显著提升。 (3)研究了人脸姿态校正问题。姿态变换是影响人脸识别效果的一大重要因素，这一点在人证对比问题上的表现尤为显著。本文对跨姿态人脸识别的研究从人脸姿态校正入手，展开两个方面的研究，由浅入深，层层递进。首先，我们从较为简单的非精准对齐图像的人脸识别问题入手展开研究。提出了一种基于旋转不变的字典学习的方法，来同时进行特征的表达和人脸的对齐。该方法克服了传统字典学习方法不能解决非对齐人脸识别的弊端，大大提升了非精对齐人脸识别的效果。之后，结合深度学习算法框架，我们试图解决更复杂的大姿态人脸识别问题。提出了一种基于双通道对抗神经网络的方法，在该算法框架下，首先进行人脸转正，再使用转正后的人脸进行人脸识别。实验表明，我们提出的结合全局和局部信息的网络结构以及融合多种先验约束的目标函数在人脸转正任务中取得了目前最好的视觉和识别效果。