基于度量学习和分布式机器学习的大规模人脸比对算法研发

• 作 者: 吴梓恒
• 出 处: 浙江大学
• 发表日期: 2004年期
• 关键词: 卷积神经网络 百万级人脸比对训练 分布式机器学习 度量学习

人脸比对问题是计算机视觉领域多年以来的一个研究热点。近几年依托于计算机计算性能和训练数据量的不断增加,深度学习成为了图像处理的一个重要手段。但随着人脸数据集的高速增长,针对大规模人脸比对应用,深度学习算法遇到了模型训练速度慢、收敛困难和并行训练难以部署等问题。针对这些问题,本论文研发了基于度量学习和分布式机器学习的大规模人脸比对算法,具有很好的工程应用价值。本文首先研发了基于卷积神经网络的人脸比对算法。通过对主流卷积神经网络模型的计算量、参数量、训练时间进行比对分析,设计了适合大规模人脸特征提取算法的卷积神经网络模型,利用该模型对人脸特征进行提取,并在提取后的人脸特征上实现了人脸比对。然后,针对大规模人脸比对应用场景下,模型训练速度慢和收敛困难的问题,本文采用分布式机器学习方法,结合GPU通信技术,研发了以数据并行为基础的多机多卡并行模型训练算法。通过增大神经网络训练样本等效批次大小、提高初始学习率,降低了大规模人脸比对算法模型收敛的迭代次数和训练时间,并解决了收敛困难的问题。针对人脸比对算法全连接层参数量庞大的问题,本文设计了全连接层前聚合参数优化方法,提高了单次迭代的速度,进一步降低了大规模人脸比对算法的训练收敛时间。在此基础上,采用模型并行的方法,将全连接层计算参数分布在所有并行计算节点上,解决了大规模人脸比对算法由于全连接层参数过大而难以部署训练的问题。最后,为了进一步提升卷积神经网络在大规模人脸比对应用中的效果,本文研发了基于度量学习的大规模人脸比对算法,并在百万量级的MegaFace Challenge数据集中进行了验证,结果表明正确率得到明显提升。