基于草图提取的人脸矢量化算法研究与应用

• 作 者: 尹思思
• 出 处: 北京邮电大学
• 发表日期: 2020年01期
• 关键词: 图像矢量化 人脸线条画 生成对抗网络 注意力机制

人脸线条画是一种使用简单线条绘制的人脸肖像。在艺术创作、动画网页制作和刑侦安防等领域中,矢量格式的人脸线条画有着广泛的需求。虽然目前与人脸肖像画生成相关的研究已经非常丰富,但在将人脸图像转换为线条矢量图这方面的工作相对空缺。本文研究基于草图提取的人脸矢量化算法,旨在将输入的人脸图像转换为线条画风格的矢量图。本文聚焦于保持线条矢量图中人脸的面部特征及其可编辑性,首次提出双阶段的人脸矢量化算法:第一阶段,从人脸图像生成人脸线条画。本文提出了一种基于生成对抗网络的人脸线条画生成算法。针对人脸线条画中人脸左右不对称的问题,引入自注意力机制来保持面部特征,并减少背景对生成的线条画的影响;针对人脸线条画中存在大量冗余短线条的情况,设计长循环模块,利用假人脸学习生成线条画,并指导原模型的训练,有效去除冗余短线条;最后设计对偶训练策略,充分利用非成对数据提高模型泛化性能。在公开数据集CUHK-LineDraw上测试,FID指标比基准算法提升1.5,生成人脸线条画中的平均短线条数量下降26%。第二阶段,对人脸线条画进行矢量化,输出可缩放矢量图形格式的矢量图。本文提出了一种针对人脸的分层矢量化算法,对人脸线条画中的五官线条进行分割,然后分层组织,单独进行矢量化,以保存线条的语义信息,并实现人脸属性的分离,满足矢量图强编辑的需求。本文首次提出的人脸线条画矢量化算法,提高了输出矢量图的可编辑性,与经典矢量化算法相比,对于精确保持线条形状和面线条画中部特征有突出的优势。最后,基于微信小程序本文实现了人脸矢量化系统,使用户基于移动终端和移动网络就能完成从拍照到生成人脸线条矢量图的整个流程。利用图像质量优化、背景擦除等策略,本系统在公开数据集和自拍数据集上达到了较优的人脸线条矢量化性能。