论文部分内容阅读
随着社交网络及多媒体技术的迅速普及,人与人之间的联系日益密切。人像,作为每个人特有的生物名片,在社交信息中变得越来越重要。人们希望自己在社交网络上可以呈现美丽且独具个性的形象,数字人像处理相关技术自然受到了越来越多的关注。数字人像处理相关技术是一个涉及多学科的交叉前沿性问题,目前尚没有统一的模型框架和评价标准。本文设计并实现了数字人脸图像皮肤美化及整体风格化算法,主要研究和贡献如下:(1)考虑到人脸皮肤作为人脸吸引力的重要外在表现,同时为了避免过度美化导致图像的不真实,本文采取先检测再修复的美化方法,提出了基于判别性结构张量的人脸皮肤瑕疵自动检测与修复算法:首先利用DOG滤波对人脸做预处理,突显皮肤的瑕疵区域,然后,利用二阶结构张量结合显著性滤波对人脸图像构造判别性结构张量,通过极小值抑制及阈值分割检测出面部瑕疵区域,同时,利用改进的肤色分割模型精确的分割出人脸皮肤区域,获取皮肤区域的掩模,与初步检测得到的面部瑕疵图像进行异或处理,获得精准的人脸皮肤瑕疵检测结果。本文改进了基于样本的图像修复方法,对最终得到的精确皮肤瑕疵检测图像进行修复。实验结果表明,针对不同的人脸面部瑕疵,本文的方法可以有效修复,并获得真实自然的美化图像,不会引入模糊、光照变化等不必要的信息变化。(2)针对数字人脸图像的整体风格化,本文采用了基于对抗生成网络的深度生成模型作为算法的基础架构,该算法主要包括:利用对抗生成网络来学习人像的固有特征,利用最大均值差异损失来最小化人像数据域与风格图像数据域之间的特征分布差异;整个网络框架分为生成网络和判别网络两部分,生成网络负责人像特征和风格特征的学习与融合,设计为编码-解码的网络结构;判别网络负责判断生成人像的身份属性,确保在风格化过程中不会导致人像身份信息的改变或丢失。训练完成后,只需利用生成网络便可实时绘制风格化人像。实验结果表明,该网络可以根据提供的风格图片实时生成风格化人脸图像,且不受风格图像内容结构的影响。