【摘 要】
：
人脸图像作为互联网时代重要的信息媒介,能够携带充分的有效信息,得益于其采集过程便捷友好,逐渐成为了主流的个体身份标识之一。根据获取人脸信息的传感器与方式的不同,人脸图像也具有多样的表现形态,通过诸如可见光摄像机、红外摄像机和人物面部素描画法等方式可得到多种模态的人脸图像。基于相同的设备或描述方式得到的人脸图像构成了同一个模态。跨模态人脸图像生成是指将输入的某种模态人脸图像转换为指定目标模态下的人脸
【基金项目】
：
国家自然科学基金项目； 国家自然科学基金面上项目课题；
论文部分内容阅读
人脸图像作为互联网时代重要的信息媒介,能够携带充分的有效信息,得益于其采集过程便捷友好,逐渐成为了主流的个体身份标识之一。根据获取人脸信息的传感器与方式的不同,人脸图像也具有多样的表现形态,通过诸如可见光摄像机、红外摄像机和人物面部素描画法等方式可得到多种模态的人脸图像。基于相同的设备或描述方式得到的人脸图像构成了同一个模态。跨模态人脸图像生成是指将输入的某种模态人脸图像转换为指定目标模态下的人脸图像,在公共安全和数字娱乐等领域有着重要的应用价值。如何在完成逼真的目标模态图像生成的同时尽可能多地保留源模态人脸图像中重要的人物面部特性,成为这项任务的研究重点。近年来,以卷积神经网络为代表的深度学习前沿技术在计算机视觉领域取得了显著突破,也为这一领域提供了充足的动力。然而,基于深度端到端网络的生成模型容易损失人脸结构和细节信息。针对这一问题,本文根据人脸结构特点,对基于语义信息和视觉注意力的跨模态人脸图像生成方法展开研究,实现人脸信息保持和模态转换两大关键目标。本文的主要工作和研究成果概括如下:1.提出一种基于面部语义标签的跨模态人脸图像生成方法。跨模态人脸图像生成任务的一个关键目标是生成具有源模态面部结构与细节信息的目标模态人脸图像。现有的基于深度学习的方法普遍采用编码-解码结构的深度神经网络学习两个模态之间的非线性映射关系,直接对输入的整张图像进行模态转换,但容易损失图像空间信息从而影响生成的人脸结构。而基于样例学习的传统方法能够生成结构相对稳定的结果,但图像块拼接过于平滑会造成生成图像细节和纹理丢失。针对以上结构形变与细节缺失的问题,结合两类方法的优势设计了两阶段式网络:首先通过基于概率图模型的初始生成器完成基本模态转换;其次在基于生成对抗网络的优化阶段,通过人脸解析模型提取到的源模态面部标签信息对网络中间层的多尺度深度特征进行语义增强,为生成过程中的结构信息保持提供辅助。实验结果验证该方法能够在保持人脸结构的同时显著优化面部细节信息,提高生成图像的视觉效果。2.提出一种基于视觉注意力和语义监督的跨模态人脸图像生成方法。跨模态人脸图像生成任务的另一重要目标在于生成的目标模态图像应在保留源模态人脸关键信息的基础上,与输入的源模态图像具有较大的纹理差异,以完成彻底的模态转换。现有的方法通常忽略了对两种模态之间差异化特性的学习,导致生成的目标模态图像包含源模态的特征,从而出现噪声和一定程度的失真。针对这一模态转换问题,提出在深度残差网络中引入注意力机制来挖掘不同模态之间的差异。除此以外,设计了基于面部标签的语义一致性约束监督模型在目标模态图像语义层面的学习。联合基于深度特征视觉注意力的弱监督约束与图像语义层面的强监督约束,增强目标模态生成图像的纹理特性。实验结果表明该方法在保留源模态人脸信息的基础上能够更加完整地呈现人物面部细节,生成具有目标模态纹理特点的人脸图像。
其他文献
为满足现代战争需求,舰船上的天线交错林立,电磁环境错综复杂。这已严重影响到设备之间的正常通信以及舰船隐身性能。为解决上述问题,水面舰船的通信设备在朝向射频集成方向发展。通信射频集成的发展主要包含两个方向:集成桅杆天线和集成上层建筑天线。本文主要针对这两个方向做了大量研究。1、设计了一款基于四臂螺旋天线的双频圆极化复合天线。采用内外嵌套多天线和弯折螺旋臂的方式,实现了复合天线的小型化及双频特性;对比
随着互联网技术的快速发展,在线视频服务的用户比例逐年增加,相较于传统的电视媒介,在线流媒体以其灵活性和多元性著称,具有强劲的生命力。在流媒体传输中,成本、时延与质量往往存在着三角制约关系,需要在这三者之间寻找到一个最优平衡点,而实时性是流媒体系统中衡量传输质量的第一要素。目前主流的RTMP（Real Time Messaging Protocol）协议采用TCP（Transmission Cont
隐身目标电磁散射特性的研究在雷达目标检测与识别中具有重要的意义和应用前景。在目标表面涂敷吸波材料或使用结构型吸波材料代替原材料都可以有效减少雷达散射截面（Radar Cross Section,RCS）,因此吸波材料的制备和隐身效果研究以及涂敷目标的RCS计算成为目标隐身的重要课题之一。本文基于吸波材料对隐身目标的电磁散射特性相关领域问题展开了系统的研究工作,主要工作和研究成果如下:1.设计了性能
近年来,文档编写与检查在如今的信息化社会是一个相当重要的环节,文档内容与格式规范化的要求变得越来越高,尤其是政府以及学校等机构需要完成大量的规范文档撰写工作。由于文档撰写人员在编写过程中存在对文档的编制要求了解不透彻的问题,需要查阅文档的编写要求才能完成文档撰写,文档编写效率较低。因此,本文针对文档编制领域,实现了智能问答和检查文档规范性并回复相应建议的功能。本文基于信息化项目编写要求,建立了信息
近些年来,无线通信系迎来了快速的更新换代,电子设备的种类,数量都有了很大的更新发展,对系统平台的空间要求越来越高,可重构技术慢慢发展为一个无线通信领域研究的热门焦点。可重构技术在电磁超表面,天线,滤波器等领域均有很大的应用空间,能进一步优化天线与微波电路的功能使其满足多功能,集成化的要求,本文基于加载有源器件和应用液态金属,设计了多款可重构频率选择表面和可重构天线,主要内容可以分为三部分:1.设计
自动驾驶技术和新能源汽车近年来发展非常迅猛,无论从市场需求还是国家战略来看,自动驾驶技术和新能源汽车势不可挡。这使得汽车电子需求增加,而由于其特殊的应用场景,对电子器件和系统提出了更高的要求,安全问题首当其冲。芯片在汽车电子系统中发挥着举足轻重的作用,芯片的功能安全一直是研究的热点。本文设计并完成了一种基于ECC算法和奇偶校验的AXI总线保护机制。该保护机制可以直接集成在原有的AXI接口上,并且不
嵌入式视觉系统在工业检测、医疗、消费电子等领域都有重要的应用前景。但是对于不同的嵌入式软硬件平台,目前还没有一种通用的移植与应用方案。针对上述问题,论文对一种基于ARM的Linux嵌入式视觉系统应用方案开展了研究,将图像处理、目标检测、对象分类等视觉技术应用在嵌入式平台,对嵌入式技术和计算机视觉技术的持续发展均具有良好的促进作用。论文主要研究工作如下:（1）搭建了一个基于Exynos4412处理器