基于GAN的物体自动移除研究

来源 :北京交通大学 | 被引量 : 1次 | 上传用户:chenhui123zjch
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测及图像补全是计算机视觉领域的两个重要研究方向。在目标检测领域,精细标注的图片数据作为模型监督条件,是模型获得较好性能的关键前提,但是图像标注需要花费大量的人力物力,能否从互联网中大量弱标记的图像中去建模进行物体检测是较为困难的研究问题;在图像补全领域,现有效果较好的技术大多是在以对象为中心的图像上实现的,例如人脸补全或者结构化的场景补全,在一般场景级别图像补全方向效果大多一般。因此,本文核心研究内容为如何使用仅有图像级别标签的图像实现定位和删除一般场景图像中的对象,即实现弱监督的目标检测功能,然后通过图像补全网络对删除目标对象后留下的孔洞进行补全,即实现图像补全功能。主要研究工作及成果概述如下。首先,本文基于弱监督深度检测网络,实现了一种基于实例分类器优化的多实例检测算法,该算法可以通过图像级别标签执行目标检测工作。该算法将多实例检测网络与多阶段实例分类器结合在一起,分阶段的对实例分类器进行优化,并将基础实例检测网络和多级实例级分类器优化网络集成到单个网络中,以实现端到端的训练。本文在现有工作的基础上,通过应用以上的改进,实现了弱监督目标检测性能的提升。其次,本文对基于深度卷积生成式对抗网络(DCGAN)的图像补全网络进行改进,实现了一种新颖的基于W-GAN的图像补全模型,可以使补全图像在局部和全局上保持一致性。模型使用了完全卷积神经网络,可以填充任何形状的缺失区域来完成任意分辨率的图像;模型使用了空间衰减重构损失代替一般重构损失,在补全大面积的缺失区域时,有效的提高了补全质量;模型使用了全局和局部两个判别器进行训练,全局判别器从整体上评估图像是否整体一致,而局部鉴别器仅在以补全区域为中心的小区域上确保生成的补丁在局部保持一致性。本文在现有工作基础上,通过引入W-GAN损失函数、注意力机制以及分阶段补全的思想,克服了现有方法的不足,实现了补全效果的提升。本文针对以上两个不同研究任务开展了大量实验,并构建了多组对比实验,试验结果表明,在与其他一些方法的定性与定量对比上,本文实现了弱监督目标检测性能的改进以及图像补全效果的提升。通过实现以上两部分功能,即可实现物体自动移除功能:把一张图像输入到基于实例分类器优化的多实例检测网络,得到目标移除对象的坐标位置信息,然后用将目标对象移除,得到移除掉目标对象的待重建图像并将其输入到图像补全网络,进行重建修复,最终得到一张已经移除目标图像的完好图像。
其他文献
如今,以回归自然为主题的旅行越来越受大众推崇。人们希望闲暇或假期时享受绿色自然的旅行。蜂业旅游正是绿色旅行方式之一。蜂业旅游是基于讲述养蜂及其文化相关的故事,体验
会议
目的:通过对银屑病关节炎(Ps A)患者临床资料进行分析,探究Ps A中医证候特点,以及证型与患者的一般资料、临床症状、实验室检查、影像学检查等方面的相关性,以期为Ps A中医辨
目前,企业人才流失的现象大量发生,众多企业被该问题困扰不堪,而出现这种问题的原因主要是企业的员工薪酬管理及薪酬激励存在很多问题。通过梳理大量学者的研究成果,了解到很多在薪酬管理方面有效的方法,如舒适的工作环境、良好的福利待遇、有效的薪酬激励体系、及多样的培训体系等。虽然目前很多人更加追求工作中的个人价值,但从当前中国发展来看,大多数人工作还是为了更好的生活,所以企业吸引和留住人才的重要手段仍然为薪
昆明地区气候温和且太阳能资源丰富,因此,住宅建筑基本无空调能耗,采暖能耗也很小。而且,政府采取各项措施大力推广太阳能建筑利用,太阳能热水器普及率在全国居于前列,太阳能光伏使用率大幅提高。上述条件为实现零碳住区提供了可能性。因此,本文选取昆明某建成住区为研究对象,在现状碳排放计算的基础上探讨了零碳住区的可行性。首先,本文建立了住区全生命周期(包括建材生产阶段、建造施工阶段、使用阶段和拆除阶段)碳排放
数字经济时代,数据在全球经济运转中的核心价值越来越凸显。推进粤港澳大湾区大数据中心建设,是粤港澳大湾区建设充满活力的世界级城市群的重要举措,更是数字湾区发展的重要
目的:对简化体位试验的诊断价值进行初步探讨。方法:对象:我院诊治的高血压患者共41名,其中肾上腺醛固酮瘤(APA)与特发性醛固酮增多症(IHA)各10例,高血压病(EH)21例。方法:患
会议
近年来,中共中央、国务院发布了《“健康中国2030”规划纲要》、《关于促进全民健身和体育消费推动体育产业高质量发展的意见》、《全民健身条例》等一系列关于体育行业的政
科教城主要由高教园区和科技园区构成,是集高科技产业与教育资源于一体、实现产学研协同发展的重要平台.因科教城功能定位、用地规划、人员构成存在一定特殊性,其交通出行特
多发性硬化症(MS)是中枢神经系统的一种弥漫性慢性炎症性脱髓鞘疾病,伴有神经轴索退行性病变,其典型表现为随着复发-缓解过程,神经后遗症增加。世界范围内大约有三百万的MS患者。该病具有反复发作以及逐步恶化的特点,患者会出现运动、感觉、视觉、认知能力的持续下降、情绪抑郁,甚至引发癫痫、瘫痪,严重影响生活质量。这些症状产生的主要原因是由于神经系统的损伤,其中以髓鞘损伤为主。MS目前尚无能够治愈的药物,一
我国经济自改革开放以来飞速发展,为了响应国家“一带一路”建设以及形成全面开放新格局的政策,大宗商品国际化的进程在不断推进。推动大宗商品市场的发展对我国经济繁荣起着重要的支撑作用,原油以及铁矿石期货市场相继引入境外投资者,为我国大宗商品期货市场实现国际化打开了新的突破口。我国作为钢铁生产大国,对铁矿石需求量巨大且绝大部分依赖于进口,但国际上仍没有国家对铁矿石有着绝对的定价权,因此铁矿石价格的剧烈波动