【摘 要】
:
图像描述是计算机视觉和自然语言处理交叉而衍生出的新兴领域,可在人工智能时代诸多场景中应用,结合实际领域进一步开发还可以协助教育和医疗等行业更快的进入智能化时代。因此本文提出基于注意力机制的图像描述方法,利用了图像特征提取技术与描述生成技术,不仅提高机器处理图像的效率,还可以生成准确高的图像内容描述。本文主要做了以下几方面的工作: 介绍了图像描述领域的发展和研究现状,通过梳理该领域的由来和发展过程
【机 构】
:
华北电力大学(保定) 华北电力大学
论文部分内容阅读
图像描述是计算机视觉和自然语言处理交叉而衍生出的新兴领域,可在人工智能时代诸多场景中应用,结合实际领域进一步开发还可以协助教育和医疗等行业更快的进入智能化时代。因此本文提出基于注意力机制的图像描述方法,利用了图像特征提取技术与描述生成技术,不仅提高机器处理图像的效率,还可以生成准确高的图像内容描述。本文主要做了以下几方面的工作:
介绍了图像描述领域的发展和研究现状,通过梳理该领域的由来和发展过程,归纳出本文设计模型的针对点和突破点;详细描述了构建本文模型所需用到的神经网络类型和相关深度学习技术,这些方法将在模型设计中发挥重要作用。
针对图像特征提取不充分的问题,采用迁移学习技术引入深层次残差卷积神经网络;针对目标定位不准确,改进注意力机制,构建自组域双模注意力架构。首先,将提取的图像特征向量输入到注意力模块中,经过权重分配后在图像中进行可视化标注,同时也可以协助生成描述模块在输出词汇的阶段“有意识”的注意到图像中注意力机制标注的部分,双模的分工也能使得模型更加高效;进而,长短期记忆网络可以根据权重分配及标注后的图像特征来生成针对输入图像的整句描述。最后,在公开数据集上进行实验,结合评价指标生成评分,证明所建模型可准确标识图像中主要目标以及生成关于该图像的描述。
为进一步提升模型的表现,加入主题特征提取和候选策略两个优化模块。首先,引入NMF主题信息提取算法来提取图像隐含的主题信息,可以在解码过程中帮助指导生成描述语句;其次,在贪婪搜索的基础上提出候选策略,尽可能在每次生成时增加生成单词的数量,结合评分高低进行优选,提升输出词汇的准确度。进而在验证集上对两个模块进行调参,最后,直接在测试集上进行优化后模型的输出。对比优化前后模型生成的描述内容和相关指标评分,结果显示加入的两个优化模块显著提高模型输出描述的准确度和多样性。
其他文献
水下传感器网络是利用水下传感器节点感知水下相关信息,并通过水声通信媒介将传感器节点所感知到的数据信息传送至数据处理中心,并将其广泛应用于水下资源勘探、海洋地理数据收集、导航和控制、灾难预防、军事安全等领域。 根据水下传感器网络分层结构特点可知,能量消耗主要发生在数据链路层和网络层,影响能量高效性主要因素有:(1)引入解决信道访问冲突机制产生新的额外能耗,其中包括空闲侦听、额外控制帧开销以及由时空
社会网络是指社会实体通过社会关系构成的多种类型的复杂社会系统,是复杂网络在现实世界中的应用。由于社会网络结构复杂、特征多元化、形成方式差异性会导致社会网络中各节点的重要程度不同。将那些对整个网络的结构、功能或者传播过程等产生较大影响的一类特殊节点称之为重要节点,一旦找到这类节点并全部摧毁,将阻碍社会网络的连通,甚至会引起社会网络的瘫痪。因此,节点重要性度量研究对研究网络鲁棒性、脆弱性具有重大的理论
随着国家对电力市场改革的推进及分布式发电技术的飞速发展,分布式发电设备将迅速进入各个小区,大量的电能用户或电能企业将购买分布式发电设备进行电能的自产自销,而大量分布式电能产消者的产生将加大电网负担。当今相关部门对分布式电能产消者所产出电能进行电能补贴的形式购入大电网,该情况下电能补贴价格较低且不够灵活,将打消分布式电能产消者的产能积极性。因此,相关部门鼓励分布式电能产消者完成电能的本地消纳,而想要
近年来国民经济迅猛发展,科技为人们的生活带来了很多的便利,而其中互联网已然成为人们日常生活中最为便捷的工具之一。在各类互联网应用中,智能推荐作为具有个性化特点的技术得到了广泛的应用,如何恰当地使用推荐算法为用户进行个性化服务具有实际应用意义。文化旅游作为精神文明建设的主要方式之一,使用推荐算法可以增强用户的文化体验,本课题对大型博物馆室内路径推荐的研究能够很好的解决个性化出行的问题。 本文主要研
随着能源危机以及大气污染的加重,清洁能源的应用越来越得到广泛的关注。风能作为一种清洁能源,风机装机量也在日益增加。风电机组具有故障率较高,故障停机时间长的特点。在风电机组的各个部件中,风机叶片长期处于高空中,与空气发生作用的时间最长,极易出现裂纹等细小的缺陷,不易检测。 首先本文通过对相关文献的研究,对国内外对风机叶片的主要检测手段进行了总结与讨论。目前国内外的检测方法以接触式检测为主,主要有振
目前我国电网的发展越来越趋于智能化和自动化,这些技术的发展使得计算机视觉技术对电力设备的检测效率大大超越了传统技术对电力设备的智能巡检和在线检测。绝缘子、输电杆塔作为输电线路中的关键元件,同时也易产生故障,这些元件的故障将会对电力线路的安全运行产生较大影响,对生产和生活造成了不便。因此,开展对电力元件的定期监测巡检具有较大的现实意义。通过输电线路的航拍图像对线路元件进行故障分析已成为近几年的研究热
绝缘子是输电线路中的重要设备,其运行状态直接影响电力系统的稳定性和正常运行。因此需要采用智能化的方法对无人机获取的大量绝缘子图像数据进行处理和分析,为电力巡检提供可靠的参考信息。本文针对绝缘子故障分类这一任务,从以下两个方面展开研究: (1)绝缘子故障分类的前提是在绝缘子图像上准确地识别和定位出绝缘子。因此,本文首先对基于卷积神经网络的绝缘子识别算法展开研究。针对使用FasterRCNN目标检测
随着国内外电动汽车行业的快速发展以及电动汽车数量的迅猛增长,使得对电动汽车充电桩的需求量日益增大,所以对充电桩的管理和维护就成了充电桩运营的一个重要问题。由于电动汽车充电桩市场存在信息管理不够完善、维修人员意识淡薄、缺乏及时有效应急措施等问题,无法全面及时对电动汽车充电桩质量进行评估,从而造成充电桩故障频繁发生,造成了大量的损失。电动汽车充电桩可靠性问题不容忽视,因此,寻找一种有效的方法对电动汽车
区块链技术作为去中心化的颠覆性技术,在近几年里得到了许多专家学者的深入研究。以区块链技术为基础的应用迅速普及开来,涉及金融、知识产权保护、身份认证、物联网以及医疗等众多领域。共识机制作为区块链中的关键技术之一,研究共识机制的安全性以及改进现有共识机制的缺点对于区块链技术的进一步推广具有非常重要的意义。 本文针对区块链中的共识机制进行研究,重点研究区块链中使用PoW共识机制引起的区块链分叉现象。首
随着智能电网和泛在电力物联网的快速发展,电力系统已经进入了电力大数据时代,而传统的风电机组关键部件故障诊断模型多是基于单机、小样本的诊断方法,不能满足大数据时代大数据量级的故障诊断需求;传统的基于振动数据的诊断方式,需要安装传感器等设备,诊断成本居高不下。而大数据存储和处理技术以及SCADA数据为其提供了新的解决方案。该课题构建了包含spark、Hadoop等在内的云计算平台,选取大量的风电机组S