【摘 要】
：
图像描述生成（Image Caption）是一项视觉和语言的交叉领域研究任务,该任务类似于“看图说话”,主要目标是让计算机自动识别和理解输入图片的内容并用通顺合理的自然语言将其描述出来,该任务在图像索引、婴幼儿教育等领域有重要的研究意义与广阔的应用前景。近年来,研究人员开始采用Encoder-Decoder模型来实现图像描述生成算法并在多个评价指标上取得了优异的成绩。然而,现有的图像描述生成算法在
论文部分内容阅读
图像描述生成（Image Caption）是一项视觉和语言的交叉领域研究任务,该任务类似于“看图说话”,主要目标是让计算机自动识别和理解输入图片的内容并用通顺合理的自然语言将其描述出来,该任务在图像索引、婴幼儿教育等领域有重要的研究意义与广阔的应用前景。近年来,研究人员开始采用Encoder-Decoder模型来实现图像描述生成算法并在多个评价指标上取得了优异的成绩。然而,现有的图像描述生成算法在编码阶段主要通过深度卷积网络识别图像内容并提取相关特征向量,这种方法得到的图像特征容易出现信息丢失,从而导致模型输出的描述与内容不符;解码阶段常用的循环神经网络无法并行化运算,在处理长序列时存在信息丢失,梯度消失的现象;另外模型在训练过程中存在曝光误差和训练目标与评估标准不一致的问题。本文主要研究构建于Transformer模型的图像描述生成增强算法,将目标检测和Transformer模型结合起来实现图像描述生成任务,在此基础上使用Self-Critical序列训练算法修改损失进一步优化模型。具体工作如下:（1）本文提出了一种新的基于Transformer的图像描述生成算法。首先,在编码阶段使用Faster-RCNN目标检测器对输入图像进行编码,获得图像不同子区域更加真实有效的特征信息,避免文本描述的内容与图像目标不符的情况。然后,采用Transformer模型作为语言解码器,在特征信息的指导下生成与图像内容相关的描述语句。该模型不依赖循环结构,完全通过注意力机制建立序列之间的逻辑关系,在训练阶段模型可以并行的运行。该算法在MS COCO数据集上的测试结果中BLEU-1、BLEU-4、METEOR、ROUGE-L 和 CIDEr 指标得分为 76.9,36.2,27.1,56.5,112.8,优于目前大部分主流模型。（2）在上述模型基础上引入强化学习方法,使用Self-Critical序列训练算法修改模型的训练目标和损失函数。在模型使用交叉熵损失函数训练至稳定后,采用Self-Critical序列训练算法,在训练过程中模型自回归的生成当前时刻的描述语句和基准语句,计算两者在CIDEr评价指标上的得分之差作为奖惩值指导模型训练过程。该算法使模型在训练过程中直接以优化CIDEr评价指标为目标更新参数,同时减少了曝光误差。最后通过对比实验证明了该方法的有效性。在MSCOCO数据集上的测试结果显示,使用Self-Critical序列训练算法后的模型在BLEU-1、BLEU-4、METEOR、ROUGE-L和CIDEr等指标上得分相对于基线模型而言分别提高了 5.5%、6.6%、2.2%、1.8%、9.9%。
其他文献
“散乱污”工业企业已经成为了制约区域,尤其是农村地区发展的重要因素。如何对“散乱污”工业企业进行有效治理是推进环境建设、推动产业升级的关键。从2018年开始,汕头市正积极治理“散乱污”工业企业,推进城乡的经济与环境建设。本研究结合汕头市实际,探讨“散乱污”工业企业信息化治理实施路径与保障措施。本研究具有一定的理论意义,有助于丰富“散乱污”工业企业信息化治理内涵、现状与措施等相关领域研究。同时,信息
第五代移动通信（5G）是当今时代集中了通信、半导体、智能硬件、人工智能、新应用与业务的移动通信系统,信道编译码是移动通信系统中至关重要的技术。该技术向发送信息序列中添加冗余校验比特,并在接收端通过译码对传输过程的差错进行纠正,从而提高信息传输的可靠性,实现发送信息序列的正确接收。Polar码为第五代移动通信（5G）控制信道编码最终方案,该码是第一种达到香农信道容量的构造性编码,具有优良的编译码算法
初中信息技术课程是一门实践性较强的学科,刚开始学生的学习兴趣可能很高,但是他们往往不能保持这种兴趣很久。那么如何激发和保持学生的学习兴趣,这需要教师改进教学模式。“抛锚式”教学模式通过创设真实的情境,学生在教师的引导下确定需要解决的问题,进行自主探究、协作学习解决问题。这不仅使学生能更好地掌握信息技术的知识和技能,还能提高他们发现问题、分析问题和解决问题的能力。本文运用“抛锚式”教学模式对“构筑信
我国方志的编纂历史悠久,在世界文化发展史中独树一帜,而方志中的《艺文志》又是一部方志中的重要组成部分。《艺文志》是地方各类文献的汇总,通过《艺文志》可以了解一地所存文献的概况以及文化发展的概貌,具有重要的学术价值。而开封地区所纂修的旧志多达47部,这47部方志中有41部都含有《艺文志》的部分,这说明开封旧志有《艺文志》的志书占绝大多数。本文即以这41部开封旧志之《艺文志》为研究对象,对开封旧志《艺
群众体育事业是社会发展与人类文明进步的重要标志,是国家综合实力和社会文明水平的展现窗口。2014年10月20日,国务院颁布《国务院关于加快发展体育产业促进体育消费的若干意见》明确提出“促进群众体育全面发展,满足人民群众日益增长的体育需求”,并将全民健身上升为国家战略。然而受多重因素影响,我国群众体育区域间发展差异较大。因此,科学、客观、准确地评价与分析我国区域群众体育事业的发展,了解区域间群众体育
农作物空间格局是一个地区或生产单位作物种植结构、熟制与种植方式的空间表达,是了解农作物种类、结构、分布特征的重要信息,也是进行作物结构调整和优化的依据。及时、准确地获取农作物的种植面积及空间分布信息对于我国粮食安全问题和农业可持续发展问题等都具有重要的现实意义。遥感技术因覆盖范围大、探测周期短、现势性强和费用成本低等优点,已经广泛应用于对地观测活动中,为快速和准确获取大范围的农作物信息提供了新的技
道教是中国土生土长的宗教,在中国传统社会中与政权的关系十分微妙。采用思想史与宗教史、社会史相结合的研究方法,以中岳庙为中心,考察唐宋时期嵩山道教的发展与政治的关系。论文试图阐明嵩山道教在唐宋受统治者重视的历史背景、统治者所想达到的目的以及嵩山道教在此过程中是用什么样的方法和统治政权保持一致并使自身得以发展。本文共分为四个部分:第一部分主要介绍了嵩山道教起源的背景。通过对嵩山地理环境的分析,中岳信仰
青少年运动员是我国建成体育强国和发展体育事业的希望和后备力量,他们对体育所秉承的精神观念将影响着我国未来体育精神风貌和文化文明传承的强弱、关乎着中华民族体育梦想的兴衰。然而,青少年运动员的体育价值观形成的重要和关键节点在于青少年阶段,这一阶段各体育运动学校德育教育的重要任务应该是培育他们树立科学、崇高的体育价值观。帮助青少年运动员养成健康、积极的精神和文化观念,引导他们选择正确的体育职业道路,是全
清代是我国古代学术总结的时代,也是经学复兴的时代。清代经学以乾嘉考据学为代表,重考证,求实学。但随着嘉道以后社会环境的变化,考据学已无法回应新的社会需要,其弊端也日益突显。学者们在批驳考据学弊端的同时要求恢复清初经世致用的学风。以段玉裁为代表的部分学者提出“广经”的理论,要求打破传统经典藩篱,将《大戴礼记》、《国语》、《史记》、《汉书》、《资治通鉴》、《说文解字》、《九章算术》、《周髀算经》几部史
“共同体”与“社会”在概念上既相区别又相联系,它在社会契约性秩序基础上更强调身份、价值认同,即强调“我们”（we）。国际共同体是国际共同生活深入发展的产物。在实践中,国际共同体一词具有强大的政治功能,它是人类对于共同拥有一个更美好未来的想象,用以表述为改善人类境况而进行的社会运动,并为之提供合法化辩护。在历史实践和理论研究中,国际共同体有两层递进性的含义,一是用以描述国际化程度日益普遍、深入的国际