【摘 要】
：
随着计算机视觉和自然语言处理的快速发展,这两个领域交叉的任务也受到越来越多的研究者关注。本文研究的任务是图像描述生成。图像描述生成任务可以应用与很多实际场景中,例
论文部分内容阅读
随着计算机视觉和自然语言处理的快速发展,这两个领域交叉的任务也受到越来越多的研究者关注。本文研究的任务是图像描述生成。图像描述生成任务可以应用与很多实际场景中,例如:辅助视觉障碍者;提高图像检索准确率;改进人机交互等。图像描述生成任务定义是:给定一张图片,要求模型自动的生成一段自然语言描述。传统的图像描述生成模型多数采用与注意力机制结合的编码器-解码器结构。该框架已经取得了较好的效果,但是依旧存在一些问题。第一,传统的模型将解码器通过一步生成的文本描述,缺少推敲润色的过程。第二,编码器-解码器结构存在曝光偏差的问题。最后,传统的模型只关注生成描述的准确性.导致对于内容相似的图片,模型生成的文字描述可能存在完全相同的情况。为了解决上述的问题,本文设计了基于推敲注意力机制的图像描述生成系统。论文的模型主要分为三部分。首先模型通过设计两层基于残差的注意力机制网络实现推敲机制。具体地,第一层网络生成隐藏状态和注意力权重加权后的图像特征,这些信息可以用来生成初始版本的图像描述。第二层网络对第一层网络生成的信息做推敲润色。润色过程的引入使得模型生成更加准确的文本描述。其次,本文结合强化学习方法和跨模态描述检索的方法。强化学习模块可以缓解模型训练和测试过程数据流不一致的问题,从而缓解模型存在的曝光偏差问题。跨模态检索可以引导模型生成的描述自检索对应的图片,从而生成具有高辨识度的图像描述。最后,本文提出的模型在MS-COCO和Flickr30K两个数据集上的实验结果超过了最新的结果。具体地,模型在MSCOCO数据集中BLEU-4,METEOR,CIDEr得分分别达到了 37.5,28.5和125.6。模型在Flickr30K数据集中BLEU-4,METEOR和CIDEr得分分别为29.4,23和66.6。
其他文献
由于科学技术的快速发展和电子设备的广泛使用,电磁干扰(electromagnetic interference)已成为人们日益关注的问题。开发一个有效的电磁干扰屏蔽材料是解决电磁干扰的重要途
温室气体大规模排放引起的气候变化对全球的生态环境造成了巨大影响。二氧化碳是主要的温室气体之一,因此需将其捕获以稳定其在大气中的浓度。基于固体胺吸附剂的变电吸附法
音频场景识别是指通过对环境音的理解来判断所处的场景,其在现实生活中具有广阔的应用前景,可以广泛用于多媒体检索、智能家居、智能机器人、安全监控、智能终端等领域,因而具有重要的研究价值。本文基于稀疏表示和深层神经网络对音频场景识别展开研究,提出了四种融合方法进行音频场景识别,具体研究内容包括:1)提出了一种前端特征融合方法对于音频片段内的各个音频帧,前端特征融合方法将基于稀疏表示求得的得分值特征和lo
表达抑制策略是一种关注反应的情绪调节策略,其调节情绪的效果一直存在争议,但是在很多研究中我们发现表达抑制策略具有适应性作用,能够有效调节负性情绪,因此有必要探索何种形式的表达抑制策略对于情绪调节的效果最好。同时,随着年龄的增长,老年人的认知资源减退,有必要对老年人使用不同的表达抑制策略的效果进行比较,寻找最适用于老年人的调节方式,在消耗较少认知资源的情况下,有效调节老年人的负性情绪。本研究对不同意
急性髓系白血病(Acute myeloid leukemia,AML)是一种高度异质性的血液系统恶性肿瘤。AML是最常见的急性白血病类型,表现为骨髓内未成熟的髓系血细胞前体细胞(或非成熟细胞)快速增殖并浸润或扩散到其它组织。在我国,AML的年发病率为1.62/10万,占成人急性白血病的比例为60%70%。AML极易复发,且一旦复发便对化疗药物(主要为阿糖胞苷及柔红霉素等蒽环霉素)丧失敏感性,导致治
近年来,随着科技的不断进步和世界经济的稳步复苏,全球旅游行业步入一个新的“黄金时代”。许多非旅游运营商,如Google、Airbnb、滴滴等,快速渗透到旅游市场中并迅速抢占市场份额。传统旅游企业面临着巨大的冲击,迫切需要对自身经营状况进行分析、对比和预测,调整发展战略,突破自身发展瓶颈,为长期竞争和发展寻找契机。通常情况下,当企业面临财务困境时,会迫使企业经营管理者采取积极的措施来提高经营管理效率
溶瘤病毒(Oncolytic viruses,Ovs)疗法是肿瘤生物治疗应用的一个热点,其原理是利用病毒的复制能力,选择性感染和裂解破坏肿瘤细胞,且正常细胞和组织无害,裂解的肿瘤细胞可以释放子代病毒和肿瘤相关抗原,刺激机体产生免疫反应进一步杀伤肿瘤细胞。此外,有研究表明:某些OVs(如溶瘤痘病毒)还能够特异性地感染并破坏肿瘤血管,间接引起未感染的肿瘤细胞凋亡或坏死。肿瘤新生血管(Tumor neo
《新编高中国文》是民国时期最具代表性的语文教科书之一,由宋文翰、张文治主编,并在1937年由中华书局出版发行。本教材共6册,遵照《部颁修正高级中学国文课程标准》编辑,与中华书局所编《新编初中国文》衔接,以培养人才为目的,发扬民族精神为根本,具有鲜明的时代特点。本文以《新编高中国文》文言文选文为研究对象,在分析其文言文选文数量、朝代、体裁的基础上,进一步归纳出文言文选文的特点。选文重视学生写作能力的
色彩作为油画中的重要表达手段,是艺术家情感表达的媒介和精神寄托的载体,是关乎到视觉感受力的重要因素。也是艺术家对自然、对社会、对生活等不同方面的体悟,同时也是风景
目前,工业正在从直流供水系统向循环利用水系统转变。这要求对生产过程中产生的废水进行深度清洁。废水中的悬浮物以及在对废水进行机械、生物、物理化学处理过程中产生的沉