基于多注意力多尺度特征融合的图像描述生成算法

• 作 者: 陈龙杰 张钰 张玉梅 吴晓军
• 机 构: 现代教学技术教育部重点实验室（陕西师范大学）,陕西省教学信息技术工程实验室（陕西师范大学）,文化教育智慧传播工程技术研究中心（陕西师范大学）,陕西师范大学计算机科学学院
• 出 处: 计算机应用
• 发表日期: 2019年2期
• 关键词: 长短期记忆网络 图像描述 多注意力机制 多尺度特征融合 深度神经网络
• 基金项目: 国家自然科学基金资助项目(11772178,61741208,11502133);中央高校基本科研业务费资助项目(GK201801004,GK201803089,GK201703082);陕西省自然科学基金资助项目(2017JQ6074);国家重点研发计划项目(2017YFB1402102);陕西省自然科学基础研究计划项目(2017JM6103,2017JM6060);陕西师范大学2017年度

针对图像描述生成中对图像细节表述质量不高、图像特征利用不充分、循环神经网络层次单一等问题,提出基于多注意力、多尺度特征融合的图像描述生成算法。该算法使用经过预训练的目标检测网络来提取图像在卷积神经网络不同层上的特征,将图像特征分层输入多注意力结构中,依次将多注意力结构与多层循环神经网络相连,构造出多层次的图像描述生成网络模型。在多层循环神经网络中加入残差连接来提高网络性能,并且可以有效避免因为网络加深导致的网络退化问题。在MSCOCO测试集中,所提算法的BLEU-1和CIDEr得分分别可以达到0.804及