基于类时序注意力机制的图像描述方法

• 作 者: 段海龙 吴春雷 王雷全
• 机 构: 中国石油大学（华东）计算机科学与技术学院
• 出 处: 计算机系统应用
• 发表日期: 2021年07期
• 关键词: 图像描述 注意力机制 类时序注意力 长短期记忆网络
• 基金项目: 山东省自然科学基金(ZR2020MF136),中石油重大科技项目(ZD2019-183-001),中央高校基本科研业务费专项资金(20CX05018A)。

近年来,注意力机制已经广泛应用于计算机视觉领域,图像描述常用的编码器-解码器框架也不例外.然而,当前的解码框架并未较清楚地分析图像特征与长短期记忆神经网络(LSTM)隐藏状态之间的相关性,这也是引起累积误差的原因之一.基于该问题,本文提出一个类时序注意力网络(Similar Temporal Attention Network, STAN),该网络扩展了传统的注意力机制,目的是加强注意力结果与隐藏状态在不同时刻的相关性. STAN首先对当前时刻的隐藏状态和特征向量施加注意力,然后通过注意力融合槽(A