基于多尺度与注意力特征增强的遥感图像描述生成方法

• 作 者: 赵佳琦 王瀚正 周勇 张迪 周子渊
• 机 构: 中国矿业大学计算机科学与技术学院,矿山数字化教育部工程研究中心,灾害智能防控与应急救援创新研究中心
• 出 处: 计算机科学
• 发表日期: 2021年01期
• 关键词: 注意力机制 特征增强 长短期记忆网络 遥感图像描述生成 Attention mechanism Feature enhancement Long short-t
• 基金项目: 国家自然科学基金(61806206),江苏省自然科学基金(BK20180639),电子元器件可靠性物理及其应用技术重点实验室开放基金(614280620190403-1)

遥感图像描述生成是同时涉及计算机视觉和自然语言处理领域的热门研究话题,其主要工作是对于给定的图像自动地生成一个对该图像的描述语句。文中提出了一种基于多尺度与注意力特征增强的遥感图像描述生成方法,该方法通过软注意力机制实现生成单词与图像特征之间的对齐关系。此外,针对遥感图像分辨率较高、目标尺度变化较大的特点,还提出了一种基于金字塔池化和通道注意力机制的特征提取网络(Pyramid Pool and Channel Attention Network,PCAN),用于捕获遥感图像多尺度以及局部跨通道交互