基于深度卷积与全局特征的图像密集字幕描述

• 作 者: 武文博 顾广华 刘青茹 赵志明 李刚
• 机 构: 燕山大学信息科学与工程学院,河北省信息传输与信号处理重点实验室
• 出 处: 信号处理
• 发表日期: 2020年09期
• 关键词: 密集字幕生成 并行长短时记忆网络 Faster R-CNN 感兴趣区域 特征融合 dense caption generationparallel LSTM(L
• 基金项目: 国家自然科学基金资助(62072394),河北省高等学校科学研究重点项目(ZD2017080)

为了解决图像密集字幕描述中感兴趣区域(Regions of interest,ROI)定位不准确与区域粗粒度描述问题,本文提出了一种基于深度卷积与全局特征的图像密集字幕描述算法,该算法采用残差网络与并行LSTM(Long Short Term Memory)网络的联合模型对存在的区域重叠定位和粗粒度描述细节信息不完整问题进一步改进。首先利用深度残差网络与Faster R-CNN(Faster R-Convolutional Neural Network)的RPN(Regional Proposal