基于视觉文本关联与多模态特征融合的视频描述方法研究

• 机 构: 山东大学
• 出 处: 山东大学
• 发表日期: 2024年01期

随着短视频数量的爆炸式增长,如何有效处理海量的视频成为亟待解决的问题。视频描述旨在利用机器对输入视频生成自然语言描述,是处理视频的常用手段之一。视频描述涉及到计算机视觉和自然语言处理两个领域,在人机交互、基于内容的视频检索、智能驾驶等领域具有重要的应用价值。当前视频描述方法存在视觉特征和文本特征关联性不强、多模态特征融合不充分、过度依赖语义特征等问题。本文针对以上问题展开了深入研究,主要工作及创新如下:（1）针对视觉特征和文本关联性不强的问题,本文提出了基于多线性时空关联和特征重建的视频描述方法（Multilinear Spatio-Temporal Correlation and Feature Reconstruction for Video Captioning,MSTC-FR）,该方法设计了多线性时空关联模块和特征重建模块来提高视觉与文本的相关性。多线性时空关联模块首先利用双线性池生成输入特征和查询值的联合双线性表示,然后在时间和空间维度分别计算注意力分布,最后利用分层融合机制对提取的视觉特征和非视觉特征动态融合,筛选出与文本最相关的特征。特征重建模块利用解码器生成的语言特征对视频特征重建,缩小重建特征与编码器提取的视觉特征的语义偏差,进一步优化模型性能。（2）针对视频多模态特征融合不充分的问题,本文设计了多模态特征融合网络（Multimodal Feature Fusion Network,MFF-Net）来实现视频外观特征、运动特征和对象特征的有效融合。多模态特征融合以包含视频内容更多的外观特征为引导,首先将不同的模态特征映射到公共空间,然后构建一个相关性矩阵来筛选运动特征和对象特征中的内容相关信息,最后将筛选后的信息与外观特征融合生成多模态融合特征。该网络通过相关性矩阵对运动特征和对象特征中的无效信息筛选,保证了生成的特征包含视频内最相关的内容信息。（3）针对过度依赖语义特征的问题,本文提出了时间语义聚合网络（Temporal Semantic Aggregation Network,TSA-Net）来缓解对语义信息的依赖。时间语义聚合包含时间聚合和语义聚合,时间聚合在时间维度聚合特征中相关的时间信息,语义聚合在空间维度聚合特征中相关的语义信息。该网络同时聚合特征中的时间信息和语义信息,减少直接利用语义特征时的依赖,并且聚合最相关的特征有利于解码器生成更准确的描述语句。本文提出的方法在视频描述任务中两个常用数据集MSVD和MSR-VTT上进行了实验,实验结果表明,与代表性方法相比,本文方法在视频描述任务中具有优越性。