基于深度学习的视频摘要方法研究

• 作 者: 李巧凤
• 出 处: 合肥工业大学
• 发表日期: 2004年期
• 关键词: 视频摘要 特征融合 强化学习 LSTM 卷积神经网络

技术作为当代多媒体信息技术发展的重要产物,更是由于智能相机设备的广泛普及,使得视频摘要技术的研究进行得更加深入。视频摘要技术主要是指通过从原始的视频中选择出最能代表原始视频信息的关键帧子集或者镜头,换言之,视频摘要技术中关键帧的选择与提取是它的核心工作,传统的摘要算法考虑更多的是图像的颜色信息,依靠单一的颜色特征来进行关键帧选取效果并不理想,深度学习的发展为视频摘要技术问题的解决提供了多样化选择。本文主要对视频特征融合与强化学习机制进行研究。实现了视频摘要质量的提升。本文的主要工作如下:(1)阐述了视频摘要研究背景、现状以及现实应用的研究意义。介绍了视频摘要技术的基本框架和主要的摘要流程,并分析了传统方法与深度学习方法的理论基础,并对其相应的方法做出分析。(2)利用深度学习方法对数据处理速度,及高维度特征提取方面的优势,提出一种改进的特征融合视频摘要方法。首先通过编码器(CNN)对视频帧进行特征提取来获取原始的视频特征。然后在此基础上,从差异性特征和局部加强特征的角度出发,利用解码器(RNN)对长时序依赖关系的特点,并通过得分融合机制,对关键帧进行选择。实验结果表明,该方法可以改进关键帧的提取效果,提高了视频摘要质量的评价指标。(3)得益于深度卷积神经网络的发展,本文提出了一种在特征融合基础上添加强化学习机制的视频摘要方法。在摘要模型上做出改变,并将关键帧的重要性和多样性的分值的累加和作为强化学习机制中的状态-动作值函数。通过视频摘要网络和强化学习部分之间的不断学习循环,来提高提取的关键帧的质量,由于关键帧的筛选与提取又是视频摘要技术研究的核心技术,所以该方法证明了强化学习机制在摘要技术上的可行性和有效性。