融合多模态特征与时区检测的视频摘要算法

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:javaauto
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统视频摘要算法没有充分利用视频的多模态信息、难以确保摘要视频片段时序一致性的问题,提出了一种融合多模态特征与时区检测的视频摘要算法(MTNet)。首先,通过GoogLeNet与VGGish预训练模型提取视频图像与音频的特征表示,设计了一种维度平滑操作对齐两种模态特征,使模型具备全面的表征能力;其次,考虑到生成的视频摘要应具备全局代表性,因此通过单双层自注意力机制结合残差结构分别提取视频图像与音频特征的长范围时序特征,获取模型在时序范围的单一向量表示;最后,通过分离式时区检测与权值共享方法对视频逐个时序片段的摘要边界与重要性进行预测,并通过非极大值抑制来选取关键视频片段生成视频摘要。实验结果表明,在两个标准数据集SumMe与TvSum上,MTNet的表征能力与鲁棒性更强;它的F1值相较基于无锚框的视频摘要算法DSNet-AF以及基于镜头重要性预测的视频摘要算法VASNet,在两个数据集上分别有所提高。
其他文献
新冠大流行给全球带来了很大冲击,后疫情时代,加强生物安全能力建设成为世界各国高度重视的议题。本文梳理了美国、英国以及欧盟在新冠疫情影响下密集出台的一系列举措,涉及战略行动、机构改革、能力建设等方面。总的来说,美国、英国以及欧盟纷纷加大生物安全战略投资,寻求技术变革以保持对生物威胁的态势感知,以及加强检测、疫苗、疗法等医疗防御能力。值得注意的是,美国、英国以及欧盟均新设立大流行协调应对永久性机构。此
期刊
中国共产党的十八大以来,中国对非洲公共卫生援助取得了重要的成就。新时代十年来,以习近平同志为核心的党中央着眼于非洲公共卫生的现实发展需求,通过“中非公共卫生合作计划”“健康卫生行动”和“卫生健康工程”等举措加强对非洲公共卫生援助工作。特别是新冠肺炎疫情暴发以来,中国对非洲的公共卫生援助达到了前所未有的新高度。中国通过公共卫生援助与非洲国家构筑更加紧密的卫生健康共同体,为推动构建人类命运共同体树立了
学位
分析重庆某线路地铁车客室车门(康尼车门系统)运营过程中发生的典型故障,介绍相同结构的车门在其他线路发生影响较大的故障时根据维修手册的指导方法进行故障排查处理的经验,提出每种故障相应的解决方案。经实践检验,措施合理有效。结合分类分析了客室车门系统出现的几种典型故障,以提高车辆维修专业人员的业务技能水平,并优化故障处理方案,有效降低地铁客室车门系统故障发生的概率,使地铁车辆处于安全、稳定的运行中,也为
期刊
基于减人提效管理的目的,对富家凹煤业进行了智能化建设应用研究,从采煤生产、掘进生产、探放水、瓦斯抽采、生产辅助系统、辅助运输等方面实施了智能化项目建设,生产作业人员减少50%,工效提高20%以上,节约人工成本约4000万元,减人提效效果显著。
期刊
目的:观察加味香砂六君子汤联合针灸治疗脾虚气滞型功能性消化不良的疗效。方法:98例随机分为两组,A组48例用加味香砂六君子汤治疗,B组50例用加味香砂六君子汤联合针灸治疗。结果:总有效率B组高于A组(P<0.05)。两组治疗后中医证候积分均较治疗前低,且B组低于A组(P<0.05)。两组治疗后5-HT、SS水平均较治疗前低,且B组低于A组(P<0.05)。结论:加味香砂六君子汤联合针灸治疗功能性消
期刊
随着互联网技术的不断兴起,无人机电力巡检技术得到了飞速发展,自动化、智能化、专业化成为设计一个系统更高的追求。本文通过综述无人机电力巡检关键技术的研究现状和发展趋势,以期为以后的研究提供参考。同时,文章梳理了无人机电力巡检技术的研究历程和主要成果,并指出了研究不足与展望,旨在为互联网时代无人机电力巡检技术的研究提供方向。
期刊
《葬花吟》是《红楼梦》中女主人公林黛玉吟诵的一首经典之作,将林黛玉的文学素养、多愁善感的个人性格及其内心纠葛迷茫的复杂活动描写得生动形象。文章通过诗歌“文与质”及“归化与异化”的翻译策略,进而对比赏析杨戴与霍克斯译本。
期刊
针对对苯二甲酸二甲酯 (DMT)与 1,3丙二醇 (PDO)的酯交换反应 ,提出了反应的动力学模型 ,并加以检验 ,数据表明 ,在相当宽的转化率范围内 ,所提出的动力学模型与实验数据是相吻合的。
期刊
冷连轧机在无钢标定时过程中,出现液压管路高频巨幅震动问题,对液压管路造成严重损害,同时也对轧机生产造成严重影响。通过分析无钢标定环节的相关参数与震动之间的关系,并利用iba曲线进行记录对比分析,最后找出问题的原因并通过优化HGC控制参数,解决了轧机无钢标定时的高频巨幅震动问题。
期刊
为避免调整参数布置导致多次验证实验,探寻各因素对识读效率的影响程度,提出一种基于支持向量机的动态RFID系统识读效率分类模型。建立支持向量机模型预动态场景下的RFID识读效率,并使用网格搜索法寻优模型。结果表明,基于支持向量机的动态RFID系统识读效率分类准确率可达92.3%。使用此模型对各影响因素进行分析,可以得到动态场景下对RFID识读效率影响最大的因素,并在动态场景中能够依此进行最佳参数设置
期刊