视觉屏蔽压缩感知编码与双层吸引子传播用于视频摘要生成

• 作 者: 余丹
• 出 处: 南京邮电大学
• 发表日期: 2020年01期
• 关键词: 视觉屏蔽 视频摘要技术 压缩感知 双层吸引子传播 特征融合

当今时代,互联网技术迅猛发展,人们通过视频进行学习、娱乐、看新闻,视频数据是我们日常生活不可或缺的一部分。但由于视频数据量大,怎样快速、高效地获取视频的内容信息是一个必须探索的难题。科研工作者多年的探索清晰地证明了:视频摘要技术是降低视频数据量、加快信息获取速度的一个有效途径。传统视频摘要技术对视频分辨率要求高,对于涉及隐私保护的视频,现有的大多数文献没有针对性的解决方法。本文针对视觉屏蔽域的视频数据提出了一种新的关键帧提取算法,主要研究内容有以下三点:(1)提出视觉屏蔽压缩感知(Visual Shielding Compressed Sensing,VSCS)算法。原始视频经过压缩感知(Compressed Sensing,CS)技术降维得到压缩后的视频,此时,视频具有视觉屏蔽的效果(保护视频内容的隐私),同时数据量大大减少。对有隐私保护需求的视频实现第三方实时监管的关键前提是要保证视频具体内容视觉不可见。如果把视频数据理解为时序图像集,则针对视频内容的保护无疑应当以图像为处理对象,本文提出的视频处理方式不同于单纯的数据加密,其重点在于对视频帧的视觉屏蔽,即要求用于监管的待处理数据能够在内容保真的同时低于人眼视觉认知的下限。另外,引入CS采样不仅是为完成视觉屏蔽,还利用其对时序关系和帧内容的高保真特性,解决降维后的视频的关键帧提取问题。(2)提出双层吸引子传播(Double Affinity Propagation,DAP)算法。将具有隐私保护特性的视频输入预提取关键帧系统,对每一帧初步提取PHOG特征,使用AP聚类得到第一阶段视频摘要序列;再将第一阶段的视频摘要输入二次提取关键帧系统,对输入的每一帧关键帧提取PHOG-Hist融合特征再次使用AP聚类。第二步聚类时,用于聚类的视频的帧数已经大大降低,因此提取融合特征和聚类并不占用太多时间,就能得到最终的输出视频摘要序列。(3)提出分阶段提取视频特征的方法。对视频包含的所有帧统一提取融合特征的方式需要同时提取视频中的每一帧的多个特征,计算量相对较大。而且,文中的实验验证,不论是针对原始视频还是压缩态视频,一次性获取所有特征进行融合继而经过多次聚类的方式并不是最优方案。本文采取先提取单个特征进行第一步聚类,再对第一阶段得到的初步关键帧提取融合特征进行第二步聚类。与其他先进方法的比较表明,本文提出的针对视觉屏蔽压缩感知编码态视频提取关键帧的方法具有高效性和精确性。