论文部分内容阅读
近年来，随着视频获取设备的普及与发展以及网络传播能力的增强，视频逐渐成为信息的主要载体。无论是社交平台还是娱乐媒体亦或城市安全监控，社会的方方面面都对视频数据的依赖与日俱增，每时每刻都有海量的内容产生。面对体量如此庞大的视频数据，如何去分析其中的信息、挖掘有效的利用价值成为了目前亟待解决的问题。本文主要研究视频分析技术子领域中的动作检测问题，提出了基于三维卷积神经网络的时域动作检测框架，用于在整段长视频中对目标动作发生的时间位置进行准确定位并识别其具体类别。 首先，视频数据是一种非结构化的复杂数据，相较于静态图像数据具有更高的维度，因此对于其空间信息和时间信息的表达和融合是一件非常具有挑战性的任务。此前的动作检测框架为了取得精度更高的检测效果，采用了多阶段多网络的特征提取和分类方式，而本文仅利用一个三维卷积神经网络对候选视频片段提取一次特征，在一定程度上缓解了特征冗余问题，提高了特征提取效率。 其次，在传统的动作检测框架中，滑动窗口方法提取的视频时域候选片段被直接送入分类器进行分类，使得分类效果完全依赖特征的质量和分类器的性能，导致滑动窗口获取的时域侯选片段质量成为整个检测框架的性能上限，为了突破这个瓶颈，本文将经典物体检测中的物体框回归算法迁移到时域动作检测中，对动作的起始和结束时间的变换目标进行回归，从而能够对原本的时域候选区间重新进行微调以取得更好的检测性能。 最后，本文综合上述两个部分将三维卷积神经网络和多任务学习相结合，实现同时预测动作实例的时域位置和类别标签，并进行端到端的训练。本文还提出了基于时域动作率的训练样本采样方法，用于帮助区分动作与非动作画面帧的临界点，以获取更强大的分类器。本文在THUMOS2014数据集上通过实验验证了该方法在时域动作检测任务中的有效性。