基于Spark框架的视频大数据并行处理策略及应用研究

• 作 者: 虞家睿
• 出 处: 浙江工业大学
• 发表日期: 2021年03期
• 关键词: Spark框架 视频大数据 帧间相关分析 帧间无关分析 电梯视频

作为一种重要的数据来源,视频数据具有体量巨大、产生速度极快、价值稀疏和完全非结构化等大数据的典型特征,是大数据技术研究的重要内容之一。为快速获得视频数据处理与分析结果,提高视频数据处理性能成为当前视频大数据技术研究的热点和难点。Spark是一种重要的基于内存的并行计算框架,通过内存计算极大地提升了大数据处理性能。为此,本文基于Spark框架构建了视频大数据处理总体框架,针对视频处理算法的不同特点给出了基于Spark框架的视频处理算法并行化策略,并对若干电梯视频处理算法进行了并行化,为提高电梯视频数据处理性能提供了关键技术支持。本文的主要研究内容和成果包括:(1)针对视频大数据特点与电梯环境,设计了基于Spark框架的视频大数据并行处理框架,该框架包括视频数据分发层、视频数据传输层、视频数据处理层和视频数据应用层,能够应用于分布式环境下的电梯视频监控,对采集的电梯视频进行实时处理和分析。(2)针对典型视频分析算法不存在帧间依赖关系的特点,提出了一种基于Spark框架的视频帧间无关分析算法并行策略。采用数据级并行机制,将视频数据流切分为相互独立的数据块,通过集群横向扩展模式提高算法分析性能。以电梯乘客数视频分析算法为例,对该并行策略进行了评价,在集群为2节点、5节点和10节点时,总体性能分别提高了185%、255%和481%。(3)针对典型视频分析算法存在帧间依赖关系的特点,提出了一种基于Spark框架的视频帧间相关分析算法并行策略。采用流水线并行机制,构建视频分析算法关键算子间的依赖关系,然后将关键算子映射到Spark集群的不同节点,各算子以流水线模式并行执行,提高了视频分析算法的性能。以电梯门异常检测视频分析算法为例,对该并行策略进行了评价,在集群节点为2节点、5节点和10节点时,总体性能分别提高145%、181%和254%。以电梯视频监控为应用对象,开发了基于Spark的电梯视频数据并行处理原型系统,包括电梯乘客数监测模块、电梯门异常监测模块、电梯遗落物监测模块、故障电梯分布可视化模块等主要模块,提高了电梯视频数据处理性能,为构建智能电梯大数据平台提供了技术支持。