基于MapReduce的海量视频转码系统优化机制

• 作 者: 陈珍
• 发表日期: 2013年期
• 关键词: 视频转码 数据管理 任务调度 MapReduce

随着智能移动终端的普及，移动应用变得越来越重要，视频服务作为主要的娱乐工具将会在移动应用中发挥重要作用。移动终端的异构性以及视频编码格式的多样性等导致终端对视频的需求都不一样，并且由于移动网络的易变性，同一终端在不同时刻对视频的需求也不一样。因此为了根据网络状况传输不同质量层次的视频文件，需要将视频文件转码成不同分辨率码率的多个文件，即需要对海量视频进行转码。由于视频文件数据量大，转码又是耗时耗资源的一个过程，需要合理地分配计算资源和网络带宽来提高资源利用率，降低转码时间。基于MapReduce的海量视频转码系统采用Hadoop对转码过程进行并行加速，结合数据管理和数据本地化任务调度方式，减少数据在集群中的迁移。主要优化方案为：（1）在视频接入时将各个视频文件分散到转码节点，并对转码过程进行流水线式处理，合理分配计算资源和网络带宽；（2）为减少视频分片传输，在进行任务调度的时候结合数据本地化特征，将数据在某节点上的任务保留在该节点中；并对视频分片元数据进行管理，根据任务调度在集群中进行分割、复制、排序等操作，在转码阶段才根据元数据指示的文件分片名及位置传输视频分片；（3）为实现最大的系统利用率，对分片进行不同粒度的分割，最后，结合遗传算法和粒子群优化算法对转码日志进行分析，优化节点的任务槽数目配置。基于MapReduce的海量视频转码数据管理与调度缩短了视频文件的转码时间，提高了系统的吞吐量。性能测试表明，相对于现有的基于MapReduce的转码系统，转码时间平均缩短了32%。