面向监控视频云存储应用研究

• 作 者: 张超
• 机 构: 航天科工集团第二研究院
• 出 处: 中国航天第二研究院 航天科工集团第二研究院
• 发表日期: 2016年期
• 关键词: 视频监控 数据云存储 热度预测 副本策略

随着城市化的不断推进，整个安防行业市场规模迅速壮大，监控视频数据量呈现爆炸式的增长，视频存储设备已经从原来监控系统的边缘化位置逐步走向了中心，传统的存储方式已经不能够适应网络存储的要求，面临着监控视频数据维护成本高、可靠性低等问题。在这种形势下，云存储技术应运而生，它的开源性、高容错性和可以部署在廉价硬件设备上的优势让它逐渐成为业界中的焦点。　　本文以通用的Hadoop架构为原型，以面向提高视频智能化处理为目的研究视频云存储技术，提出了基于视频热度预测的双Hadoop视频云存储架构。在监控视频领域中，大量数据表明80％的用户只请求20％的视频数据，本文将监控视频热度划分为高热度视频和低热度视频，将高热度视频存储在高性能集群，低热度视频存储在低性能集群，高性能节点可大大加快高热度视频的智能化处理的速度。此外将高性能集群存储的高热度监控视频备份三份，低性能集群的低热度视频备份两份，区分化存储这些视频，可以大大节省了存储空间，提高了设备利用率。本文在研究视频热度时采用了k-means算法，并对初始的聚类中心选择进行改进，即从数据集合中选取尽可能远的数据对象作为簇的中心，成功避免了多个聚类中心可能处于同一个簇的风险。然后根据安防领域的监控特点，选取特征值，建立分析模型，并对其进行仿真，验证视频热度预测的可行性。最后，本文又分析了原来副本放置策略局限性，提出了以不同机架之间的网络开销以及数据节点磁盘空间剩余率为依据的改进策略，进行实验测试，对比Hadoop原本副本放置策略与改进之后的策略的数据分布，发现改进之后的数据节点负载更加均衡，可以最大化的发挥节点性能。