论文部分内容阅读
随着公共交通和物联网技术的不断发展,各类车载信息采集设备所产生的数据量也逐年增长,传统数据存储方式已经难以支持日益增长的采集数据存储需求。所以如何利用工具将这些数据进行高效的存储和管理是急需解决的问题。在公交系统各类采集数据信息中,两种典型且重要的海量存储数据一个是GPS日志数据,另一个是视频数据。GPS日志数据用于分析公交调度和公交线路优化,需要实现对日志数据的分布式压缩存储并且支持以时间和空间范围为条件的高效查询操作;公交监控视频数据具有来源复杂,格式混乱的特点,为了实现监控视频数据的统一管理存储,需要对视频文件进行分布式转码,然后压缩存储。基于以上存储需求,本文提出使用Hadoop实现公交物联网海量采集数据存储,通过Hadoop的HDFS分布式数据存储系统和MapReduce分布式计算技术,解决公交物联网采集数据的高效存储和管理问题。本文研究Hadoop的技术架构特点,并分析总结了公交物联网系统GPS日志和视频数据的采集、处理和存储特点,设计基于Hadoop的公交物联网海量采集数据的分布式存储方案。根据GPS日志数据的分布式压缩存储和以时间、空间为条件的高效查询需求,设计实现了基于Hadoop的GPS日志数据存储管理系统。该系统根据时间和GPS位置信息对日志数据实行时间-空间分层划分,并根据节点性能动态选择数据存储节点,然后压缩存储于HDFS。最后通过实验数据证明该系统在优化存储效率的同时支持更高效的数据查询,能有效的提高日志文件的写入和存储效率。针对车载监控视频存储空间占用大和视频格式复杂多样的问题,设计并实现了基于Hadoop的分布式视频存储转码系统。该系统采用MapReduce和FFMPEG相结合的视频处理技术实现视频文件的分布式转码;利用LZO压缩技术实现对视频文件的高压缩存储。最终实验结果证实该视频存储系统可以极大地提高转码效率,适合处理和存储公交物联网视频采集数据。