论文部分内容阅读
在城镇化、信息化快速发展的时代背景下,如何在海量、多源的大数据环境中,有效支撑现有城市规划,成为当前重要的发展方向.在传统数据分析处理框架下很难实现海量数据的快速分析及不同数据种类之间的融合关联分析.本文以重庆市交通综合信息平台在数据挖掘分析、信息服务应用推广中面临的挑战为基础,提出了基于大数据技术的计算集群框架设计.通过采用分布式计算框架(Spark)与分布式文件系统(HDFS)的高性能计算机集群和网络体系建设来实现平台在大规模海量数据下的并行计算及数据存储能力.为交通大数据的实时或准实时收集、处理、存储、分析和展现打下基础.