论文部分内容阅读
智慧城市建设涉及对海量多源异构数据进行整合和智能分析,需要有一个具备高扩展性、高性能的大数据处理平台.针对智慧城市数据的特点和对大数据处理技术支撑平台中的要求,研究了大数据处理的关键技术,构建了基于Hadoop+内存计算+Spark技术体系,以支持PB级结构化和非结构化数据的存储、海量异构数据的集成,并提供了在线数据查询/搜索、数据分析工具以支持事务处理型和在线分析查询类的应用.