论文部分内容阅读
摘要：针对智慧交通不断发展提出的大数据要求，从总体和功能两个方面论述基于智慧交通的大数据系统设计，为解决大数据问题，发挥技术最大化作用提供依据。
关键词：智慧交通；大数据
智慧交通能有效解决城市拥堵，提高交通管理技术水平。近年来，随着智慧交通进一步发展，以及和物联网技术的充分结合，不仅是数据种类还是数据采集方式都在不断增加。基于这种发展局势，在实际工作中，必然要处理大量数据。这就要求设计一套智慧交通大数据系统。
1、系统总体设计
本文设计一种智慧交通大数据系统，其总体结构如图1所示，现对该系统各部分设计内容及功能做如下分析。
1.1数据接入与感知层：对广泛分布且多源异构的数据进行实时采集、处理与存储。
1.2数据层：负责对数据进行存储和运算。分别利用HDFS与HBase分析采集到所有数据；再运用Spark与MapReduce对数据进行计算。语义化处理所有处理，同时构建时空索引，组织处理后的数据；再依靠数据关联与融合分析得出有价值的信息，借助数据挖掘与可视化技术，获得有用数据，进而为决策提供可靠支持。
1.3系统应用层：经数据计算与存储层，为公共交通智能调度、指挥与监测等的云服务实现提供支撑。
1.4系统展现层：利用网站和数字广播等所有可行的方式为受众提供服务。
1.5系统用户层：系统能为政府、企业与大众提供丰富的服务，对数据进行共享，从而使资源得到更合理的配置和应用。
2、系统功能设计
2.1数据接入
是指对广泛分布且多源异构的数据进行采集和融合。
2.1.1数据种类：为进一步了解交通实际发展情况，应实现汇集不同行业业务各项运营数据的前提目标；为了对网络的运行效率进行分析，以便对交通事件进行及时协调与处理，应设置一系列交通传感器，如车辆GPS、视频监控装置、信息采集装置等，从而掌控交通全局。
2.1.2采集方式：包括传感器对数据流的动态采集、与业务数据库之间的相接和批量文件统一上传等，在这种情况下，接口必须容易维护且具有可扩展性。和系统相接的数据有很多种类，且不同数据的质量往往参差不齐，对于采集系统，需要可以对复杂的异构数据实施分类与清晰，与多传感器数据实现融合，以确保数据质量满足要求。
2.1.3接口：通过对转换接口进行的定制化开发，采用Socket、Web Service与FTP等不同的方法按照分布式原则进行数据抽取，并存储在相应的数据库当中。
2.2计算、存储
2.2.1Hadoop，属于典型的系统架构，各级用户即便不了解细节，也能进行程序开发和数据挖掘，再利用集群完成计算和存储。它是构建HDFS的重要基础。对HDFS而言，它具有很高的容错能力，同时支持在低廉硬件进行部署。另外，还能以较高的传输率对程序数据进行访问，对数据集较大的程序十分适用。系统通过对Hadoop的合理应用，在HDFS进行文本与视频等各类数据的动态存储，继而完成全寿命周期管理，包含数据清洗、转换和存储等所有过程，最终提高管理可行性与便利性。
2.2.2Hbase，它是Hadoop的重要组成部分，具有较高的综合性能与可靠性，并且可伸缩，通过对它的合理应用，能在Server基础上建立存储集群。利用row key与range对数据进行检索，用于对那些松散数据进行存储。
2.2.3Spark，为通用的并行式计算基础框架。它具有MapReduce的所有优势，但它无需对HDFS进行读写，所以它在模型算法领域更加适用。
2.3监控、管理
2.3.1Nagios，用于对网络信息与系统实际运行情况进行监视，可实现对所有指定目标的监视，并提供相应的通知功能。
2.3.2Gangila：它属于开源监视项目，主要用于对节点进行测量，从而提供性能度量与静态数据。在此基础上，通过适当的配置，能将关键参数采用图表方式进行展示。
2.4数据处理
对交通数据而言，一般驳杂数据没有利用价值；难以精确查找，且准确率很低，对数据进行处理，尤其是语义化处理，就是解决以上问题。
2.4.1场景化处理：为数据提供场景，同时标示相应的标签，赋予场景分类等功能。对于场景的定义为：它由以下几部分组成，分别为场景名称、语义集与权重、本体集和属性集与权重；对数据进行场景分类，分至各自的场景当中。
2.4.2查询匹配：有属性查询与语义查询之分。其中，属性查询精确度较高，能以本体查询结果为依据完成准确和快速查找；而语义查询则属于模糊查询，是以用户语义为依据的数据匹配。
2.4.3数据展示：具体可分成以下三种：动态显示总体数据、实时显示局部数据与有选择性的显示详细数据。
2.5数据检索
2.5.1以Hbase为基础的空间索引，即根据不同数据具有的空间相关性进行索引构建。同时在各场景之下的数据根据相关性完成组织与管理。
2.5.2以HDFS为基础的聚簇索引，对HDFS而言，它能对文件进行灵活存储。为了给计算提供可靠数据，根据数据访问需求设计数据分割方式，进行聚簇索引构建。
2.6可视化展示
对卡口、刷卡、GPS等的数据进行语义化处理，然后形成与客流、服务、安全等有关的可视化操作界面。可实现所有基础设施、流量、服务及速度等信息的动态显示，从而为用户提供完善的信息服务。
3、结束语
智慧交通大数据系统可以很好的完成数据采集与积累，为实际的交通运行组织、协调、监控提供可靠的信息、技术支撑。系统功能十分丰富，除数据采集、数据融合、数据存储、计算等常规功能外，还包括语义化处理、实时检索与可视化显示。通过对这一系统的合理应用，能对当前的交通大数据实施综合分析与可视化动态显示。对于交通行业而言，大数据服务有着良好的前景，是重要的新兴服务业，可以促进相关产业快速发展。引入了大數据分析、高清监控等新技术的智慧交通现阶段正处在快速发展重要时期，和人们日常生产生活有着十分密切的关系。
参考文献：
[1]朱晓鸣，廖刘靓.大数据状态下城市智慧交通的研究[J].电脑编程技巧与维护，2017（22）：58-59+73.
[2]杜圣东，杨燕，滕飞.交通大数据：一种基于微服务的敏捷处理架构设计[J].大数据，2017，3（03）：53-67.
关键词：智慧交通；大数据
智慧交通能有效解决城市拥堵，提高交通管理技术水平。近年来，随着智慧交通进一步发展，以及和物联网技术的充分结合，不仅是数据种类还是数据采集方式都在不断增加。基于这种发展局势，在实际工作中，必然要处理大量数据。这就要求设计一套智慧交通大数据系统。
1、系统总体设计
本文设计一种智慧交通大数据系统，其总体结构如图1所示，现对该系统各部分设计内容及功能做如下分析。
1.1数据接入与感知层：对广泛分布且多源异构的数据进行实时采集、处理与存储。
1.2数据层：负责对数据进行存储和运算。分别利用HDFS与HBase分析采集到所有数据；再运用Spark与MapReduce对数据进行计算。语义化处理所有处理，同时构建时空索引，组织处理后的数据；再依靠数据关联与融合分析得出有价值的信息，借助数据挖掘与可视化技术，获得有用数据，进而为决策提供可靠支持。
1.3系统应用层：经数据计算与存储层，为公共交通智能调度、指挥与监测等的云服务实现提供支撑。
1.4系统展现层：利用网站和数字广播等所有可行的方式为受众提供服务。
1.5系统用户层：系统能为政府、企业与大众提供丰富的服务，对数据进行共享，从而使资源得到更合理的配置和应用。
2、系统功能设计
2.1数据接入
是指对广泛分布且多源异构的数据进行采集和融合。
2.1.1数据种类：为进一步了解交通实际发展情况，应实现汇集不同行业业务各项运营数据的前提目标；为了对网络的运行效率进行分析，以便对交通事件进行及时协调与处理，应设置一系列交通传感器，如车辆GPS、视频监控装置、信息采集装置等，从而掌控交通全局。
2.1.2采集方式：包括传感器对数据流的动态采集、与业务数据库之间的相接和批量文件统一上传等，在这种情况下，接口必须容易维护且具有可扩展性。和系统相接的数据有很多种类，且不同数据的质量往往参差不齐，对于采集系统，需要可以对复杂的异构数据实施分类与清晰，与多传感器数据实现融合，以确保数据质量满足要求。
2.1.3接口：通过对转换接口进行的定制化开发，采用Socket、Web Service与FTP等不同的方法按照分布式原则进行数据抽取，并存储在相应的数据库当中。
2.2计算、存储
2.2.1Hadoop，属于典型的系统架构，各级用户即便不了解细节，也能进行程序开发和数据挖掘，再利用集群完成计算和存储。它是构建HDFS的重要基础。对HDFS而言，它具有很高的容错能力，同时支持在低廉硬件进行部署。另外，还能以较高的传输率对程序数据进行访问，对数据集较大的程序十分适用。系统通过对Hadoop的合理应用，在HDFS进行文本与视频等各类数据的动态存储，继而完成全寿命周期管理，包含数据清洗、转换和存储等所有过程，最终提高管理可行性与便利性。
2.2.2Hbase，它是Hadoop的重要组成部分，具有较高的综合性能与可靠性，并且可伸缩，通过对它的合理应用，能在Server基础上建立存储集群。利用row key与range对数据进行检索，用于对那些松散数据进行存储。
2.2.3Spark，为通用的并行式计算基础框架。它具有MapReduce的所有优势，但它无需对HDFS进行读写，所以它在模型算法领域更加适用。
2.3监控、管理
2.3.1Nagios，用于对网络信息与系统实际运行情况进行监视，可实现对所有指定目标的监视，并提供相应的通知功能。
2.3.2Gangila：它属于开源监视项目，主要用于对节点进行测量，从而提供性能度量与静态数据。在此基础上，通过适当的配置，能将关键参数采用图表方式进行展示。
2.4数据处理
对交通数据而言，一般驳杂数据没有利用价值；难以精确查找，且准确率很低，对数据进行处理，尤其是语义化处理，就是解决以上问题。
2.4.1场景化处理：为数据提供场景，同时标示相应的标签，赋予场景分类等功能。对于场景的定义为：它由以下几部分组成，分别为场景名称、语义集与权重、本体集和属性集与权重；对数据进行场景分类，分至各自的场景当中。
2.4.2查询匹配：有属性查询与语义查询之分。其中，属性查询精确度较高，能以本体查询结果为依据完成准确和快速查找；而语义查询则属于模糊查询，是以用户语义为依据的数据匹配。
2.4.3数据展示：具体可分成以下三种：动态显示总体数据、实时显示局部数据与有选择性的显示详细数据。
2.5数据检索
2.5.1以Hbase为基础的空间索引，即根据不同数据具有的空间相关性进行索引构建。同时在各场景之下的数据根据相关性完成组织与管理。
2.5.2以HDFS为基础的聚簇索引，对HDFS而言，它能对文件进行灵活存储。为了给计算提供可靠数据，根据数据访问需求设计数据分割方式，进行聚簇索引构建。
2.6可视化展示
对卡口、刷卡、GPS等的数据进行语义化处理，然后形成与客流、服务、安全等有关的可视化操作界面。可实现所有基础设施、流量、服务及速度等信息的动态显示，从而为用户提供完善的信息服务。
3、结束语
智慧交通大数据系统可以很好的完成数据采集与积累，为实际的交通运行组织、协调、监控提供可靠的信息、技术支撑。系统功能十分丰富，除数据采集、数据融合、数据存储、计算等常规功能外，还包括语义化处理、实时检索与可视化显示。通过对这一系统的合理应用，能对当前的交通大数据实施综合分析与可视化动态显示。对于交通行业而言，大数据服务有着良好的前景，是重要的新兴服务业，可以促进相关产业快速发展。引入了大數据分析、高清监控等新技术的智慧交通现阶段正处在快速发展重要时期，和人们日常生产生活有着十分密切的关系。
参考文献：
[1]朱晓鸣，廖刘靓.大数据状态下城市智慧交通的研究[J].电脑编程技巧与维护，2017（22）：58-59+73.
[2]杜圣东，杨燕，滕飞.交通大数据：一种基于微服务的敏捷处理架构设计[J].大数据，2017，3（03）：53-67.