论文部分内容阅读
随着物联网技术的不断发展和应用,智慧城市、智能交通等旨在改善市政建设、民众生活方式的新概念已经渗透到城市生活的方方面面,然而现有的大多数智能交通系统都是为交管部门、政府机构所用,缺乏对于公众开放的数据接口,可提供的服务形式单一缺乏实用性,另外传统的数据存储方式有诸多缺陷,存在数据维护效率低下,所需硬件成本高等问题,这都在一定程度上导致用户信息反馈缓慢,达不到智能交通的初始目标。同时对于海量异构数据的挖掘大都是以传统单机环境下的数据挖掘算法的改进为主,由于受计算机内存等性能因素影响,无法满足不断激增的感知数据的处理要求。本论文根据目前智能交通系统的种种不足,在系统平台性能、数据共享方式、历史数据挖掘等三个方面做出工作。(1)首先,为了高效收集、存储异构感知数据,达到易于管理、节约资源的目标,本文实现了异步非阻塞10和消息队列相结合的数据接收模块,基于读写分离的思想使用三个多路选择器分别负责管理连接、读数据、写数据的工作,而消息队列用于消除上下级消息处理速度的不平衡,使得众多感知节点可以流畅的与后端服务器进行信息交互,保证了系统稳定性和健壮性。由于数据异构,针对各类数据的特性和使用方式的不同,设计中采用关系型数据库Mysql存储历史数据,非关系型数据库MongoDB存储实时数据,提高数据读写效率,也能很大程度上节省硬件成本。另外,由于感知数据共享的主要方式是Web服务,为了满足网站响应式、高并发的要求,本文提出了基于分布式的二级缓存系统,由进程内的Ehcache分布式缓存和Redis集中式缓存共同组成,缩短用户响应处理链的长度,提高响应速度。(2)其次,为了使数据得到充分有效的利用,本论文主要设计了以下几种数据共享接口 : 1.对于环境感知数据采用实时表格检索和历史数据图表展示两种方式。2.对于LBS地理位置信息,采用车辆位置实时跟踪和人流量热力图两种方式。3.车辆实时视频监控和图片展示。通过这些基础接口完成数据的对外共享,提高系统服务水平。(3)最后,为了满足用户出行需求,文中通过挖掘数据更深层次的关联性,实现了基于Hadoop平台的K近邻短时交通流预测模块,设计合理的状态向量、距离向量、预测函数提高预测的准确性,使用MapReduce并行计算框架解决K近邻算法在大数据条件下处理效率低的缺陷,提高短时交通流预测的时效性,并且通过实验验证该方案的整体效率和挖掘效率是切实可行的。