论文部分内容阅读
智能时代的到来,也就意味着工业大数据的到来,工业大数据的应用将成为工业企业未来竞争和增长的基础,是实现工业智能化增长的关键。工业大数据环境下,工业数据采集的质量是工业大数据平台构建及后续一系列应用的前提,因此如何针对工业中的大规模分布式数据高效高可靠地进行快速采集具有重要的研究意义。由于上层MES系统和监控站的采样频率较低,因此对上位机的采样要求不是很严格,时常出现实际数据采集周期大于所设定的采集周期的情况。在工业大数据环境中,常常需要对各采集周期所采数据进行实时性关联分析,因此对数据的时序性有着较为严格的要求,现有数据采集系统的效率和可靠性还不足以满足该要求;为了提高数据采集的可靠性,重要数据对应的数据采集服务器通常采用1:1的冗余配置,这将导致数据采集服务器资源利用率低。一般数据对应的数据采集服务器出现故障将导致相应数据的丢失,数据采集服务器的可靠性低;当前数据采集系统中时常会出现某些数据组或数据项丢失的情况;在工业监控过程中需要对生产现场监控几千甚至上万个数据点,而且数据获取及处理的实时性要求较高,通常要求在秒级甚至毫秒级完成监控数据的获取及处理。工业大数据的到来,对工业过程数据采集的实时性提出了更高的要求;随着企业生产的运行,企业存储的数据量不断增加以及历史数据对于企业分析的重要性日益凸显,对数据压缩提出了更高的要求。针对上述问题,本文依托东北大学流程工业综合自动化国家重点实验室开展研究,提出了基于工业云的高效高可靠分布式数据采集系统。本文的主要研究工作如下:(1)研究了国内外现有数据采集系统,并对数据采集系统综述。在此基础上提出基于工业云的高效高可靠分布式数据采集系统,同时对系统的功能需求和性能需求进行了详细分析。(2)根据需求分析对系统进行设计。按照模块化的设计原则完成了系统总体架构设计,软件架构设计和软件功能模块设计。该系统由工业云平台层、控制层、设备层和工业现场组成。其中工业云平台层包括管理节点模块、任务分配节点模块、任务仓库模块、采集节点模块和数据库模块。分别对管理节点模块、任务分配节点模块、任务仓库模块、采集节点模块及数据库模块进行了设计。(3)按照设计方案,以工业云平台为基础,采用Java开发语言、SQL Server 2012数据库和Fourinone框架完成系统的开发。该系统在一致性哈希算法的基础上进行任务的迁移,使各采集节点的资源使用率达到相对的均衡;本文中提出的数据压缩方法能分别对数值型数据和布尔型数据进行较高压缩比的数据压缩,大大节省数据的存储空间。该系统能根据用户需要随时创建、修改和删除采集任务,且可以根据实际需求对不同采集任务设置不同的优先级和采样周期,任务分配节点根据检测的各采集节点的运行信息和用户设定的任务自动进行任务的分配,使各采集节点进行数据采集时达到负载相对均衡;系统允许采集节点的加入与离线,提高采集节点的可扩展性;当某些采集节点故障时,采集节点之间能进行任务的迁移,提高数据采集的可靠性。各采集节点可以采用不同的配置,提高系统的易用性。(4)该系统在工业云计算中心进行部署,采用MatrikonOPC开源软件搭建风机数据仿真平台,并对基于工业云的高效高可靠分布式数据采集系统的任务管理、任务分配、数据采集、数据压缩存储等九大功能和系统的可靠性、高效性和可扩展性三大性能进行了实验验证。从系统总体可靠性、各节点的可靠性以及数据组和数据项的可靠性进行系统的可靠性验证,从采集的高效性和存储的高效性进行系统的高效性验证,从系统中的各节点的可扩展性、和数据组和数据项的可扩展性进行系统的可扩展性验证。实验验证结果表明该系统在大规模分布式数据采集过程中具有良好的可靠性、高效性和可扩展性,大大减少数据的存储空间。本文提出的基于工业云的高效高可靠分布式数据采集能满足工业企业对大规模分布式数据高效高可靠地采集的要求,文中提出的数据压缩方法大大减少数据存储空间。该系统还需要对图像和视频更多的支持与融合。