论文部分内容阅读
摘要：为了满足电务大数据智能运维平台在数据实时性、全面性、设备状态健康诊断等方面的要求，需要将大数据技术应用到ZPW-2000R轨道电路运维平台。
关键词：大数据;运维平台;ZPW-2000R轨道电路
一、概述
目前，ZPW-2000R远程服务平台无法满足哈局电务大数据智能运维平台在数据实时性、全面性、设备状态健康诊断等方面的要求。需要在ZPW-2000R远程服务平台的基础上，开发ZPW-2000R大数据运维平台，实现ZPW-2000R轨道电路设备的实时监测、运用状态健康诊断、故障处理流程管理等功能。
二、需求分析
通过与现场客户的沟通，ZPW-2000R大数据运维平台需要实现的需求包括：与车站系统维护终端进行数据交互，获取各车站ZPW-2000R轨道电路设备监测数据;设备数据实时监测;设备状态健康诊断;筛选、排序、统计、汇总;故障处理作业流程管理;天窗设置管理;调试开通管理;返修设备记录管理;通过短信、钉钉、微信等形式推送故障信息;向SAP系统发送返修设备基础数据。
三、系统功能
ZPW-2000R大数据运维平台主要分成六个大模块，功能应用层、接口应用层、数据处理平台、站点数据解析模块、基础设施层以及其他应用系统对接。系统架构如图1所示。
四、系统设计
ZPW-2000R大数据运维平台基本的技术方案架构如图2所示。
1、Web前端
Web页面类型分为：静态页面，动态页面。静态页面对I/O要求比较高;动态页面对内存、CPU等要求比较高。因此静态页面与动态页面分开部署在具有针对性的服务器上以提高性能。
2、Web服务器
Web服务器分为静态Web服务器，动态Web服务器。其中当客户访问静态页面的时候，仅访问静态web服务器，静态Web服务器根据需要从文件服务器上提取所必须的css，js，图片等文件;而当用户访问动态页面时，动态Web服务器根据需要先去缓存服务器上检查是否有需要的数据，如果有，则直接从缓存服务器中取，否则从数据库中取相应的数据（以此来达到部分分流效果），同时添加到缓存服务器上根据需要从文件服务器上提取所必须的css，js，图片等文件。
为了让多台服务器更好的协同工作，添加多台服务器达到分担负荷的作用，利用网络负载平衡器把这些服务器群集起来。动态服务业可以按照这样的均衡方式达到提高性能与扩展的效果。通过Nginx的负载均衡机制，将访问请求均衡的分配到集群的各个服务器上。
3、数据库系统
影响动态服务性能关键在于数据库能否及时响应。各个动态应用规模越大，响应的数据库就越臃肿，响应的速度就越慢。
数据库系统综合使用读写分离、纵向分割、横向分割等三种方法实现数据库负载均衡。
1）讀写分离。由于读多写少，大部分时间消耗在查询上，因此让主库专门用于写，从库专门用于读（读库可以有很多个，以减轻单个读库的负担），同时同步写库与读库的数据;
2）纵向分割。不同的应用可以分到不同的DB中，不同的实例中。这种发放不但效率高，实施也很方便。
3）横向分割。采用表分区把大表分成小表，数据存储在不同文件上，然后再部署到独立物理服务器增加IO吞吐以改善读写性能，表分区的另外一个优势可以增加数据查询速度。
采用分布式数据库集群的中间件，如mycat，性能良好，易于扩展，同时监控的更加全面。
缓存系统采用业内主流的Memcache。Memcached是开源的分布式cache系统。Memcached的缓存是一种分布式的，可以让不同主机上的多个用户同时访问， 因此解决了共享内存只能单机应用的局限，更不会出现使用数据库做类似事情的时候，磁盘开销和阻塞的发生。
服务器端使用CentOS Linux系统，作为主流的服务器操作系统其稳定性、实用性、适应性、硬件资源利用率等方面均得到国内外普遍认可和采用。
数据库分别使用MongoDB和Redis。MongoDB作为设备数据存储，为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。而且它的路线图中已经包含对MapReduce引擎的内置支持。Redis用作数据库、高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。支持很强的性能和并发性。
五、结束语
本文研究了ZPW-2000R大数据运维平台的一种实现方案，讨论了平台的系统架构、功能和使用的技术，为ZPW-2000R大数据运维平台的开发提供参考。
参考文献
[1] 蒋志文 大数据分析技术在数据中心运维中的应用 信息与电脑（理论版）. 2018，（15）
关键词：大数据;运维平台;ZPW-2000R轨道电路
一、概述
目前，ZPW-2000R远程服务平台无法满足哈局电务大数据智能运维平台在数据实时性、全面性、设备状态健康诊断等方面的要求。需要在ZPW-2000R远程服务平台的基础上，开发ZPW-2000R大数据运维平台，实现ZPW-2000R轨道电路设备的实时监测、运用状态健康诊断、故障处理流程管理等功能。
二、需求分析
通过与现场客户的沟通，ZPW-2000R大数据运维平台需要实现的需求包括：与车站系统维护终端进行数据交互，获取各车站ZPW-2000R轨道电路设备监测数据;设备数据实时监测;设备状态健康诊断;筛选、排序、统计、汇总;故障处理作业流程管理;天窗设置管理;调试开通管理;返修设备记录管理;通过短信、钉钉、微信等形式推送故障信息;向SAP系统发送返修设备基础数据。
三、系统功能
ZPW-2000R大数据运维平台主要分成六个大模块，功能应用层、接口应用层、数据处理平台、站点数据解析模块、基础设施层以及其他应用系统对接。系统架构如图1所示。
四、系统设计
ZPW-2000R大数据运维平台基本的技术方案架构如图2所示。
1、Web前端
Web页面类型分为：静态页面，动态页面。静态页面对I/O要求比较高;动态页面对内存、CPU等要求比较高。因此静态页面与动态页面分开部署在具有针对性的服务器上以提高性能。
2、Web服务器
Web服务器分为静态Web服务器，动态Web服务器。其中当客户访问静态页面的时候，仅访问静态web服务器，静态Web服务器根据需要从文件服务器上提取所必须的css，js，图片等文件;而当用户访问动态页面时，动态Web服务器根据需要先去缓存服务器上检查是否有需要的数据，如果有，则直接从缓存服务器中取，否则从数据库中取相应的数据（以此来达到部分分流效果），同时添加到缓存服务器上根据需要从文件服务器上提取所必须的css，js，图片等文件。
为了让多台服务器更好的协同工作，添加多台服务器达到分担负荷的作用，利用网络负载平衡器把这些服务器群集起来。动态服务业可以按照这样的均衡方式达到提高性能与扩展的效果。通过Nginx的负载均衡机制，将访问请求均衡的分配到集群的各个服务器上。
3、数据库系统
影响动态服务性能关键在于数据库能否及时响应。各个动态应用规模越大，响应的数据库就越臃肿，响应的速度就越慢。
数据库系统综合使用读写分离、纵向分割、横向分割等三种方法实现数据库负载均衡。
1）讀写分离。由于读多写少，大部分时间消耗在查询上，因此让主库专门用于写，从库专门用于读（读库可以有很多个，以减轻单个读库的负担），同时同步写库与读库的数据;
2）纵向分割。不同的应用可以分到不同的DB中，不同的实例中。这种发放不但效率高，实施也很方便。
3）横向分割。采用表分区把大表分成小表，数据存储在不同文件上，然后再部署到独立物理服务器增加IO吞吐以改善读写性能，表分区的另外一个优势可以增加数据查询速度。
采用分布式数据库集群的中间件，如mycat，性能良好，易于扩展，同时监控的更加全面。
缓存系统采用业内主流的Memcache。Memcached是开源的分布式cache系统。Memcached的缓存是一种分布式的，可以让不同主机上的多个用户同时访问， 因此解决了共享内存只能单机应用的局限，更不会出现使用数据库做类似事情的时候，磁盘开销和阻塞的发生。
服务器端使用CentOS Linux系统，作为主流的服务器操作系统其稳定性、实用性、适应性、硬件资源利用率等方面均得到国内外普遍认可和采用。
数据库分别使用MongoDB和Redis。MongoDB作为设备数据存储，为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。而且它的路线图中已经包含对MapReduce引擎的内置支持。Redis用作数据库、高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。支持很强的性能和并发性。
五、结束语
本文研究了ZPW-2000R大数据运维平台的一种实现方案，讨论了平台的系统架构、功能和使用的技术，为ZPW-2000R大数据运维平台的开发提供参考。
参考文献
[1] 蒋志文 大数据分析技术在数据中心运维中的应用 信息与电脑（理论版）. 2018，（15）