论文部分内容阅读
集群系统的节点通常通过RPC(Remote Procedure Call,RPC)服务进行通信,然而,RPC服务因跨主机通信的缘故,失败的几率大大增加。掌握RPC服务的成功率、延时等信息,有助于掌握集群服务现状、保障集群服务质量。因此,对RPC服务进行监控应是集群监控的重要内容之一。然而,RPC服务监控数据更新频率快且数据量大,传统的开源集群监控系统缺乏RPC服务监控维度,汇聚数据的方式较为低效,缺乏实时处理大规模监控数据流的机制,难以对RPC服务进行监控。研究设计一个面向RPC服务监控的集群监控系统具有重要意义。本文以A公司的分布式集群及RPC服务的运营需求和开发框架为背景,研究RPC服务的监控方法,针对传统集群监控系统的不足,采用分层设计的思想,设计面向RPC服务监控的集群监控系统,将系统划分为采集层、接入层与处理层实现,主要完成的工作包括:(1)针对传统开源集群监控系统缺乏RPC服务监控维度的问题,本文设计实现一个基于无锁共享内存队列的数据采集代理,数据采集代理通过无锁共享内存队列保证被监控进程与数据采集代理进程进行高效通信,对更新频率快且数据量大的RPC服务监控数据实现了低开销采集与上报,为RPC服务监控提供了监控数据。(2)针对传统开源集群监控系统数据汇聚方式较为低效的问题,本文基于Reactor事件驱动模型和线程池技术实现一个高并发网关服务器,该服务器能够应对大量监控节点的并发数据上报请求,对监控数据进行高效汇聚。(3)针对传统开源集群监控系统难以实时处理大规模监控数据流的问题,本文基于实时大数据处理框架Apache Storm实现一个监控数据计算中心,数据计算中心通过实现Storm实时计算任务的方式,实现大规模监控数据流的实时处理。通过对系统的测试分析可知,本文设计的系统能够对更新频率快且数据量大的RPC监控数据实现低开销采集、高性能汇聚及低延迟处理,能够有效地对RPC服务及集群节点进行实时监控。