【摘 要】
:
随着云平台的发展,越来越多的用户将他们的应用和任务放置在云平台中,使得如何保证云平台的可靠性和容错性成为提高用户体验和改善云生态环境的关键任务。近年来,人工智能在各个领域中得到了广泛应用,学术界和工业界也开始利用机器学习的方法对云平台产生的大量多维指标数据进行异常检测和根因分析,帮助运维人员更快更准的检测云系统的状态和定位异常出现的位置。但现有的基于多维指标异常检测和根因定位方法大多依赖于对历史数
论文部分内容阅读
随着云平台的发展,越来越多的用户将他们的应用和任务放置在云平台中,使得如何保证云平台的可靠性和容错性成为提高用户体验和改善云生态环境的关键任务。近年来,人工智能在各个领域中得到了广泛应用,学术界和工业界也开始利用机器学习的方法对云平台产生的大量多维指标数据进行异常检测和根因分析,帮助运维人员更快更准的检测云系统的状态和定位异常出现的位置。但现有的基于多维指标异常检测和根因定位方法大多依赖于对历史数据特征的学习,主要存在以下几个挑战:一是云平台数据的不平衡性和无标签性给异常检测模型的训练带来了一定的挑战;二是监控指标之间复杂的依赖关系和监控指标的时间序列特征使得对指标的分析变得困难;三是如何在云平台成百上千的指标中对根因指标进行高效的定位。针对以上问题,本文以剔除无标签和不平衡数据集中的噪声标签、建立更加准确的无监督时序异常检测模型和根因分析方法为目标展开研究,具体工作总结如下:(1)针对剔除无标签和不平衡数据集中的噪声标签的问题,本文提出了一种基于堆叠自动编码器和K-Means++聚类的时间序列去噪方法。该方法通过堆叠自动编码器(SAE)提取原始数据特征进行降维,然后利用K-Means++聚类方法对数据集中的噪声标签进行处理。本文通过在公开的数据集中进行实验,证明该方法相比于其他机器学习方法的有效性。(2)针对多维时序指标的异常检测问题,本文提出了一种基于堆叠长短期记忆神经网络和多目标生成对抗网络的无监督时序异常检测模型,并将去噪方法作为数据预处理部分。该方法通过将堆叠长短期记忆神经网络作为基本网络捕获指标之间的依赖关系和时序特征,并利用多个生成器提高基于生成式的异常检测模型的准确度。最后通过实验证明所提出方法相比于其他异常检测模型的优越性。(3)针对多维指标的根因分析问题,本文提出了一种基于两阶段特征选择算法的根因指标定位方法。该方法通过Relief F方法对大量的指标进行筛选,然后通过SVM-RFE算法计算指标权值并排序得到根因指标。最后在云平台上进行实验,证明所提出方法在多维指标数据集上的有效性。
其他文献
随着移动通信系统的迅速发展,第五代移动通信系统(5G)已经大规模实现商用。为了兼顾以往的2G/3G/4G通信系统,最基本的要求是基站天线的阻抗带宽需要至少能够同时覆盖1710-2690 MHz和698-960 MHz。采用多频基站天线可以大大减少天线的数量,减少安装空间,降低运营商成本,因而,研究覆盖多个频段的多频基站天线的异频去耦等技术,有非常重要的实用价值和现实意义。但是,目前的基站天线,对于
云制造作为一种新兴的面向服务的网络化制造模式,通过服务匹配、服务优化选择等,实现企业间制造资源的高效共享与协同制造,为用户提供可随时获取、按需配置且优质廉价的制造服务。本文考虑云制造背景下制造资源的异构性特征、服务需求的复杂性与多样性特征,对云制造平台中制造资源的服务化封装、制造服务优化配置等问题进行研究,主要研究内容如下:(1)针对云制造背景下制造资源多样、异构和复杂的特点,提出一种基于扩展OW
生态系统、气候系统、复杂疾病的动态发展和早期胚胎发育过程等复杂系统,都会存在一个临界状态(临界点),系统一旦越过临界状态,就会从一种状态进入另外一种性质不同的状态,这两种状态几乎不可能实现逆转。如果能够预警复杂系统的临界状态,我们将能够及时采取恰当的措施,预防或阻止临界点后带来的负面后果。例如,对于复杂疾病的动态发展进程,一旦越过疾病恶化的临界点,病情就会迅速恶化,此时很难实现有效的治疗。再如,早
验证码作为互联网安全的第一道防线,为人类持续受益于互联网便利提供保障。但是近年来深度学习的不断发展为黑客恶意破解验证码创造了条件,给验证码安全带来了威胁和挑战。为了解决上述问题,验证码设计者不断提出新的验证码机制,但是新兴验证码的复杂的操作逻辑降低了其用户友好性。可喜的是近期关于对抗攻击的研究为验证码设计者提供了新的思路,研究发现神经网络模型仍然是脆弱的,通过给图像添加人类不易察觉的扰动即可导致模
基于TCP协议的HTTP1.0、HTTP1.1、HTTP2.0作为可靠的应用层协议,得到大规模应用。但是随着网络结构复杂化,TCP存在的队头阻塞、握手延迟等局限性逐渐暴露,面向连接的TCP协议降低了数据传输效率。为了解决TCP存在的局限性,谷歌于2012年提出以UDP作为传输层协议的QUIC(Quick UDP Internet Connection)协议,该协议作为HTTP3.0的研究核心,具有
大宗商品作为工业基础原材料,是经济发展和国家安全的重要战略物资。长期以来,中国是全球大宗商品最主要贸易国、进口国,也是绝大部分大宗商品最大消费国。然而,最近国内商品期货价格上涨速度快、持续时间长且波及范围广,引发市场广泛关注。在此背景下,本文从时频视角考察与分析多时间尺度下中国贵金属、金属与能化期货市场间的动态相关性及期货市场整体的联动性,这不仅有助于深入了解中国贵金属、金属与能化期货市场局部与整
随着工业化进程的不断推进,国家电网电力调度任务不断增加,传统的电力调度模式已经不能满足日益增长的电网自动化调度需求了。同时,随着人工智能的发展,用语音识别的方式来实现人机交互已成为一个热门研究方向。而在电力调度领域,目前已有的语音识别交互应用,如讯飞小度、小爱同学等,不能有效满足其需求,主要原因有以下几点:(1)专业性不够,在电力调度识别场景下,因对电力专业词汇不敏感,导致专业词汇准确率偏低;(2
云计算按需付费、资源自动伸缩和高可靠性的特点吸引着越来越多的用户将应用迁移到云上,而大量的应用部署在云上为云调度器带来更大的挑战。在云计算中,任务调度是核心问题,任务调度算法的优劣不仅关系到用户的体验和服务质量(Qo S)需求,而且对服务提供商的运营成本、服务器集群负载有着至关重要的影响。绿色数据中心是近年来的一个重要的研究课题,因为随着数据中心规模的不断扩大,数据中心的高能耗问题已经成为阻碍云计
实训实践教学是整个教学活动中的一个重要环节,其学时在课程总学时的占比越来越高。在实践中发现实训实践教学场景不能与国内外已有的信息化教学平台很好的结合,信息化教学推动进程缓慢,无法利用互联网辅助教学手段提高教学效率。因此,适用于实践实训教学场景的信息化平台建设与辅助教学研究具有实际意义。本文面向实训实践教学场景的实际需求,针对该场景特点与难点,从工程设计和算法科研两个角度展开研究,主要完成了以下工作
随着云计算的不断发展,云计算的基石数据中心的规模数量也在不断扩展,同时使用云计算服务的用户也大量激增,作为用户服务重要载体之一的虚拟机数量也在不断增加,而大量异构的虚拟机在数据中心动态创建以及注销,导致了数据中心往往会在运行过程中产生一定的资源碎片。同时,随着云原生生态建设以及国产ARM芯片的发展,越来越多的数据中心把多NUMA服务器作为核心计算资源对外提供服务。然而,NUMA服务器的使用,因其资