KPI数据实时异常检测算法研究与实现

• 作 者: 李东升
• 出 处: 哈尔滨工业大学
• 发表日期: 2020年02期
• 关键词: KPI 异常检测 机器学习 异常阈值可分性

KPI数据(Key Performance Indicator)是有实际应用意义的、通过定时采样获取的时间序列数据,KPI数据异常检测对于企业应用有着十分重要的意义:通过实时的监控KPI数据,发现KPI数据存在的异常,及时进行相应处理,从而保证应用的正常运行。在企业中,通过对KPI数据设置阈值来进行实时异常检测的方法十分普遍,然而阈值的设置依赖用户经验,同时,随着KPI数据逐渐增多,为每一条KPI数据配置若干阈值的方法就会耗费巨大的人力。针对KPI数据异常检测问题,为了实现免阈值设置、高度自动化的目标,本课题开展了相关工作,提出了三种算法,这三种算法高度自动化,使得用户无需为每一条KPI单独设置阈值,具有很高的使用价值和实用意义。本文的主要工作包括:首先,提出了基于异常阈值可分性的KPI异常检测算法。本文给出了“异常阈值可分性”的概念用于评价特征是否有助于发现异常,利用异常阈值可分性,本文提出了基于监督学习的异常检测框架,通过算法自动提取每个KPI数据的特征,框架能够针对每个KPI的特点进行相应的学习,从而为每个KPI实现异常检测。经过与成熟算法和系统的实验对比,本文的方法能够将F1 score提升13个百分点以上。其次,提出了基于极端值理论的KPI异常检测算法。本文应用极端值理论,无需对原始KPI数据的分布做出任何假设就能实现动态阈值设置。本文的创新有三大方面,包括引入矩估计加速计算效率、引入预测算法改善异常检测效果,引入定量更新以应对概念漂移问题。最后,提出了基于动态投票的无监督KPI异常检测算法。结合KPI数据的特点,本文给出面向KPI数据的“局部区域”的概念,使得适用于特定数据类型的基本检测器在投票时有更高的权重。在此基础上,分别提出了动态硬投票算法和动态软投票算法,打破了传统无监督KPI异常检测算法只能通过硬投票方式进行异常检测的局限性。实验结果表明本文能将原有无监督异常检测系统的F1 score提升4个百分点以上。