基于日志模式发现的系统故障预测

• 作 者: 昂鑫
• 出 处: 南京理工大学
• 发表日期: 2004年期
• 关键词: 日志挖掘 模式发现 故障预测 分布式 特征提取

随着信息技术的发展,各种复杂的应用系统得到了广泛使用。应用系统的运行会产生大量的日志,这些日志记录着关键时刻的系统状态和重要事件,能帮助运维人员发现并解决系统故障。然而,现有的运维系统只能在故障发生后进行故障诊断和修复,并不能避免故障突然出现导致的系统失效。因此,准确预测故障能够帮助运维人员采取预防性措施以避免或降低因故障发生导致的损失,对智能化运维至关重要。本文以来自应用系统的日志数据为研究对象,针对日志数据的异构性、规模大、无结构的自然语言描述方式等特点,研究了日志模式分析方法、系统故障预测方法等,并在此基础上设计与实现了面向日志的故障预测系统。研究内容如下:1)为了提高对大量异构日志挖掘和模式发现的能力,根据日志数据的特点,提出了一种快速的日志模式发现方法。该方法采用One-Pass思想,通过扫描一次日志数据,完成对所有日志的聚类,并依次合并簇中的日志从而为簇生成日志模式。在四个不同规模的日志数据集上进行实验,并与HLAer框架中的聚类和模式识别的算法进行对比,实验结果表明该方法在确保聚类和模式发现准确率的前提下,内存开销远远低于HLAer,运行时间大约是HLAer的10%。2)针对现有的故障预测方法需要大量特定的系统领域知识和高维的特征表示从而难以推广到异构日志的问题,提出了一种基于日志模式发现的故障预测方法。该方法利用日志模式发现算法提取到的日志模式重新解析原始日志,再采用TF-IDF提取单位时间内的日志模式特征,并使用基于残差连接的IndRNN故障预测模型进行训练和测试。使用两个日志数据集进行实验,与其他几个算法进行对比,实验结果表明该模型的精确率和召回率比SVM和随机森林高约10%,比LSTM高约6%。3)设计并实现了基于日志模式发现的故障预测系统。该系统首先通过Flume组件采集所有节点的日志,然后,在分布式平台上进行快速日志模式发现,并在此基础上训练故障预测模型。考虑到故障预测的时效性,系统可通过Kafka集群实时获取日志,并利用故障预测模型实现故障预警。