基于大规模源码挖掘的日志语句级别推荐方法

• 作 者: 李宇航
• 出 处: 武汉大学
• 发表日期: 2019年01期
• 关键词: 日志语句 级别推荐 源代码挖掘 机器学习

记录日志是软件开发过程中一种普遍的代码实践,目的是收集软件系统运行时的重要信息,这些信息在软件系统的跟踪调试、缺陷排查、性能优化、重要业务信息备案等工作中都有不可替代的作用。为此,日志的记录需要全面地覆盖必要的运行时信息,同时避免引发额外的问题(如:性能开销,日志冗余等问题)。为了达到这样的目的,一个重要的手段是:在代码中插入日志语句时,对日志消息进行分级管理。然而,能否为日志消息选择一个恰当的级别,既取决于软件开发者的领域知识、开发经验等个人能力因素,也受到实际软件开发过程中各种客观条件的影响。对于新手开发者来说,这项任务尤其具有挑战性。为了帮助开发人员做出更恰当的日志级别决定,本文提出了一种基于大规模源码挖掘的日志语句级别推荐方法。本文基于大量日志代码实例以及与之相关的程序上下文特征,研究日志语句级别的选择,主要贡献如下:(1)本文使用数据挖掘的方法,分析了大量开源软件仓库中的实际项目,并获取到较大数据量带级别标注的日志语句实例。同时,本文基于抽象语法树,对获取到的日志代码实例进行静态程序分析,从项目、文件到代码语句等多个软件层次中抽取出日志级别选择相关的5类程序上下文特征。这些程序特征中暗含了开发人员在判断日志语句级别时需要考虑的各种复杂因素。(2)在本文中,我们横向分析了目前最通用的第三方日志工具包,根据不同工具包对日志级别的定义,对采集到的日志语句实例进行了统一的日志级别标注。同时,针对样本中的非结构化程序上下文特征,我们结合自然语言文本处理技术与特征筛选等技术,将这些非结构化的原始特征整合为结构化的特征向量表达形式。另外,我们使用基于SMOTE算法的数据平衡技术和基于K近邻算法的噪声检测技术,有效的改善了样本中的数据不平衡问题与数据质量问题。(3)本文将随机森林这种机器学习算法应用到日志代码这一问题领域,希望实现在源代码中添加新的日志语句时,可以高效地对当前程序上下文进行分析,并能够给出日志语句恰当的级别设置建议。通过在源代码的层面对日志消息进行恰当地分级,我们希望能够有效地避免日志消息冗余问题,同时提高日志记录的质量。最后我们通过实验验证了本方法的可行性和有效性。