基于深度学习的安全缺陷报告识别和缺陷定位

• 作 者: 路鹏程
• 出 处: 哈尔滨工业大学
• 发表日期: 2020年02期
• 关键词: 深度学习 安全缺陷报告识别 缺陷定位 排序学习 信息检索

近年来,随着软件规模的不断扩大,软件安全漏洞的发生也日益频繁,对软件系统安全造成了极大威胁。缺陷报告作为软件开发和维护的重要组成部分,已经成为软件安全漏洞检测的重要信息来源。通过识别出与安全漏洞相关的缺陷报告(以下简称“安全缺陷报告”),并利用缺陷定位技术定位到相关的源文件,可以帮助软件维护人员高效地识别和处理软件安全漏洞,为软件系统安全提供有效的保障。然而,目前的安全缺陷报告识别方法仍然存在类别不平衡以及噪声数据的问题,识别效果有待提升。而缺陷报告中的自然语言和源文件中的程序语言又存在着词汇鸿沟,这成为了目前缺陷定位技术的主要限制。针对上述问题,本文提出了基于排序学习和深度学习的安全缺陷报告识别方法,以及基于深度学习和信息检索的缺陷定位方法。首先,对于安全缺陷报告识别方法,不同于之前的基于安全关键词的噪声过滤方式,本文采用基于文本相似度的噪声过滤,利用排序学习技术将与安全缺陷报告文本相似度较高的非安全缺陷报告过滤掉。另外,本文采用预训练的深度学习模型BERT(Bidirectional Encoder Representations from Transformers)作为分类器,借助从预训练语言模型任务所学习到的自然语言通用特性来提高模型在安全缺陷报告识别任务上的表现。并且本文提出两次微调方案,先利用大数据集对模型进行第一次微调,再用目标数据集进行第二次微调,避免了小数据集无法充分训练模型的问题。其次,对于缺陷定位方法,本文结合了深度学习与信息检索技术。首先,利用两个经过预训练的BERT模型分别学习缺陷报告的文本与源文件中的文本及标识符的相关性,来缓解自然语言和程序语言的词汇鸿沟对缺陷定位的不利影响。另外,本文利用改进的向量空间模型计算缺陷报告和源文件的文本相似度,与BERT模型输出的相关性分数进行互补。除此之外,本文还计算了缺陷报告和源文件之间的协同过滤分数和类名相似度,最后将以上五种特征送入到特征融合层进行非线性结合得到最终的相关性分数,再根据相关性分数对源文件进行排序,将Top-k个相关性分数最高的源文件预测为与缺陷报告相关的源文件。最后,本文对所提出的安全缺陷报告识别方法和缺陷定位方法进行了实验评估。实验结果表明,本文提出的安全缺陷报告识别方法比当前最好的方法取得了更好的识别效果,本文提出的缺陷定位方法在大数据集上也取得了很好的效果。