基于机器学习的软件缺陷预测方案研究

• 作 者: 李梦奇
• 出 处: 北京邮电大学
• 发表日期: 2019年01期
• 关键词: 软件缺陷预测 采样方法 特征降维 机器学习

随着网络科技的快速发展,用户对于软件的质量也提出了更高的要求。软件缺陷是影响软件质量的最大因素,软件缺陷的检测成为软件上线前的必经步骤。然而通常一个软件的体量非常巨大,如果要检查全部软件代码,花费的成本也是巨大的。软件缺陷预测的提出正是为了解决这一问题,将检测的人力物力更好的分配到可能有缺陷的地方,既可以提高效率又可以节省成本。本文针对基于机器学习的软件缺陷预测中对特征关联性考虑不足和无标签预测问题深入研究,从多个角度入手以提高预测的曲线下面积(Area Under Curve,AUC)指标,相比准确率指标更好的表达较少的有缺陷类的预测效果。论文主要成果有:首先,针对软件缺陷预测中分类的不平衡性,即与正常代码部分相比有缺陷的部分往往占少数,提出了新型的上采样方案。方案中增加了类内离散度信息与支持向量清洗策略,使得新样本分布更均匀。通过与多个上采样方案在多个软件缺陷预测中流行的机器学习方法上进行实验对比,证明了所提出的上采样方案取得了更高的AUC值。其次,从特征入手,根据每个特征对最终预测效果的影响程度对原有的特征进行筛选,提出一套特征筛选与预测为一体的方案。方案分别从正向增加特征与反向减少特征两个方面进行特征筛选,把噪声特征筛除的同时完成了特征的降维。实验结果表明,该方案与前人提出的特征降维预测方法对比,在AUC指标与时间复杂度上更优。最后,考虑到很多软件并没有多个版本的迭代,即没有标记好的数据,这就需要无监督学习来解决。本文提出了基于主要特征的自动标记方案,将分组后的特征映射到低维特征空间并使用聚类标记,最终在多个数据集上进行实验验证,结果表明该方案的AUC指标均有所提高。