基于聚类和密度的离群点检测方法

• 作 者: 陶晶
• 发表日期: 2014年期
• 关键词: K-means聚类 LOF方法 惩罚因子 L1正则子 离群点

离群点检测方法已经在统计和机器学习领域引起了越来越多的关注，因为它广泛的应用于机器故障检测、信用卡欺诈检测、网络入侵检测和股票市场分析等领域。离群点就是数据集中那些明显不同于其他点的特征的数据点。根据模型的性质，现存的离群点检测方法可以分为以下几类：基于统计分布的方法、基于距离的方法、基于密度的方法、基于聚类的方法和基于模型的方法等。尽管离群点检测领域有如此繁荣的发展，但现存的方法在使用上仍存在一定的限制。本文主要针对k均值聚类方法和基于密度的经典的局部离群因子检测方法（Local OutlierFactor，LOF）进行改进。本文的主要工作包括：（1）本文先应用k均值聚类方法将数据集分类。我们认为分布在类中心附近的点是离群点的可能性很小，因此将这样的点从各类中剪枝。之后，我们计算剩余数据的LOF值。通过剪枝数据集，有效的减少了LOF的计算量。最终我们在剩余数据集中选出LOF值最大的前n个点作为离群点。以LOF方法作为基础比较算法，通过在人工数据集和真实数据集上的实验结果表明，本文给出的算法在保证较高的算法精度的同时，能够有效降低算法运行时间。（2）根据k均值聚类算法对离群点敏感这个特点，本文给出了一种带L1惩罚因子的k均值聚类离群点检测方法[30]。本文选择L1惩罚因子，是由于L1正则化能够产生稀疏解，并且相对容易求解。因此本文将L1正则化方法融入到离群点检测的问题中，并最终通过实验验证了本文给出的方法的有效性。最后本文指出了上述两种方法的未来研究方向。