相似性度量的研究及其在数据挖掘中的应用

• 作 者: 黄彧
• 发表日期: 2009年01期
• 关键词: 空间覆盖 相似性度量 分类算法 特征选择算法 时间序列 信息抽取

相似性度量是人工智能的基础问题之一,它涉及数据挖掘、机器学习、自然语言处理和信息检索等多个领域。传统的许多分类,聚类,特征选择算法的性能在很大程度上依赖于一个好的相似性度量。一些常见的相似性度量方法如Minkowski距离,Euclidean距离,Mahalanobis距离,Manhattan距离和Cosine Angle距离等已被广泛使用,这些相似性度量方法往往存在这样或那样的缺陷,如为了计算的统一性需要转换不同类型的属性,从而可能改变数据的原意或是丢失一些信息。但是实际应用中的许多数据集往往包含多种类型的数据,因此,设计一种好的相似性度量显得至关重要。本文将相似性度量的概念加以推广和扩充。从数据空间覆盖关系的角度提出一种新的相似性度量方法,并在此基础上设计和实现了相应的两种算法:(1)基于数据空间部分覆盖的分类算法(PCC)(2)基于动态部分覆盖的特征选择算法(DPC)。在UCI机器学习公共数据集和来自于实际应用中的化工产品的毒性预测数据集上的实验结果说明这两种新算法的有效性和与传统的的数据挖掘算法的可比性;我们也结合邻近集计算的相似性度量思想提出了一种基于时间权重邻近集计算的算法,在基于历史数据经济数据分析领域中的股票市场预测上取得了良好的效果;采用有序树匹配的思想,提出了基于页面结构相似性度量的WEB页面聚类方法,并应用于WEB信息抽取中。实验结果体现了这些新的相似性度量方法是对现有的相似性度方法的有效补充,具有广泛的应用基础。