论文部分内容阅读
随着信息科学技术的不断发展进步,物联网、智慧城市、社交网络、精准医疗等事物不断融入并影响我们的日常生活工作。互联网作为信息的源头以及传播和再加工的平台,“信息泛滥”、“数据爆炸”等现象不绝于耳。目前广泛存在并应用于金融、交通等场景下的数据被称为流数据,也称作数据流。在数据流分类任务中,不仅要考虑数据流与传统数据相比所具有的新特征,例如,数据按时间顺序快速到来;也要考虑概念漂移的情况,这与传统数据有巨大的差异,因此,数据流分类作为数据挖掘的一个分支,受到越来越多的关注和研究,并成为数据挖掘领域中一个重点和热点。显然,数据流分类算法也是一种有监督学习的算法。然而,在真实的数据流环境中,带有类标签的数据是十分罕见的。为了使分类器模型有更好的泛化能力,我们需要利用那些未标记的实例,甚至查询部分历史数据的类标签。因为概念漂移的存在,所以,为了维持预测模型的精确度,通过人力标记部分具有代表性的实例来更新训练集,是非常有必要的。但是,人工标记的过程经常是耗时且昂贵。针对这些情况,本文主要做了三方面的工作:(1)数据流分类和主动学习相关技术。主要介绍了数据流的特点、处理模型和方法。然后介绍了经典的数据流单分类器算法和集成分类器算法。接着,指出真实数据流环境所面临的缺少足够可用标记数据的问题,引出主动学习的概念、传统主动学习模型和适应于数据流环境的增量式主动学习框架。最后,介绍了主动学习挑选实例的三大准则和数种常见的基于流的主动学习策略。(2)融入证据的数据流主动学习策略。针对真实数据流环境中标记数据不足的客观情况,在分析现有基于流的主动学习策略的基础上,提出了 Esplit策略,在边界区域挑选实例的时候考虑实例低确定性的原因。针对数据流的单次扫描限制和动态性,提出加权证据量,引入窗口机制和动态阈值,尽可能的选择证据量高的不确定实例,从而保证挑出高价值的无标记实例进行标注。同时,使用随机策略保存当前数据流的分布状况,更及时地发现概念漂移。(3)基于主动学习的数据流分类器EDCA。考虑到数据流环境中,常用的集成分类器模型,结合主动学习策略,提出了 EDCA算法。将基于流的Esplit策略调整成基于块的策略,通过随机策略保存该数据块的分布情况,客观估算权重;通过基于证据的不确定采样策略提高分类器的泛化能力。本文使用四个真实数据集进行对比实验。并且,通过主动学习策略和EDCA算法的平均精度实验和参数敏感性实验,证明了策略和算法的有效性和正确性。