基于时间序列分析的数据流异常值检测方法研究

• 作 者: 孙添
• 出 处: 电子科技大学
• 发表日期: 2016年01期
• 关键词: 异常值检测 时间序列分析 关联规则分析 聚类算法

近年来,离群值研究在几乎所有科学领域中都有着极为重要的应用,所以对离群数据进行检测与深入研究的理论价值和在现实中应用的意义都是举足轻重的。本文研究了基于聚类算法和非参数泰森多边形来对数据流进行异常值检测,并以空气质量指数AQI数据为例,检测了数据的异常数据,并研究了AQI数据与气象因素的相关性,以及对AQI数据进行时间序列分析,分析了离群数据在短期预测方面产生的影响,主要部分分为两部分。首先,研究了数据流离群值的发现方法,通过对一段时间内数据进行k-均值算法进行聚类,使得数据量减少,并保存聚类中心点数据,采用非参数检测方法泰森多边形方法进行异常值的检测,并与其它检测算法进行对比,得出本文所提出的方法无论在空间复杂度还是在时间复杂度都得到了明显改善。接着研究了2014年全国主要城市的空气质量指数AQI与气象因素之间的相关性,先通过相关性分析,探求与空气质量指数AQI相关性较高的因素,接着分析了空气质量指数与气象因素之间的复相关关系,并建立了线性回归模型。得到在相关因素下,各个因素对AQI的影响回归方程;并通过关联规则研究了在出现中度污染及以上污染的情况下,城市之间的关联性。最后,选取了成都市2015年的空气质量指数AQI数据,用聚类和泰森多边形的算法检测了异常值,之后对时间序列进行分析,先是利用差分算法将序列中的趋势性消除,接着对平稳的序列进行模型识别与参数估计,选取ARIMA模型进行建模,并对残差进行平稳性检验以说模型的适应性,最后采用模型进行预测。通过两种方式预测值的对比,来分析离群值给短期预测带来的作用,并结合之前相关因素的分析,分析导致产生离群数据的原因。