论文部分内容阅读
异常检测旨在从数据集中快速有效识别异常点，在金融数据分析、网络安全等领域被广泛应用。而以物联网数据为代表的高维数据流具有海量、异构有噪声，实时性要求高等特性，这使得传统的数据分析算法检测出异常点的效果不明显，而且时间复杂度高，具有潜在的局限性。高维数据流的异常检测面临着一定的挑战。针对高维数据流的特点和应用背景，本文分别提出了一种高效的实时数据异常检测算法和一种改进的趋势分析算法。经仿真实验和以电梯传感器数据流作为检测对象的测试分析，算法均表现出了较高的可靠性。主要的工作内容如下： （1）基于高维数据流的特点和已有角度方差算法时间复杂度高等问题，提出改进的基于角度方差的异常检测算法HDSOD。结合信息熵理论对高维数据流保留价值信息，达到降维的目的；采用网格划分思想，构建了最佳数据集网格和最近数据集网格的小规模数据流计算集，以此计算最新数据点的角度方差异常因子，并通过实时更新网格的机制保证数据检测精度。 （2）提出了一种改进的数据流趋势分析算法。根据实际的应用需求，基于数据流变化的剧烈程度，选择使用不同的算法对其进行趋势分析，从而提高了数据流趋势分析的精度，为所监控数据对象提供故障预警和重要的决策支持。 （3）以电梯异常检测和故障预警为应用目标，将异常检测算法和改进的趋势分析算法用于分析电梯传感器数据流。仿真实验结果表明，异常检测算法能有效对监控对象提供实时异常检测和故障预警，本文提出算法更适用于实时性要求高的物联网高维数据流的异常检测。