异构分布式环境中的并行离群点检测算法

• 作 者: 王习特 朱宗梅 于雪苹 白梅
• 机 构: 大连海事大学信息科学技术学院
• 出 处: 湖南大学学报:自然科学版
• 发表日期: 2020年10期
• 关键词: 离群点检测 异构分布式 网格 数据划分 outlier detectionheterogeneous distributiongriddata partitio
• 基金项目: 国家自然科学基金资助项目(61602076,61702072,61976032),辽宁省自然科学基金资助项目(20180540003),中国博士后科学基金面上项目(2017M611211,2017M621122),国家重点研发计划项目课题(2017YFC1404606),中央高校基本科研业务费专项资金(3132019202)

离群点检测是数据挖掘领域研究的热点之一,主要目的是识别出数据集中异常但有价值的数据点.随着数据规模不断扩大,使得处理海量数据的效率降低,随即引入分布式算法.目前现有的分布式算法大都用于解决同构分布式的处理环境,但在实际应用中,由于参与分布式计算的处理机配置的差异,现有的分布式离群点检测算法不能很好地适用于异构分布式环境.针对上述问题,本文提出一种面向异构分布式环境的离群点检测算法.首先提出基于网格的动态数据划分方法(Gird-based Dynamic Data Partitioning,GDDP),充分