基于分布式倒排索引的频繁项集挖掘

• 作 者: 李雪迪 郑彦
• 机 构: 南京邮电大学计算机学院
• 出 处: 计算机技术与发展
• 发表日期: 2016年3期
• 关键词: Eclat算法 频繁项集 倒排索引 并行计算 Eclat algorithm frequent itemset inverted index parall
• 基金项目: 国家“863”高技术发展计划项目（2006AA01Z201）

频繁项集挖掘是关联规则挖掘中的核心，其直接影响了频繁项集的产生效率。针对Eclat算法在挖掘海量数据中的频繁项集时存在的内存和计算资源不足等问题，文中设计了通过分布式倒排索引实现频繁项集挖掘的DiiEclat算法。倒排索引等同于将数据垂直分布，按事务编号的不同将倒排索引分布式地存储在不同的索引节点上，每个节点上的事务分别做交集，最后由检索代理合并交集结果。在chess、mushroom、T40IIOD100K和T1014D100K数据集上，对DiiEclat、Eclat、Diffset等算法进行了实验对比