并行挖掘频繁项目集新算法——MREclat

• 作 者: 章志刚 吉根林 唐梦梦
• 机 构: 南京师范大学计算机科学与技术学院
• 出 处: 计算机应用
• 发表日期: 2014年08期
• 关键词: 频繁项目集 并行挖掘算法 列存储 MAP REDUCE Eclat算法 frequent itemset parallel mining algorithm
• 基金项目: 江苏省自然科学基金资助重点项目（BK2011005）.

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加