C4S2-100:基于Hadoop的海量数据处理及挖掘的研究

来源 :第二届中国云计算与SaaS大会 | 被引量 : 0次 | 上传用户：cmudh134

【摘要】

：

云计算与数据挖掘的结合是当前信息处理技术领域研究的重要课题,其中海量数据处理及挖掘是其研究的难点之一.MapReduce是一种简化并行计算的分布式编程模型,通常用于海量数据的分布式并行计算.本文详细介绍MapReduce的工作流程以及Apriori关联挖掘算法,并分析Apriori算法在分布式环境中的应用,最后,通过实验研究了MapReduce模型的工作方式和应用方法.

【作者】

：

周奇年陈玲玲李革

【机构】

：

浙江理工大学信息电子学院, 杭州310018 浙江理工大学机械与控制学院, 杭州310018

【出处】

：

第二届中国云计算与SaaS大会

【发表日期】

：

2011年7期

【关键词】

：

云计算数据挖掘 Hadoop MapReduce Apriori

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

会议

会议

会议

会议

会议

西门子 COMOS 智能化集成设计,运营平台暨数字化药厂设计,管理,验证与运营解决方案介绍

会议

自动化和信息化——确保药品质量的必经之路

会议

C4S2-068:基于云计算的大规模定制客户需求响应模型及其节点的选择与分布研究

云计算为大规模定制解决个性化定制和模块化生产的融合提供了现实的依据和信息技术上的支持.本文在分析云计算平台体系架构和大规模定制客户需求响应服务特点的基础上,研究大规模定制中为了有效处理客户需求信息该如何选择与分布云计算平台中的关键节点的问题,提出基于云计算的大规模定制客户需求响应模型,并提出一种以客户需求关联度为衡量指标的关键节点确定算法.

会议

云计算大规模定制客户需求响应模型

C4S2-082:一种无纠缠态的量子秘密共享协议

秘密共享是指将一个秘密按适当的方式进行隐藏或拆分,只有若干个参与者一同协作才能恢复该秘密,该技术在云计算领域中能够确保信息安全和数据保密.本文提出了一种不使用纠缠态的量子秘密共享协议,通过使用量子密码算法、两个量子态的比较和量子一次一密方法,确保系统的安全性.该协议具有以下优点:(1)相比传统的基于数论的秘密共享协议,本协议由于使用量子通信的技术,从而能够有效抵抗Shor 算法攻击.(2)相比其他

会议

量子秘密共享量子态比较纠缠态

C4S2-094:基于MapReduce的高铁噪声数据预处理算法研究

随着高速铁路的快速发展,安全问题受到越来越大的关注,传感器采集的噪声数据反映了列车的运行状况,并与列车的安全息息相关.随着数据集的增大,数据处理的效率显得尤为重要,目前还无法高效地处理海量的噪声数据.本文利用了并行计算的思想,提出了一种基于MapReduce的海量高铁噪声数据预处理算法.在Hadoop平台上进行实验分析,证明该算法可以有效的提高海量噪声数据预处理的效率.

会议

噪声高速铁路MapReduceHadoop并行

C4S2-100:基于Hadoop的海量数据处理及挖掘的研究

其他学术论文