基于云计算的大规模网页日志挖掘研究

来源 :电脑知识与技术:学术交流 | 被引量 : 0次 | 上传用户:missile60
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网上的数据规模大、种类多、变化快,而且越来越复杂。通过数据挖掘和分析,可以获取有潜在价值的信息。但是,传统的数据挖掘系统在数据存储和计算性能上存在瓶颈。通过使用云计算技术,设计了一个基于Hadoop架构的网页日志数据挖掘和分析平台来解决这个问题。同时,为了提高挖掘效率,为大规模网页日志挖掘实现了Apriori算法的并行化,并使用该平台验证了该行算法的效率。
其他文献
以储粮害虫为研究对象,阐述了小波去噪的基本原理和高频系数置零、硬阈值法、软阈值等几种方法,并提出了一种改进的小波阈值去噪方法,比较了这几种方法在粮虫图像去噪上的优缺点。实验结果表明,改进的新阈值方法能更好的去除噪声,收到更好的效果。
盛世重收藏。在收藏、拍卖界十分被看重的中国嘉德2008秋季拍卖会将于11月7日至11月12日在北京嘉里中心饭店隆重登场。
随着我国社会经济的不断发展,我国的煤矿开采业取得了显著的成就,但是新经济形势的发展给煤矿业的发展提出了新的要求。这就给煤矿企业带来了新的挑战,需要加强对煤矿行业的
叙述了煤矿采煤方法与技术选择的影响因素和选择原则,具体介绍了煤矿采煤方法,最后对煤矿采煤技术进行探讨,以期为相关技术与研究人员提供参考。
本文针对农业劳动力流动对中国经济增长的贡献,在二元经济结构和增长源核算框架下给出新的度量和结果。研究发现:(1)采用劳动再配置效应经典公式评估这种贡献时,通常会产生漏
随着中国经济的飞速发展,煤矿产业成为了促进中国经济发展的重要支柱。煤矿在进行采煤时应遵循安全性、经济性、高产性的原则,更新改革煤矿采煤方法和技术是提高采煤效率的有
“双师型”教师是在教学工作中能够把专业理论与生产实践有机结合的教师,其成长具有阶段性、长期性、多端性、循环性的特点。探讨“双师型”教师成长过程,对加强“双师型”教师
目前,我国道路交通运输业投入很大,道路数量和规模也日益增大,道路施工质量问题也频频发生。造成道路施工质量问题因素诸多,以施工技术问题最为突出。本文就道路施工技术中常
应用正交试验设计法对氢化物发生1CP-AES法测定环境样品中痕量汞的工作参数进行了选择.工作参数有高频发生器功率、载气流量、火焰观察高度、试样酸度、硼氢化钠浓度、进样量
Mobile Agent技术是随着网络应用的日益深入而发展起来的一项新兴技术。Mobile Agent技术的智能性和移动性,不仅降低了网络负载,而且提高了通信效率;此外,其支持异步自主交互