基于Web日志的并行化聚类算法研究及应用

来源 :安徽理工大学 | 被引量 : 0次 | 上传用户:sfeixxx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息技术快速发展的同时带来了网络上信息含量的猛增。从大量冗余信息中快速准确获取目标内容变得不那么容易了。然而用户最期望可以直接略过自己不感兴趣的信息,快速直接的获取需要的内容。网站经营者则希望通过用户的访问记录挖掘用户的行为模式,然后对站点结构做出调整,更好进行商务推广活动。无形中加深了信息获得和供给的矛盾。本文正是基于这种矛盾提出以Web日志数据为基础对用户群体的行为模式进行聚类分析。为解决存在的矛盾冲突提出了一些方案。在仔细研读关于Web日志数据的聚类挖掘文章,分析和理解被提出的各种相关理论和方法后。本文提出了一种并行化的聚类算法,而且应用在现实Web日志数据上取得了极佳的聚类效果。因为实际中的日志数据质量并不能满足聚类要求,所以在聚类前有必要执行预处理步骤。预处理中比较重要的部分是能够利用提出的多条件约束法去准确识别用户。然后通过实验设置STT值进行用户会话的识别。为了后续聚类方便,需要识别用户的事务,采用改进的事务识别算法可以很好的区分导航页和内容页,进行有效事务识别。接下来针对K-Means需要人为随机给出聚类的个数K,以及每个类的中心数据点的缺陷。本文首先改进Canopy算法,克服阈值T1、T2的缺陷获得Canopy个数,成为K-Means算法所需的k值,所有Canopy中心点都成为K-Means初始聚类中心。然后通过实验验证将算法并行化到Hadoop集群上能在提高平均准确率到94.67%的基础上,降低了算法的执行时间。最后以Web日志数据为基础设计了能对用户行为进行分析聚类的系统,验证了理论上的研究也可以运用到实际操作中。图32表9参82
其他文献
级配碎石为无结合料的颗粒材料有着良好的排水性能、保温性能以及不传递裂缝尖端应力应变的性能,作为半刚性路面的上基层时能够抑制半刚性基层因干缩和温缩产生的反射裂缝。因此,本文运用ABAQUS仿真模拟软件以更符合实际的矩形非均布荷载来分析复合式基层沥青路面的力学特性。首先,基于弹塑性理论分析了在不同轴重作用下,级配碎石层厚度和模量的变化对路面结构力学指标的影响。结果表明:轴重对于路面力学指标的影响最大,
在我国目前经济快速发展的背景下,交通的拥堵问题越来越严重,特别是在多数人选择涌入工作、生活的城市,交通问题尤为严重,堵车成为了一种常见的现象。为了交通拥堵的缓解和大气污染的减轻,地下交通应运而生。但是由于地铁施工环境的特殊性,一旦发生事故会造成严重的危害,特别是模板及其支撑体系的设计不合理极易造成事故的发生。本文以南京至句容城际交通轨道工程为依托,结合该工程所在地的具体情况,对深基坑的模板、支架体
近年来我国城市道路的里程不断增加,由于道路施工质量和使用时间的关系,道路的养护和治理就成为了目前我国道路的一个新的难题。近年来发展较为迅速的地质雷达法由于发展时间较晚,雷达图像的识别和解释缺少大量的实例进行佐证,导致其识别的准确度较差,并且容易受到工作人员的主观影响。基于上述问题使用数值模拟技术和建立物理模型对道路常见病害进行研究。本文主要研究内容如下:(1)分析了城市道路地下空间常见病害类型及形
近年来,皖江城市带示范区发展受到社会高度关注,其中,针对皖江城市带对周围区域产业转移的问题,国务院于2010年正式批复《皖江城市带承接产业转移示范区规划》。同时,皖江城市带区域的城市牢牢把握这次机遇,使得经济不断发展,在承接产业转移的工作方面起到重要作用。此外,在2016年5月的国务院常务会上关于《长江三角洲城市群发展规划》被通过,该规划将皖江城市带全部融入到长江三角洲城市群中。物流产业是区域经济
在竖向荷载V与水平荷载H共同作用下桩基础的承载机理较为复杂,若按小变形迭加原理且不考虑竖向荷载V与水平荷载H之间相互影响的桩基设计方法,与桩基实际作用机理不符。因此,笔者对V-H联合作用下扩底桩的承载特性进行了深入研究,为扩底桩基础设计、施工等提供可靠的依据。本文在淮南市某小区扩底灌注现场静载荷试验及桩基础设计方案的基础上,利用非线性三维ABAQUS有限元软件对单方向荷载、组合荷载作用下大直径扩底
旋锻工艺是对棒材、线材以及管材等坯料施加高频径向锻打力,并使坯料受径向压缩锻造力而按模具型面成型的一种方法,它也是一种局部而连续、无屑且精密的金属成型加工工艺。采用旋转锻造的零部件,不但具有连续的纤维流线,还能通过加工硬化提高其强度,同时还可以变实心结构为空心结构,以达到轻量化减材的目的。目前旋转锻造的送料基本是采用机械和液压加持匀速送料,由于模具在下行过程中坯料也会被送进,坯料由于旋锻模具的阻挡
本文针对宁夏王洼煤业有限公司银洞沟矿2#煤层常温易氧化,成为煤自然发火的重要隐患,严重威胁到煤矿安全生产问题,开展研究2#煤自燃特性研究,做好煤自燃的早期预测预报工作,
茶空间是茶文化精神的载体,其在传统文化中的影响不言而喻。中国的茶空间以“竹和空间”进行组合的方式已经根植于历史与文化中,因此深层次挖掘竹材特征,以及探究如何将其更好的运用在茶空间设计上,有重大的研究意义。本文根据对茶空间的情感化需求,引入语义、风格、样本三个变量进行分析,首先通过对设计师调研与书籍查阅提取相关语义,最终得到9组情感化三层次词汇;其次通过用户调研得出四种用户模型,分别对应相应的情感化
社交网络上影评文本中的不同句子具有不同的情感贡献值,且文本语句具有复杂化和多样性等特点,导致关键句中的重要信息无法有效提取,进而影响影评情感分析的准确性。为了解决这个问题,本文提出了一种基于关键句语义规则和领域情感词典的影评情感分析方法,以提高影评文本情感分析的准确性。首先提取包含关键信息的影评文本情感关键句,然后扩展影评领域情感词典,最后结合语义规则对影评文本进行情感计算。主要研究内容如下:(1
随着社会的快速发展,基础设施建设的加快导致水泥的需求量日益加大,但是发展所带来的环境问题也日趋严重,因次以降低水泥用量,保护环境为目的,将偏高岭土、超细粉煤灰和硅灰三种高活性矿物掺合料来取代水泥,相比于传统矿物掺合料粉煤灰和矿渣,高活性矿物掺合料会使得混凝土力学性能更优异,耐久性能更好。通过正交试验和平行组试验,分别探究高活性矿物掺合料单独取代水泥或者两两复掺或者三者复掺取代水泥对混凝土力学性能的