【摘 要】
：
在大数据时代,每天都会产生大量的数据,而在这些产生的数据中有很大部分是重复数据,如何对海量重复数据进行快速检索越来越受到人们的关注。Bloom Flter作为一种轻量级的数据
论文部分内容阅读
在大数据时代,每天都会产生大量的数据,而在这些产生的数据中有很大部分是重复数据,如何对海量重复数据进行快速检索越来越受到人们的关注。Bloom Flter作为一种轻量级的数据结构在数据的检索中受到 了广泛的应用,但是Bloom Filter也存在着不足之处,由于其是一种概率型数据结构,故在数据的检索中存在误判的发生,同时Bloom Filter只针对于静态数据集的表示与查找,而不能进行动态扩展存储。近年来,针对Bloom Filter以上所提到的不足之处存在多种改进,其中拆分Bloom Filter和动态BloomFilter实现了元素的动态增长存储,从而解决了 Bloom Filter静态存储的问题,并且能够有效地减少误判率,但是拆分Bloom Filter和动态Bloom Filter却增加了元素的查询时间开销。本文根据当前Bloom Filter的动态存储以及查询等问题,提出了多路平衡型矩阵 BloomFilter(Multi-groups Balance Matrix Bloom Filter,M-BMBF),M-BMBF根据数据集合大小建立一个r×m矩阵型Bloom Filter,设计多个定位哈希函数将该矩阵Bloom Filter分为多组(多路)以实现平衡插入和高效查询操作。为减缓BloomFilter中比特的消耗速度,应用一种“最长位匹配”填充方式,新元素的插入将从多路备选Bloom Filter中选择新置为1比特个数最少的Bloom Filter中进行。HDFS是一种开源的分布式文件系统,为了保证文件的可靠性,通常在HDFS中会存储文件的多个副本,默认是3个,当用户每一次向HDFS中上传同一个文件时,在HDFS中都会保留该文件的多个副本,故在HDFS中存在着大量的重复数据,而HDFS对用户所上传的重复数据并没有做出有效的处理,都将其视为新数据写入系统中,同时还在系统中保留多个副本,导致存储空间的极大浪费,本文最后在对HDFS进行深入的分析和研究的基础上,设计和实现了一个基于M-BMBF的HDFS重复数据删除系统,并对系统进行了测试,实验结果表明,相较典型拆分Bloom Filter，M-BMBF能在维持算法消耗时间为常量的基础上,有效节省存储空间,降低误判率,同时通过M-BMBF算法能够通过快速判断重复数据从而节省数据上传到HDFS的时间以及节省HDFS的存储空间。
其他文献
互联网普及的今天,网络服务提供者利用网络来实施违法犯罪活动的现象日益泛滥。近年来,国家在立法和司法上都给与了相应的制度供给。然而,网络服务提供者帮助行为的特殊性和相关司法适用标准的粗疏性,使得各刑事责任模式间界限模糊,相关司法适用率不高。为了充分发挥网络犯罪立法的功效,必须对网络服务提供者帮助行为刑事责任模式进行探析,解决各模式之间界限不清、责任竞合等问题,并以责任模式为依据,对相关罪名的构成要件
科技成果未来收益权是指科技成果许可使用费或转让费所产生的可预期的未来债权,科技成果收益权资产证券化即指将诸多科技成果的未来收益债权组合成基础资产池并将其资产组合
随着半导体工艺的特征尺寸不断减小,器件开始出现了短沟道效应。该效应使得器件在亚阈值时漏电流增大,并且使器件的阈值电压也随之降低,最终导致器件组成的芯片功耗增大和性
在“大众创业,万众创新”的口号提出后,银行对于小微企业的关注度越来越高,随着小微企业发展的增速,银行对于小微企业信贷支持的意愿也不断提高,农商行也不例外。但是在这样
目前在我国专利申请和审查的过程中,已经有越来越多的申请人在申请过程中要求优先权,但是也有很多的申请人由于对优先权中"相同主题"的理解不够透彻,从而在专利撰写的过程中
在高温胁迫下，植物会发生热激反应（Heat shock response, HSR），能诱导植物产生热激蛋白（Heat shock protein）。热激蛋白作为分子伴侣协助变性蛋白的降解和运输，以保护细胞内环境的稳
锂离子电池作为目前应用极为广泛的二次能源储存装置,如何提高电池的各项性能,一直是众多研究人员努力的方向。在电池负极材料的选择方面,锂金属由于其极高的理论比容量(3861mAh/g)和极低的电极电位(-3.040vs氢标),堪称是锂二次电池的理想负极材料。然而,将金属锂直接作为负极材料应用在锂电池内部,仍存在很多尚未解决的难题。其中最为突出的,就是锂负极在电池充放电循环的过程中的枝晶生长问题。锂枝晶
话语标记在很多语言中普遍存在,汉语亦不例外。话语标记的习得与运用研究近些年已经成为对外汉语研究领域的一个热门课题。汉语话语标记来源多元,功能繁杂,“一锅烩”式的研究很难看清其真正面貌,因此需要开展专题性的深入研究。本文在相关本体研究的基础上,对来华留学生意外话语标记的理解与运用情况进行专门考察,以期为汉语话语标记特别是意外话语标记的对外汉语教学提供一定的参考和借鉴。本文具体分为以下几个部分:第一部
当今,使鹿鄂温克民族走出森林,在迅猛发展的城镇体系中生活,从消费市场背后,揭露出一些事实,有意识的关注和研究当地的民间民俗与艺术上的现象,当地民俗文化与民间美术渐渐地
当前,在网络机房的管理方面很多采用24小时专人进行值班管理的方式,对机房内的环境以及设备定时的进行检查,但是这样的方式一方面对工作人员来说会有较为严重的负担,另一方面是无法对相关故障做好及时的排查,而对事故具体发生的时间和责任没办法做到较为科学的监管把控。所以,为了可以实现对机房相关设备的统一监控与处理,为维护人员的工作减轻压力,提高实际管理水平,实现机房的网络化以及物理环境集中监控管理,设计出了