【摘 要】
:
集合相似连接(set similarity join)是指在给定的数据集中,按照基于集合间覆盖关系的相似度计算方法来衡量数据之间的相似度、并找出所有相似度不小于给定阈值的数据对的操作。集合相似连接作为一种新的基本操作在很多领域中有重要应用。随着社会网络、移动应用以及在线服务的发展,使得数据收集的效率和规模得到了很大的提高,同时给相似连接操作带来新的挑战。根据集合相似的必要条件,提出了相似集合之间的
【机 构】
:
Key Laboratory of Data Engineering and Knowledge Engineering(Renmin University of China), Ministry o
论文部分内容阅读
集合相似连接(set similarity join)是指在给定的数据集中,按照基于集合间覆盖关系的相似度计算方法来衡量数据之间的相似度、并找出所有相似度不小于给定阈值的数据对的操作。集合相似连接作为一种新的基本操作在很多领域中有重要应用。随着社会网络、移动应用以及在线服务的发展,使得数据收集的效率和规模得到了很大的提高,同时给相似连接操作带来新的挑战。根据集合相似的必要条件,提出了相似集合之间的差异度。利用差异度和鸽巢原理,提出了一种新颖的基于数据划分的集合相似连接计算方法,该方法对集合进行自适应的均衡划分,并利用基于划分块的过滤方法来提高过滤的效率。为了进一步提高过滤的效果和相似连接的效率,利用划分块的位置信息提出了增强的过滤方法。针对提出的方法,在不同的环境下进行了实验,实验结果表明,该方法与已有的方法相比可以有效地提高相似连接的效率。
其他文献
多Agent系统中,Agent间通过形成联盟达到提高任务求解能力,获取更多收益的目的。主要关注联盟模型的改进和联盟形成阶段的改进,基于ARG(agent,role,group)元模型和学习机制提出了一种采用角色和学习机制的新联盟模型CLAR;在采用合同网协议的CLAR联盟模型中提出了两阶段联盟形成机制;通过捕食者问题实验验证了角色和学习机制的作用,以及两阶段联盟形成机制在减少通讯代价上的作用。
提出了一种自适应三维美工树木骨架提取算法。该算法主要由前处理、骨架提取和后处理三个步骤组成。前处理阶段依次完成预计算操作,包括对具有几何相似性的子枝进行聚类,自适应生成每个子枝点云的聚类长度阈值,确定子枝之间的父子关系等;骨架提取阶段实现对每个子枝点云的聚类,及其对应骨架点、骨架曲线的生成等操作;后处理阶段完成孤立骨架节点去除,整棵树所有骨架曲线光滑化等处理。该树木骨架提取过程完全由计算机自动完成
微博数据具有实时动态特性,人们通过分析微博数据可以检测现实生活中的事件。同时,微博数据的海量、短文本和丰富的社交关系等特性也为事件检测带来了新的挑战。综合考虑了微博数据的文本特征(转帖、评论、内嵌链接、用户标签hashtag、命名实体等)、语义特征、时序特性和社交关系特性,提出了一种有效的基于微博数据的事件检测算法(EDM)。还提出了一种通过提取事件关键要素,即关键词、命名实体、发帖时间和用户情感
不确定数据流上的Skyline查询技术逐步引起研究者的关注,传统的集中式流处理算法难以满足海量数据的查询需求,并且云计算所提供的海量计算资源和有效的存储管理模式,为研究并行Skyline查询技术提供了充足的条件。基于上述事实,提出了一种不确定数据流上的并行Skyline查询算法(PSUDS)。该算法通过交叉划分滑动窗口的方式,将集中式流查询转化为并行处理,以并行执行的方式来解决集中式算法处理性能不
随着DNA微阵列技术的出现,大量关于不同肿瘤的基因表达谱数据集被发布到网络上,从而使得对肿瘤特征基因选择和亚型分类的研究成为生物信息学领域的热点。基于Lasso方法提出了K-split Lasso特征选择方法,其基本思想是将数据集平均划分为K份,分别使用Lasso方法对每份进行特征选择,而后将选择出来的每份特征子集合并,重新进行特征选择,得到最终的特征基因。实验采用支持向量机作为分类器,结果表明K
虚拟化技术在云计算中广泛应用。传统虚拟化技术对操作系统的一些操作都进行了捕捉与封装,使其越来越复杂,同时也影响了操作系统的性能。针对众核平台的发展趋势和特点,面向众核平台设计并实现了一个轻量级的高性能虚拟机监控器——蜂鸟(Trochilidae)。多操作系统可以同时运行在此虚拟机监控器之上,同时对操作系统性能无损失。在提供传统虚拟机监控器功能的基础上,蜂鸟的代码量仅4000行左右(包括汇编与C代码
实例位置模糊在许多领域里都有着非常重要的应用,比如生物医学图像数据库和地理信息系统(GIS)。研究了实例位置模糊的空间co-location模式挖掘问题。定义了实例位置模糊的空间co-location模式挖掘的相关概念,包括实例位置模糊、位置参与率等;给出了基本算法来挖掘实例位置模糊的co-location模式;提出了两种改进算法,即基于网格的距离计算和减枝候选模式,以提高挖掘性能,加快co-lo
实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成。确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间。现有针对一般程序的估算方法需要标注对象程序中子程序执行次数的取值范围。然而,CEP程序较为复杂,难以直接获知子程序执行次数的取值范围。虽然执行次数间存在关联关系,可以间接求解出取值范围,但这样得到取值范围不够严格,
当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务、移动对象管理网上购物和市场监控等各种实际应用中。不确定Skyline查询作为不确定数据管理的一个重要方面,由于其在决策制定、市场分析、环境监控和数据挖掘等方面的重要作用,近年来在数据库和网络计算领域受到广泛关注。首先,概述了各种不确定数据类型上的Skyline查询定义,包括离散、连续概率分布模型以及不完全数据上的Skyline查询
数据库外包是将数据库管理工作外包给专业第三方,而数据库外包中需要解决的关键问题之一是查询结果的验证。提出了外包追加型数据库的问题。根据外包追加型数据库的特点,在现有验证数据结构的基础上,提出了一种新型验证数据结构Min-Max Hash Tree,可以有效地解决客户对查询结果进行验证的问题。对于数据所有者端,给出了基本的数据发送算法;对于服务提供商端,分别给出了一次性查询和连续查询的查询算法和查询