分布式图存储系统关键技术设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:JohnStorm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,超大规模复杂图和社交图的处理成为业界关注的热点问题。与传统数据处理相比,除规模超大外,数据往往表现为逻辑上的图结构,数据的处理表现为点和边不断迭代。传统关系型数据库在存储和处理两方面对大规模图数据的支持有限,本文主要讨论在构建分布式图数据库中存储方面的关键问题。在分布式图存储系统中,图的存储策略和划分算法对整个系统起着很重要的作用。优秀的划分算法能最大限度保留图自身结构,减少切割边规模,保证子分区内部的邻近性,这能从根本上减少处理数据时带来的网络开销。存储策略则负责为划分后的图构建存储模型,高效组织数据索引,为查询和写入提供支撑。本文着重关注三个方面,一是提高划分算法并行执行效率并保证一定划分效果;二是设计针对图数据特点的数据模型;三是针对图数据设计和实现一套可靠的分布式存储解决方案。本文所做的工作主要如下:1)首先介绍图数据库的产生和发展,然后分析当前图数据库对底层图存储系统的需求,并介绍图划分算法的分类和研究现状。最后深入研究实现分布式图存储系统所需要的相关技术。2)本文研究了当前图数据领域主流划分算法,分析各自的优缺点。对HDRF划分算法在并行执行场景下的划分效率进行优化,提升算法执行效率并保证一定的划分效果。3)本文调研了现有主流图存储设计,提出一套可靠的分布式图存储方案,保证较好的读写性能和高可用性。该方案设计专有的数据模型和存储模型,针对图数据库查询设计范围查询功能和遍历下沉机制。同时为数据提供多副本和一致性保证,设计一套不停机索引更新机制,并且能够在数据节点变动时自动调节集群的负载压力。本文对分布式图存储系统进行了功能测试和性能测试。测试表明优化后的划分算法大幅提升了划分效率,并且划分性能没有太大损失;分布式图存储系统具备一定的吞吐能力和响应能力。
其他文献
飞机在三万英尺的云层里穿梭,我的心思也跟着耳边巴赫的大提琴主曲游离开了身体。我是典型的A型血,内心世界丰富,可外表看起来很内向。这次已经不是第一次去日本长野了,也没
面对纷繁复杂的网络环境与日益多样的威胁来源,电力企业应加快采取有效手段,致力补齐传统安全防御体系的缺陷短板,实现电网安全防护等级的进一步提高。基于此,文章首先对电网
基础不牢,地动山摇。基层派出所作为公安工作的前锋部队,在公安工作中的地位不容置疑。而社区警务工作,不仅仅是基层派出所的一项业务,更是整个公安工作的一项不可或缺的业务。能否做好、做实社区警务工作,直接影响公安工作可持续推进的每一个部分,尤其体现在与群众是否能够得到有效的沟通、是否可以更好地解决关乎群众切身利益的问题上,所以打好“社区警务”这块根基,可以为公安工作的良好推进奠定厚实的基础。但当前我国社
运用有限元数值分析法对三种PCB散热结构,分别是芯片下方的PCB中埋置铜块(PCB-Ⅱ型)、PCB底部压合铜板(PCB-Ⅲ型)、PCB中间加入导热铝层(PCB-Ⅳ型)进行稳态、瞬态热分析、热阻分析以
在我国社会经济快速发展的背景下,审计成为政府或企业关注的重要内容之一,而审计监督及审计服务信息化,不仅能够有效履行审计监督的职责,而且可以有效发挥审计信息系统的网络
【正】影响葡萄酒特色及品质的因素可以很多,但最重要的不外乎三大因素葡萄、葡萄园和酿造技术。Ⅰ.葡萄-品种与质量You can make bad wine from good grapes, But nobody ca
ABB带4浆造纸部于8月17日~19日在济南召开了本年度华北区ABB制袋造纸自动化技术研讨会。研讨会旨在推广ABB的先进技术和产品,了解客户需求.聆听客户建议,有效地与客户沟通.
本文讨论了可适用于含大量噪声情形下,加权重的利用最小二乘法进行相位展开的算法。简要介绍了相位展开的最小二乘法原理,然后详细地讨论了加权重对相位展开的影响,并给出了一种
化学机械抛光过程中抛光液的流动特性取决于被抛光晶片的形状和抛光参数。采用LIF技术来实验研究晶片形状及抛光参数对抛光液液膜厚度的影响。研究表明。凸面晶片与抛光垫摩
随着精准扶贫政策正式提出和实行,我国精准扶贫建立了有力的治理结构,相关政策也不断跟进与细化,精准扶贫的举措在政治、经济、社会生活中取得了显著效果。本文基于精准扶贫的被扶贫对象满意度视角,以晋中市地区的精准扶贫工作为样本,研究地方精准扶贫政策产生的社会效果。选取晋中市贫困县作为调研地并发放问卷并实地访谈调研,运用SPSS软件对样本的的基本信息、政策满意度等状况进行了统计分析。研究发现,在精准扶贫政策