一种大规模图数据处理关键技术的评估模型

来源 :第二届CCF大数据学术会议 | 被引量 : 0次 | 上传用户:cuidayue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社交网络、知识图谱等图应用的不断发展,对亿万个顶点级别大规模图的处理能力的需求愈加迫切,这是当前海量数据处理领域的研究和开发热点.但是,目前并没有一个全面的评估模型来衡量和比较当前主流框架的适用场景及利弊.针对以上问题,本文全面分析和总结了大规模图数据处理的四个关键问题,包括图数据分布策略、磁盘数据组织策略、迭代编程模型、消息模型与同步策略等.结合主流的大规模图处理框架,建立了评估模型定量地分析这些关键问题对大规模图数据处理的影响,对未来图计算框架的设计具有指导意义.最后通过全面的实验评测证实了本文提出的评估模型的有效性在测试结果中发现了如下不同寻常的现象:与图数据边分割相比,通常认为更快的顶点分割方法(如PowerGraph)虽然在邻域算法上运行时间确实能够达到边分割的50%左右,但是在非邻域算法上时间开销却是边分割的3倍;与同步策略相比,异步策略可以减少约20%~30%的总计算量,但在稠密图上由于细粒度的锁冲突,其运行时间反而可能达到同步策略的2倍;当数据集达到4千万顶点和13亿条边时,基于磁盘的MapReduce比基于内存的Giraph等框架性能反而更高.
其他文献
<正> 汉族之称始于汉朝。这一族体在先秦时称夏或华夏。关于夏族或华夏族的形成,有一种流行的说法,认为他是周朝时由夏人、商人、周人才融合而成的。这种说法,虽很普遍,似成定论,却有不少问题和弊病。这既不符合民族形成的一般规律,也不符合我国历史的发展史实。根据民族形成的一般规律和对我国先秦民族史的研究,我认为夏族或华夏族形成于我国
ITU-TSG15组(传送网、传输系统与设备)国内对口研究组于1998年7月7日至11日召开了工作会议。共有27个单位的33位代表出来了会议。会议由SG15国内对口研究组组长单位、邮电部第五研究所副所长任顺尧主任高
一部《唐山大地震》的电影让人们更加熟悉了唐山,这座从地震废墟中崛起的城市,如今已是高楼林立。走在唐山市区和辖内各县区,随处可见一片片风格迥异的别墅群更能称得起当地
1 为什么用音箱 一般的收录机、电视机等的扬声器均有不错的中高频,但低音不佳。所以,音箱是为获得较好的低频效果而使用的。2 如何判断音箱的优劣 用耳朵听。3 既然是“用
1997,所有IT产品都经受了Internet时空的无情检验,我们列出那些栉风沐雨仍熠熠生辉的产品,它们的推出都曾是轰动一时的新闻; 我们也列出一些原本可以叱咤风云,却因种种原因未
为了实现云计算资源调度的多目标优化,提高资源利用率和保证云应用的服务质量,通过对云计算资源调度策略进行研究,设计并实现了一种基于改进粒子群算法的云计算资源动态调度
会议
毕加索创造力的丰沛是惊人的,除油画、素描外,他在壁画、雕塑、陶艺、版画、舞台设计、舞合服装等各个领域都有着独特而出众的表现。其完成的作品可统计的多连六万到八万件,
夸张手法是广告创意表现中常见的一种表现手法。本文从广告视觉语言的 角度出发,对广告表现中的夸张手法进行了分析与研究,将夸张的表现手法分为形态类 夸张、极量型夸张、时
社区发现旨在挖掘社会信息网络的社区结构,是社会计算及其相关研究的基础.随着交互式社会信息网络规模的快速增长,传统的社区发现算法难以满足大规模网络的可扩展分析需求.多
会议
1,会议审议通过的修改建议和新建议1)修改的建议G.661-光放大器和子系统的相关通用参数的定义和测试方法(2)修改的建议G.662-光放大器和子系统的通用特性(3)新建议G.692(G.mes)-具有光放大器