【摘 要】
：
分布式系统中主流数据传输技术是基于以太网的套接字编程,其上层的协议是TCP/IP,这种传统方式中所有的数据要在用户缓冲区和内核缓冲区进行多次数据拷贝,需要极大的内存
论文部分内容阅读
分布式系统中主流数据传输技术是基于以太网的套接字编程,其上层的协议是TCP/IP,这种传统方式中所有的数据要在用户缓冲区和内核缓冲区进行多次数据拷贝,需要极大的内存带宽和大量的读写操作,从而降低了CPU利用率,消耗内存带宽,大大增加了端到端的延迟网络带宽在很大程度上影响了系统的传输性能.Spark是一个基于内存计算的开源的集群计算系统,相对于Hadoop MapReduce更适用于迭代式计算和交互式计算等场景.因此,本文通过利用高性能的InfiniBand网络,并重新构建Spark系统网络数据传输模块来实现了一个基于RDMA通信技术的Spark系统.实验结果表明该方法大幅度提升Spark系统网络传输性能,提高整个集群的运行效率.
其他文献
本文提出一种经由定制关系网络，改进基于矩阵分解的社会化推荐模型来缓解数据稀疏性和冷启动问题并进一步改善可扩展性(scalability)问题。在模型中，关系网络的社会影响力
随着带有GPS定位功能的智能手机越来越普遍，人们喜欢分享他们的地理位置或者通过评论某个地方的商品从而留下用户的足迹，这引发了以共同的兴趣点(POIs)为中心，基于地理位置
网格中参与者的信誉是经济模型与网格技术结合的服务选择的一个重要指标。传统的信誉评价模型忽略了经济因素，包括网格中的交易量和交易时间。这些因素对参与者的信誉的建
目前，国内外普遍使用流态化焙烧氧化处理复杂金精矿，处理后的尾渣中的金品位仍然较高，有的甚至高达5g/t以上，同时还含有其它有价元素。针对焙烧后经氰化浸金后的氰化尾渣，经过制粒
阿尔茨海默病(Alzheimers Disease，AD)是一种严重威胁老年人生命健康的以记忆力下降为特征的神经退行性疾病，脑内病理特征主要表现为由β-淀粉样蛋白（β-amyloid，Aβ）在神经元细胞
本论文的工作分为两个部分:(1)组蛋白组蛋白去乙酰酶抑制剂(HDACI)的计算机辅助设计;(2)双膦酸盐的计算机辅助研究.目前,用组蛋白去乙酰酶抑制剂治疗癌症是分子生物学研究的
作为机器学习领域最经典算法之一, Boosting是一种集成学习算法,并广泛应用于机器学习与模式识别各领域.Boosting的理论研究分为可学习理论和统计学两个角度.Boosting最
本文针对电子专业课程的特点,从增加学生的自主学习、开展小组合作学习和教师有针对性的指导三个方面,对分层次教学指导模式进行探索,试图发挥带实践性特点课程的优势,调动各
紫外光固化涂料是一种节能和环境友好型涂料,与传统涂料相比,其具有低毒性、原料价格便宜、固化速度快、配方简单和操作方便等诸多优点,因而其发展前景十分广阔.紫外光固化涂
UV(ultraviolet,紫外光)固化是一种新型"绿色"涂料固化技术,和传统的涂料固化技术相比,具有固化速率快、涂膜性能好、环境污染少、能量消耗低的优点.但UV固化涂料体系粘度普