【摘 要】
：
[目的]以Hadoop为代表的第一代大数据技术架构存在过于复杂、性能不足,以及与云计算不能很好结合等问题,因此星环科技重新设计了大数据技术栈.[方法]设计了资源调度层来管理
【机 构】
：
星环信息科技(上海)有限公司,上海,200233
论文部分内容阅读
[目的]以Hadoop为代表的第一代大数据技术架构存在过于复杂、性能不足,以及与云计算不能很好结合等问题,因此星环科技重新设计了大数据技术栈.[方法]设计了资源调度层来管理各种生命周期的服务和任务;抽象出了统一存储管理层,通过插拔不同的存储引擎来实现对不同类型数据的需求;通过统一的基于DAG的计算引擎来支持多种计算负载;在开发层提供标准的SQL和Python接口.[结果]使用Kubernetes技术统一管理数据服务和容器技术实现更好的多租户能力,打通大数据和业务之间的衔接,从而更好的实现数据业务化和业务数据化,也在大规模商用中得到了验证.[结论]通过对大数据架构的重新设计,不仅有效的解决了第一代大数据实现的技术问题,而且更好的与云计算和新型硬件技术结合,可以代表新一代大数据基础技术栈的发展方向.
其他文献
介绍一种峰值电压190V、峰值电流16A扫描磁铁开关电源设计.该电源采用脉宽调制(PWM)和Buck 电路控制实现输出电压连续可调,结合IRS2453D和IR2110进行H桥逆变驱动,并具有过流
对源漏击穿电压为400 V和500 V的N沟功率VDMOS器件进行碘离子单粒子辐照实验,讨论了不同偏置下两种功率器件的SEGR效应。研究结果显示:栅源电压为0 V、漏源电压为击穿电压时,
研究了Zr9Ni11合金室温下多次吸放氢循环中吸氢量变化及低压下吸氢动力学特征,并采用SEM和XRD研究吸氢前后合金的微观特征。结果表明:初始压力为161 kPa时,室温下Zr9Ni11合金
纵观上千年的科学发展史,人类在科学活动中不断改进工具和方法,从而加速了科学发现的历史进程.从16世纪以伽利略自由落体定律、惯性定律为代表的实验科学、经验科学,到19世纪
[目的]为表明数据与计算平台在科学研究活动中的重要驱动作用,本文研究了数据、计算以及科学研究的发展与本质.[方法]本文简述了数据技术和计算技术的发展,通过拓扑材料计算
[目的]为降低并行编程难度,加速应用程序开发,本文设计并实现一种面向新型开发模式的并行框架软件——SC_Tangram,其中SC表示科学计算(Scientific Computing),Tangram(七巧板
[目的]本文主要就大数据基础理论及系统相关研究背景、技术架构和关键技术展开介绍,并结合技术发展趋势提出未来研究和技术发展方向.[方法]本文在简要介绍大数据处理基础理论
[目的]随着大数据时代的来临,数据变得高维、稀疏,机器学习模型也变得复杂、高维,因此也给分布式机器学习系统带来了很多挑战.尽管研究人员已经开发了很多高性能的机器学习系
[目的]为解决大规模科学数据可视化所面临的一系列问题,提供一套灵活可扩展的科学数据可视化框架,本文设计并实现一种面向大规模数据的科学可视化系统GPVis.[方法]本文基于科
[目的]资源描述框架(Resource Description Framework,英文简写RDF)作为一个知识表示的模型,已经被广泛地用在各种科学数据管理的应用中来表示知识图谱.同时,SPARQL(Simple P