【摘 要】
：
随着大数据分析处理需求日益复杂,分析处理过程的表达需要转变为依据任务以及任务间依赖关系构建的大数据工作流的形式,以实现其结构化、可重复、可控制、可扩展以及自动化执行,大数据工作流的编排管理成为重要的研究课题,云计算环境下资源的异构性使得该问题变得更为复杂.本文首先将云环境下大数据工作流编排管理研究划分为大数据工作流构建、工作流划分、任务调度与执行以及容错处理4个方面,并在此基础上进行综述,列举并介绍各个方面近年来经典的、关注度较高的研究;然后,针对研究中的主流技术进行分类与梳理,对各项研究中提出的方法及其
【机 构】
：
华北计算技术研究所基础五部,北京100083
论文部分内容阅读
随着大数据分析处理需求日益复杂,分析处理过程的表达需要转变为依据任务以及任务间依赖关系构建的大数据工作流的形式,以实现其结构化、可重复、可控制、可扩展以及自动化执行,大数据工作流的编排管理成为重要的研究课题,云计算环境下资源的异构性使得该问题变得更为复杂.本文首先将云环境下大数据工作流编排管理研究划分为大数据工作流构建、工作流划分、任务调度与执行以及容错处理4个方面,并在此基础上进行综述,列举并介绍各个方面近年来经典的、关注度较高的研究;然后,针对研究中的主流技术进行分类与梳理,对各项研究中提出的方法及其特性、优势、待改进项等方面进行分析;最后,将视角回归至大数据分析处理系统,分类分析各项研究给系统带来的收益.
其他文献
针对轻量级神经网络在移动端的安全性缺乏问题,提出模型安全的反防御和二次防御方法.通过在MobileNet v2模型上改造CW算法优化器,采用旋转、添加高斯噪声以及双边滤波器平滑的传统数据增强进行防御,进而体现出反防御效果.在MobileNet v2、ShuffleNet v2和MnasNet模型上,通过改变旋转缩放因子、采用高斯-X噪声混叠模式以及调整双边滤波像素中心点直径对模型进行二次防御.实验结果表明,ASGD优化器对CW算法的反防御能力有很好的提升,同时改进的数据增强方法可以降低对抗样本的鲁棒性,提
针对传统定密方式定密不严谨、定密尺度难以把握、经验难以积累等问题,提出基于改进的TextRank算法的计算机辅助定密方法,该方法通过定密规则的词性特点,将句向量分解为名词向量和非名词向量,构造基于词性的句向量,利用改进的TextRank算法对文档语句排序,获取在定密细则影响下的关键语句权重,计算文档密级分数,判断文档密级.实验结果表明,该方法比目前传统定密方式准确率有所提高.
为了保障数据的安全性和隐私性,防止恶意用户访问传感器设备,针对工业物联网提出一种轻量级的认证与密钥交换协议.该协议采用物理不可克隆函数,模糊提取器保障传感器设备的安全.同时采用单向散列函数、异或操作和对称加解密等技术建立安全的会话通道.实验结果表明,相比于其他认证方案,该协议有效减少了密钥交换的通信和计算开销,所提出的协议适用于资源受限的传感器设备且能够抵抗现有多种已知攻击.
为了保证机器人操作系统(Robot operating system,ROS)的安全性,提出一个运行时验证框架ROS-Mo-nitor来监控系统.将所有的监控信息分为节点消息和节点行为,并实现从用户自定义场景模型自动生成相应监控器的工具.实验证明了该方法的有效性.
为准确有效识别出农作物病虫害类别及位置,构建一款农作物病虫害图像识别App系统,为广大农户、研究人员及管理者提供智能信息服务.该系统基于Android平台开发,在所收集的大量病虫害数据集上,开展了Darknet、YOLO等深度网络模型训练和测试,并使用批量正则化、维度聚类和课程设计学习等技术优化模型,实现了181种作物病虫害图像的在线识别检测,为复杂环节下农作物病害及虫害在线识别、监管防控、综合治理等提供技术依据.
介绍支持Scratch人工智能插件的可编程机器人,包括机器人和配套无线配置小程序的实现架构及使用流程;阐述造型与背景、图像分类等典型插件和关键积木;通过制作一个鲜花识别机器人,阐述人工智能的基本思想和过程.
当前大多数实体关系抽取方法无法获取较长句子中的远距离依赖信息,并且由于远程监督数据噪声的干扰导致关系抽取性能下降.因此本文提出一种基于双向长短期记忆网络(BiLSTM)和残差卷积神经网络(ResCNN)的实体关系抽取模型,该模型在向量表示阶段采用BiLSTM获取词语的上下文信息向量,利用残差网络将卷积神经网络中低层的特征传递到高层,有效解决梯度消失问题.同时将挤压-激励块嵌入残差网络中,能大幅降低数据噪声,强化特征传递,在池化阶段采用分段最大化池化方法来捕捉实体对的结构信息.设计在NYT-Freebase
容器热迁移是云平台负载均衡技术的基础,也是集群故障管理、底层系统维护的重要保障.目前容器热迁移的实现主要基于checkpoint/restore机制,即对正在运行的容器做检查点操作,随后停止容器,传输镜像文件至目的主机后恢复,迁移消耗时间包括检查点时间、传输时间和恢复时间.为了减少容器热迁移的停机时间和减小传输消耗,本文设计并实现一种基于预拷贝(pre-copy)迁移算法的容器热迁移方案,并且采用快速内存同步关键技术,该技术包含3种方法:细粒度脏内存识别、脏内存压缩传输、提前合并增量内存.实验表明,本文所
针对高维复杂优化问题在求解时容易产生维数灾难导致算法极易陷入局部最优的问题,提出一种能够综合考虑高维复杂优化问题的特性,动态调整进化策略的多种群并行协作的粒子群算法.该算法在分析高维复杂问题求解过程中的粒子特点的基础上,建立融合环形拓扑、全连接形拓扑和冯诺依曼拓扑结构的粒子群算法的多种群并行协作的网络模型.该模型结合3种拓扑结构的粒子群算法在解决高维复杂优化问题时的优点,设计一种基于多群落粒子广播-反馈的动态进化策略及其进化算法,实现高维复杂优化环境中拓扑的动态适应,使算法在求解高维单峰函数和多峰函数时均
为了辅助地铁工程的专业设计人员从BIM模型实例库中快速获取匹配当前设计需求的参考模型,提出一种基于特征匹配的BIM模型混合推荐算法.首先基于Revit二次开发从BIM模型中获取特征数据;随后,利用模型特征参数等基本信息,采用熵权灰色关联模型计算模型实例的推荐度;然后,结合用户交互数据,采用梯度提升决策树算法(GBDT)与逻辑回归(LR)算法的融合模型计算模型实例的推荐度;最后,根据训练数据集的规模动态调整2种推荐度的组合比例.实验表明,该方法不仅避免了系统冷启动问题,并且在足够的用户交互数据支持下有更好的