【摘 要】
：
如何有效利用互联网海量非结构化数据并挖掘出其中蕴藏的巨大价值成为当前大数据时代的研究热点。随着分布式计算和处理技术的发展,分布式的架构体系已成为非结构化数据管理
论文部分内容阅读
如何有效利用互联网海量非结构化数据并挖掘出其中蕴藏的巨大价值成为当前大数据时代的研究热点。随着分布式计算和处理技术的发展,分布式的架构体系已成为非结构化数据管理系统的主流。资源管理是分布式体系中的一个重要方向,高效的资源管理可以满足分布式系统对于资源的动态需求,最大幅度地提升系统的服务能力和处理性能。针对非结构化数据系统资源管理中的关键技术问题,本文主要贡献如下：分析了当前一些成熟的分布式系统和计算架构中的资源管理方案,然后以提升资源利用率为目标,设计实现了非结构化数据管理系统D-Ocean的集群管理与监控平台,通过逻辑角色的划分对系统集群资源进行细粒度管理,提升系统的对外服务能力,满足系统的配置灵活性和高可扩展性。此外,还通过管理与监控工具实现了对集群中节点和任务运行状态的实时监控。为D-Ocean系统的核心计算平台设计实现了一个高效且通用的资源管理架构,通过对节点和任务定义等资源进行建模实现了分布式计算与处理中计算资源的调度与优化,提升了平台的整体处理能力和性能。最后通过实际应用中的任务处理数据证明了此架构的稳定性和高效性。目前D-Ocean系统能稳定支持各种非结构化数据应用和处理任务,证明了本文研究方案的可行性和正确性。
其他文献
<正>当前我国债务问题确实客观存在且成因复杂,不同于美国和日本的情况,我国债务积累的源头主要来自企业部门,应当引起监管部门的充分重视我国债务问题的基本现状经济发展需
<正>一、图画书的定义为图画书(Picture Books)下定义,是一件非常棘手的事情,因为图画书是一个包容性很强的概念,它种类繁多,而且种类与种类之间的界线也非常模糊,比如就有人
邓小平非常关注我国统一的多民族国家民族问题的解决,非常关注我国少数民族和民族地区的发展,提出民族团结是我国民族工作的一项根本任务;民族发展是我国民族工作的一项根本
提出了温度变化对工序问检测器具测量结果影响的两种类型，介绍了温度补偿的原理和实际做法，即对由温度变化引起的那部分系统误差进行修正的方法，并以示例作了说明。
电影是对人们现实生活的一种展现,往往是取材于人们的现实生活。国产电影虽然与好莱坞电影存在一定差距,但在近几年国产电影票房也取得了优异的成绩。主要原因在于大多国产电
本文从供应链的流程出发,分析了基于电子商务的服装企业供应链信息化、资金流、管理、品牌化等核心环节的供应链问题,构建了核心竞争优势的优化策略,为我国服装企业由传统的
在我国社会发展进入"新常态"的背景下,城市社区的治理方式需要不断创新,并朝着精准化治理与服务的方向发展。基于对大连市的剖析,本文梳理了新型多元主体互动情景下城市社区
法治作为当前治国理政的主要方式,也有着十分重要的作用。现在治理乡村也逐渐呈现了法治乡村的概念,就当前的背景来说,因为主要是以法治乡村为时代背景,因此以提供乡村建设以
南瓜有多种，我国栽培的南瓜俗称金瓜、饭瓜。原产亚洲南部，我国各地普遍栽培，为了和其他南瓜区别，又称为中国南瓜。嫩瓜或者熟瓜均可作蔬菜或饲料，富有糖分、维生素等，种子含油量达
现象级综艺，近几年成为电视圈内曝光率颇高的词。这些节目能够将观众、市场与资本的热情在短期内迅速点燃。但是，如何保持和延续节目的生命力与活跃度，也是困扰无数现象级综艺的