论文部分内容阅读
摘要:首先分析了网格体系结构;然后在分析网络空间数据特征的基础上,提出网格GIS的五层体系结构模型;任务调度是网格GIS系统是否能高效使用资源、快速完成任务的关键构件。
关键词:网格GIS;g系结构;任务调度
中图分类号:TP2 文献标识码:A 文章编号:1009-0118(2010)-08-0020-02
网格GIS是将地理上分布、系统异构的各种计算机、空间数据服务器、大型检索存储系统、地理信息系统、虚拟现实系统等,通过高速互连网络连接并集成起来,形成对用户透明的虚拟的空间信息资源的超级处理环境。
一、网格体系结构
(一)五层沙漏结构
网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能,描述了网格各组成部分的关系以及它们集成的方法或方式。刻画了支持网格有效运转的机制。
网格体系结构,就是一个“分”与“合”的统一体,没有“分”,就无法深入的网格的内部去,没有“合”,就无法说明网格的整体特征。只有充分把握好分与合的这两方面的关系,才能够具体。深入、全面地把握好网格这一概念,才能够设计出真正实用、真正有效的网格体系结构。
五层沙漏结构的五层从下到上分别是构造层、连接层、资源层、汇聚层以及应用层。
(二)五层的功能特点
1、构造层:局部控制的界。网格构造层的基本功能就是控制局部的资源,向上提供访问这些资源的接口。构造层资源是非常广泛的,可以是计算资源,存储系统,目录,网络资源以及传感器等等。
2、连接层:支持便利安全的通信。连接层的基本功能就是实现相互的通信。它定义了核心的通信和认证协议,用于网格的网络事务处理之中。通信协议允许在构造层资源之间交换数据,要求包括传输,路由,命名等功能。在实际中这些协议大部分是从TCP/IP协议栈中抽出的,比如网络层、传输层和应用层。
3、资源层:共享单一资源,资源层的主要功能就是实现对单个资源的共享。资源层建立在连接层的通信和认证协议之上,定义的协议包括安全初始化,监视、控制单个资源的共享操作、审计以及付费等。值得注意的是,资源层协议考虑的完全是单个的局部资源,因此忽略了全局状态和跨越分布资源集合的原子操作。
4、汇聚层:汇聚层的主要功能是协调“多种”资源的共享,而资源层的主要功能则是与单个资源的交互。汇聚层协议与服务:包括(API/SDK)描述的是资源的共性、汇聚层实现的共同的功能,并不涉及资源的具体特征,说明不同资源集合之间是如何相互作用的。由于汇聚层建立在资源和层形成的协议瓶颈之上,因此不需要在资源上强加其它新的要求。
5、应用层:应用层是在虚拟组织环境中存在的。从应用程序员的观点看网格结构,应用层是根据在任一层次上定义的服务米构造的。在每一层,都定义了协议,以提供对相关服务的访问,这些服务包括资源管理,数据存取,资源发现等。在每一层,可以将API定义为与执行特定活动的服务交换协议信息的具体实现。
二、开放网格服务体系结构
开放网格服务结构OGSA是Global Grid Forum4的重要标准建议,是继五层沙漏结构之后最重要,也是目前最新的一种网格体系结构,被称为是下一代的网格结构。
如果说五层沙漏结构是以协议为中心的“协议结构”,则OGSA就是以服务为中心的“服务结构”。
OGSA是符合标准的WebServices框架的。WebServices解决了发现和激发永久服务的问题,但是在网格中,大量的是临时服务,因此OGSA对Web Services进行了扩展,提出了网格服务(Grid Service)的概念,使得它可以支持临时服务实例,并且能够动态创建、删除。
由于OGSA采用统一的WebServices框架,因此很自然就具备了原来Web Services的所有有利因素,比如服务描述和发现;可以从服务描述中自动产生客户与服务端的代码,将服务描述和互操作的网络协议绑定在一起:和新出现的高级开放标准。服务和工具兼容,有广泛的工商业支持等等。
三、网格GIS体系结构
网格GIS是以数据为中心、以服务驱动的系统。构建网格GIS,首先要分析网络中空间数据的特征,据此才能确定服务内容并构建网格GIS。网络空间信息资源具有如下6个特征:
(一)系统异构性。异构性是指存储和管理空间数据的系统可以是文件系统或各种类型的数据库系统。空间信息资源处理系统可以是基于不同操作系统的不同厂家生产的地理信息系统。
(二)空间分布性。网络化的发展导致空间信息资源在空间分布上越米越走向分布,空间信息资源分散在网络中的各个结点,没有一个资源的拥有者会拥有地球全部的海量空间信息资源。数据的分布性决定了网格GIS在服务上的分布性。
(三)时间动态性。空间信息是与时间密切相关的资源,空间信息会随着时间的演化而改变,所以空间信息是时态数据。要满是时态数据存储和处理的需求,需要尽可能地整合分布式存储资源和计算资源为一个虚拟统一系统环境。
(四)空间信息的多源性。空间信息来源是多种多样的,有不同遥感平台不同传感器采集的不同分辨率的遥感图像数据,有地图扫描矢量化数据,有野外利用各种测量仪器直接测绘数据。不同来源的数据信息可以互相补充,但由于标准化工作的滞后,导致信息孤岛的存在。
(五)信息容量的海量性。空间信息每天都在以TB级的速度在增长,网格GIS需要提供分布式协同计算的能力以满足海量空间信息处理的需求。
(六)存储格式的多样性。数据生产者手中的空间数据存储格式五花八门,有几十种不同的格式。因此,网格GIS需要提供“个性化”的数据访问服务。
由上可见,以服务为中心的网格GIS将不再是一种孤立的软件,而是一个依存于互联网的分布式服务系统。这决定了不可能用一台计算机,或是一个服务提供者来提供所有的数据和服务。只有将众多的GIS服务连成服务网格,才能管理和共享各类型的GIS信息和服务。由此决定了网格GIS是一个开放的软件框架。它由若干种标准服务、服务协议等组成的。标准服务则由一个或多个不同存在形态的构件米实现。所以网格GIS的基本组成是构件和服务协议。
在五层体系结构中,从下到上分别是基础层、资源层、控制层、实现层以及应用层。下面对这五层的功能特点分别进行描述。
1、基礎层:它包括互联网络资源及相关的网络底层协议,同时在网格GIS中,要对大型的数据集合进行操作,虽然存在有不同的存储系统,如DPSS,HPSS等,但这些系统不兼容,采用不同的协议和软件,一些解决这些问题的方案又导致了性能问题和操作复杂性问题,基于对网格GIS数据传输功能要求的考虑,在具体实现时,采用了Globus系统的Grid-FTP协议。利用该协议可以实现网格环境下的高速、可靠的数据传输和实现对应用程序基本透明的远程文件I/O访问,也满足了网格GIS数据传输功能上的要求。
2、资源层:指当前系统可用的各种资源,包括本地资源及异地已注册可利用资源,资源层提供资源相关的基本功能和资源调用接口,实现资源共享。
3、控制层:它是整个系统的核心,它控制着本地系统及远程系统的正确运行,并有协调资源层与实现层的作用。其中任务调度和资源管理模块又是此层的重要组成部分,这两部分决定着整个网格GIS体系成败与否的关键。本文重点对网格GIS环境下任务调度策略进行了研究。
4、实现层:是系统的具体实现部分,由各种中间件协助完成,备中间件通过可扩展的特定的接口与系统连接。各个中间件以及中间件与GIS用户之间的信息交互是通过GML语言来进行的。
5、应用层:由具体的用户界面组成应用层,在网格GIS实现层提供的中间件平台的基础上提供一个面向应用领域的空间信息集成应用环境,面向各个具体应用领域,对空间信息的使用模式和使用特点,提供空间信息使用政策和协议、应用软件工具、应用开发平台等,建立空间数据处理与信息服集成环境。
四、总结
在整个系统的设计与实现过程中,应始终保证系统的平台无关性、位置无关性、安全性、易用性与稳健性。多层模型使网格GIS系统具有良好的可扩展性和系统性能。
关键词:网格GIS;g系结构;任务调度
中图分类号:TP2 文献标识码:A 文章编号:1009-0118(2010)-08-0020-02
网格GIS是将地理上分布、系统异构的各种计算机、空间数据服务器、大型检索存储系统、地理信息系统、虚拟现实系统等,通过高速互连网络连接并集成起来,形成对用户透明的虚拟的空间信息资源的超级处理环境。
一、网格体系结构
(一)五层沙漏结构
网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能,描述了网格各组成部分的关系以及它们集成的方法或方式。刻画了支持网格有效运转的机制。
网格体系结构,就是一个“分”与“合”的统一体,没有“分”,就无法深入的网格的内部去,没有“合”,就无法说明网格的整体特征。只有充分把握好分与合的这两方面的关系,才能够具体。深入、全面地把握好网格这一概念,才能够设计出真正实用、真正有效的网格体系结构。
五层沙漏结构的五层从下到上分别是构造层、连接层、资源层、汇聚层以及应用层。
(二)五层的功能特点
1、构造层:局部控制的界。网格构造层的基本功能就是控制局部的资源,向上提供访问这些资源的接口。构造层资源是非常广泛的,可以是计算资源,存储系统,目录,网络资源以及传感器等等。
2、连接层:支持便利安全的通信。连接层的基本功能就是实现相互的通信。它定义了核心的通信和认证协议,用于网格的网络事务处理之中。通信协议允许在构造层资源之间交换数据,要求包括传输,路由,命名等功能。在实际中这些协议大部分是从TCP/IP协议栈中抽出的,比如网络层、传输层和应用层。
3、资源层:共享单一资源,资源层的主要功能就是实现对单个资源的共享。资源层建立在连接层的通信和认证协议之上,定义的协议包括安全初始化,监视、控制单个资源的共享操作、审计以及付费等。值得注意的是,资源层协议考虑的完全是单个的局部资源,因此忽略了全局状态和跨越分布资源集合的原子操作。
4、汇聚层:汇聚层的主要功能是协调“多种”资源的共享,而资源层的主要功能则是与单个资源的交互。汇聚层协议与服务:包括(API/SDK)描述的是资源的共性、汇聚层实现的共同的功能,并不涉及资源的具体特征,说明不同资源集合之间是如何相互作用的。由于汇聚层建立在资源和层形成的协议瓶颈之上,因此不需要在资源上强加其它新的要求。
5、应用层:应用层是在虚拟组织环境中存在的。从应用程序员的观点看网格结构,应用层是根据在任一层次上定义的服务米构造的。在每一层,都定义了协议,以提供对相关服务的访问,这些服务包括资源管理,数据存取,资源发现等。在每一层,可以将API定义为与执行特定活动的服务交换协议信息的具体实现。
二、开放网格服务体系结构
开放网格服务结构OGSA是Global Grid Forum4的重要标准建议,是继五层沙漏结构之后最重要,也是目前最新的一种网格体系结构,被称为是下一代的网格结构。
如果说五层沙漏结构是以协议为中心的“协议结构”,则OGSA就是以服务为中心的“服务结构”。
OGSA是符合标准的WebServices框架的。WebServices解决了发现和激发永久服务的问题,但是在网格中,大量的是临时服务,因此OGSA对Web Services进行了扩展,提出了网格服务(Grid Service)的概念,使得它可以支持临时服务实例,并且能够动态创建、删除。
由于OGSA采用统一的WebServices框架,因此很自然就具备了原来Web Services的所有有利因素,比如服务描述和发现;可以从服务描述中自动产生客户与服务端的代码,将服务描述和互操作的网络协议绑定在一起:和新出现的高级开放标准。服务和工具兼容,有广泛的工商业支持等等。
三、网格GIS体系结构
网格GIS是以数据为中心、以服务驱动的系统。构建网格GIS,首先要分析网络中空间数据的特征,据此才能确定服务内容并构建网格GIS。网络空间信息资源具有如下6个特征:
(一)系统异构性。异构性是指存储和管理空间数据的系统可以是文件系统或各种类型的数据库系统。空间信息资源处理系统可以是基于不同操作系统的不同厂家生产的地理信息系统。
(二)空间分布性。网络化的发展导致空间信息资源在空间分布上越米越走向分布,空间信息资源分散在网络中的各个结点,没有一个资源的拥有者会拥有地球全部的海量空间信息资源。数据的分布性决定了网格GIS在服务上的分布性。
(三)时间动态性。空间信息是与时间密切相关的资源,空间信息会随着时间的演化而改变,所以空间信息是时态数据。要满是时态数据存储和处理的需求,需要尽可能地整合分布式存储资源和计算资源为一个虚拟统一系统环境。
(四)空间信息的多源性。空间信息来源是多种多样的,有不同遥感平台不同传感器采集的不同分辨率的遥感图像数据,有地图扫描矢量化数据,有野外利用各种测量仪器直接测绘数据。不同来源的数据信息可以互相补充,但由于标准化工作的滞后,导致信息孤岛的存在。
(五)信息容量的海量性。空间信息每天都在以TB级的速度在增长,网格GIS需要提供分布式协同计算的能力以满足海量空间信息处理的需求。
(六)存储格式的多样性。数据生产者手中的空间数据存储格式五花八门,有几十种不同的格式。因此,网格GIS需要提供“个性化”的数据访问服务。
由上可见,以服务为中心的网格GIS将不再是一种孤立的软件,而是一个依存于互联网的分布式服务系统。这决定了不可能用一台计算机,或是一个服务提供者来提供所有的数据和服务。只有将众多的GIS服务连成服务网格,才能管理和共享各类型的GIS信息和服务。由此决定了网格GIS是一个开放的软件框架。它由若干种标准服务、服务协议等组成的。标准服务则由一个或多个不同存在形态的构件米实现。所以网格GIS的基本组成是构件和服务协议。
在五层体系结构中,从下到上分别是基础层、资源层、控制层、实现层以及应用层。下面对这五层的功能特点分别进行描述。
1、基礎层:它包括互联网络资源及相关的网络底层协议,同时在网格GIS中,要对大型的数据集合进行操作,虽然存在有不同的存储系统,如DPSS,HPSS等,但这些系统不兼容,采用不同的协议和软件,一些解决这些问题的方案又导致了性能问题和操作复杂性问题,基于对网格GIS数据传输功能要求的考虑,在具体实现时,采用了Globus系统的Grid-FTP协议。利用该协议可以实现网格环境下的高速、可靠的数据传输和实现对应用程序基本透明的远程文件I/O访问,也满足了网格GIS数据传输功能上的要求。
2、资源层:指当前系统可用的各种资源,包括本地资源及异地已注册可利用资源,资源层提供资源相关的基本功能和资源调用接口,实现资源共享。
3、控制层:它是整个系统的核心,它控制着本地系统及远程系统的正确运行,并有协调资源层与实现层的作用。其中任务调度和资源管理模块又是此层的重要组成部分,这两部分决定着整个网格GIS体系成败与否的关键。本文重点对网格GIS环境下任务调度策略进行了研究。
4、实现层:是系统的具体实现部分,由各种中间件协助完成,备中间件通过可扩展的特定的接口与系统连接。各个中间件以及中间件与GIS用户之间的信息交互是通过GML语言来进行的。
5、应用层:由具体的用户界面组成应用层,在网格GIS实现层提供的中间件平台的基础上提供一个面向应用领域的空间信息集成应用环境,面向各个具体应用领域,对空间信息的使用模式和使用特点,提供空间信息使用政策和协议、应用软件工具、应用开发平台等,建立空间数据处理与信息服集成环境。
四、总结
在整个系统的设计与实现过程中,应始终保证系统的平台无关性、位置无关性、安全性、易用性与稳健性。多层模型使网格GIS系统具有良好的可扩展性和系统性能。