创先职称论文发表网 www.lunwen1998.com
网络资源共享结构及网络资源特性
摘要：现在是信息技术发达的时期，互联网上有很多的学习与娱乐资源。网络的发展方便了人们的生活与工作，但是网络资源共享是如何运行的，网络资源体系结构到底是什么，本文简单介绍了网络资源共享的体系结构、运行及网络资源的特性。
关 键 词：网络共享；网络资源；结构；
1 网格资源共享的体系结构
网格资源的共建共享要求有一个能规范各方行为的体系结构.迄今为止,比较重要的网格体系结构有两个:一个是Foster等人较早提出的五层沙漏结构,另一个是Foster等人结合万维网服务提出的开放网格服务结构OGSA(Open Grid ServicesArchi-tecture).下面,我们对这两种网格体系结构进行简单地分析.
1. 1 五层沙漏结构
五层沙漏结构是一种影响十分广泛的层次式的协议体系结构,该体系结构集结了网格相关的主要技术,简单实用,用户容易从整体上理解.在五层沙漏结构中,一个最重要的思想就是以“协议”为中心,十分强调服务.同时还提供API(Application Programming Interfaces)和SDK (Soft-ware DevelopmentKits),使得在建立网格应用时可以在抽象的基础上提高编程的级别.五层沙漏结构根据该结构中各组成部分与共享资源的距离,将对共享资源进行操作、管理和使用的功能分散在五个不同的层次,分别为构造层、连接层、资源层、汇聚层和应用层。
构造层是网格中中可以被共享的资源所在的层,该层包括计算设备、存储设备、目录、分布式文件系统、分布式计算机池、计算机集群、网络、传感器、贵重仪器以及其它设备.该层的功能是向上提供网格中可以共享使用的资源接口,网格通过支持设备共享的协议来访问本地设备、网格管理软件中有相应组件监测可用资源的特性、当前负荷、状态等信息,并将这些信息提供给上层使用。
连接层是网格中处理通信与授权控制的核心协议层.构造层的各种资源间的数据交换都在这一层的控制下实现.各资源间的授权验证、安全控制也在这里实现.建立在通信服务之上的认证协议提供加密的安全机制,用于识别用户和资源.资源层的作用是对单个资源实施控制,与可用资源进行安全握手,对资源进行初始化,监测资源运行状况,统计与付费有关的资源使用数据.该层使用连接层的通信和安全协议,实现资源共享的安全协商、启动、控制、监控、记帐、付款等.资源层协议有信息协议和管理协议两种.信息协议用于获得关于资源结构和状态的信息,管理协议用于协商访问和共享资源.
汇聚层的作用是将资源层提交的受控资源汇聚在一起,供应用程序共享使用.汇聚层提供目录服务、资源分配、日程安排、资源代理、资源监测诊断、网格启动、负载控制、帐户管理等功能,协调多个资源之间的工作,有跨资源集合的交互协议和服务.网格最上面一层是应用层,网格应用包括用户代码和网格调用两部分.网格应用可以调用网格各低层提供的有用服务,如资源管理服务、数据访问服务、资源发现服务等.为便于网格应用程序的开发,需要构建支持网格计算的库函数.应用程序通过服务调用网格上的资源来完成任务.
动态资源共享是网格计算最重要的特点,实现资源共享需要支持互操作,而实现互操作则需要定义相互遵守的协议. 5层沙漏结构根据各组成部分离共享资源的距离,将对共享资源进
创先职称论文发表网 www.lunwen1998.com
行操作、管理和使用的功能分散在不同的层次中,越向下层就越接近共享的物理资源,与特定资源相关的成分就越多;越向上层就越感觉不到共享资源的细节特征,也就是说上层是更加抽象的共享资源的表示.
五层结构的另外一个重要特点就是沙漏形状.其内在含义就是因为各部分协议的数量是不同的,对于其最核心的部分,要能够实现上层各种协议向核心协议的映射,同时实现核心协议向下层其它各种协议的映射,核心协议在所有支持网格计算的地点都应该得到支持,因此核心协议的数量不应该太多,这样核心协议就形成了协议层次结构中的一个瓶颈.在五层结构中,资源层和连接层共同组成了这一核心的瓶颈部分。
沙漏核心的思想可以和微内核的操作系统进行类比,即操作系统只实现一些关键的基本功能,而把大量与特定设备有关和与应用有关的部分交给其它部分来完成.一个小的核心是有利于移植的,也可以比较容易地实现和得到支持.资源是多种多样的,应用需求更是复杂多变,因此定义好这样一个核心部分的意义是很重要的.
1. 2 开放网格服务结构OGSA
开放网格服务结构OGSA(Open Grid Service Architecture)是Global Grid Forum 4的重要标准协议,是继五层沙漏结构之后最重要、也是目前最流行的一种网格体系结构,被称为是下一代的网格结构.这一结构的意义,就在于它将网格从以科学与工程计算为中心的学术研究领域,扩展到更广泛的以分布式系统服务集成为主要特征的社会经济活动领域.
OGSA最突出的思想就是以“服务”为中心.在OGSA框架中,将一切都抽象为服务,包括计算机、程序、数据、仪器设备等.这种观念,有利于通过统一的标准接口来管理和使用网格.
万维网服务提供了一种基于服务的框架结构,但是,万维网服务面对的一般都是永久服务,而在网格应用环境中,大量的是临时性的短暂服务,比如一个计算任务的执行等.考虑到网格环境的具体特点,OGSA在原来万维网服务概念的基础上,提出了“网格服务(Grid Service)”的概念,用于解决服务发现、动态服务创建、服务生命周期管理等与临时服务有关的问题.
基于网格服务的概念,OGSA将整个网格看作是“网格服务”的集合,但是这个集合不是一成不变的,是可以扩展的,这反映了网格的动态特性.网格服务通过定义接口来完成不同的功能,服务数据是关于网格服务实例的信息,因此网格服务可以简单地表示为“网格服务=接口/行为+服务数据。
在OGSA中,可以基于简单的基本的服务,形成更复杂、更高级、更抽象的服务.比如一个复杂的计算问题所需要的服务,包括网络、存储、数据查询、计算资源等各方面的服务,可以将这些基本的服务组织起来,形成一个高级的抽象服务,方便地为应用提供支持。
以网格服务为中心的模型具有如下好处:
·由于网格环境中所有的组件都是虚拟化的(virtualized),因此,通过提供一组相对统一的核心接口,所有的网格服务都基于这些接口实现,就可以很容易地构造出具有层次结构的、更高级别的服务,这些服务可以跨越不同的抽象层次,以一种统一的方式来看待.
创先职称论文发表网 www.lunwen1998.com
·虚拟化也使得将多个逻辑资源实例映射到相同的物理资源上成为可能,在对服务进行组合时不必考虑具体的实现,可以以底层资源组成为基础,在虚拟组织(Virtual Organization)中进行资源管理.通过网格服务的虚拟化,可以将通用的服务语义和行为,无缝地映射到本地平台的基础设施上.
在OGSA中,提供了三种运行环境,分别是简单运行环境、虚拟运行环境以及组操作环境.这三种环境的关系是从简单到复杂,包含的服务从具体到抽象.用户直接提出的服务要求,一般都比较抽象和复杂,但是这些要求可以转化为多个相对基本的要求或者服务,这样层层分解,直到找到基本的可以满足的服务为止,这是和前面介绍的OGSA的高级抽象服务的构成方法是一致的.
1. 3 两种系统结构的比较
基于协议的五层沙漏结构将在异构、动态、跨管理域的分布式环境下共享各种资源的功能进行了分解,分别放在构造层、连接层、资源层、汇聚层、应用层中实现.这种体系结构层次清晰,易于理解和实现.其缺点是针对每一种平台都需要实现沙漏瓶颈部分的连接层和资源层,要处理大量与平台相关的事务.目前GlobusToolkit2. 4也只是提供了类Unix平台实现,且其整体结构不强.OGSA将网格和Web Services技术相结合,取两者之长而避其短.Web Services技术是目前流行的技术或集成解决方案,其协议框架都已标准化,被各大主流IT厂商所接受,并通过基于XML的技术提供了很好的跨平台性和松散耦合特性.这样,OGSA平台将能够和现有的各种技术很好地结合,充分利用现有的各种技术和软、硬件资源,同时能实现网格思想所提出的目标.目前,GlobusToolKit3. 0已对OGSA进行了全面支持,相信随着研究和应用的不断深入,OGSA将不断走向完善,成为网格构建的标准.
2 网格资源共享的关键技术
网格系统资源共享的关键技术之一是服务技术,它是连接网格底层与高层功能的纽带,是协调整个网格系统有效运转的中枢,对这部分的研究非常重要.包括高性能调度技术、高吞吐率管理技术、数据收集、分析以及可视化技术、安全技术等方面.高性能调度技术,就是如何使得各种应用获得共享资源的最大性能.网格调度问题第一步就是在空间上对计算和数据进行分配,第二步就是在时间上为计算和通信进行排序.网格调度问题可以参照传统的高性能计算中的调度策略和技术,但是更复杂.它要解决网格资源的动态变化问题,还要解决移植性、扩展性、效率、可重复性以及远程调度和本地调度的结合等等问题.网格的调度需要建立随时间变化的性能预测模型,充分利用网格的动态信息来表示网格性能的波动.
高吞吐率资源管理技术.高吞吐率计算关心的是,在一段相对较长的时间内,计算资源所能够提供的服务或者是完成任务的多少.在高吞吐率系统中资源管理占有非常重要的地位.一般从下到上将资源分为局部资源管理层、拥有者层、系统层、客户层、应用管理层和应用层,要按层次设计资源管理系统,以保证高吞吐率系统具有强健性、扩展性以及可移植的要求.
性能数据收集、分析与可视化技术.在网格环境下,为了提高不同应用或者系统的性能,常常需要获取其运行状态下的相关性能数据,通过对这些性能数据分析,就可以设法提高下次程序运行的效率,或者为系统调度提供指导,或者使应用系统的运行过程通过动态调整来提高性能.性能数据获取源包括运行的程序、操作系统、处理器以及网络等.性能数据分析包括定量分析、自动性能诊断、扰动分析等.性能数据收集和分析的主要挑战就在于数据可视以及建立与源代码的关联.性能数据的收集、分析与可视化,是三个密切相关的环节,而且这三个环
创先职称论文发表网 www.lunwen1998.com
节应该和网格动态运行过程建立很好的联系,准确反映网格的运行状况,才能更深入地分析和指导网格应用和网格核心管理部分的开发.
安全技术.网格计算环境中的用户数量、资源数量规模大且动态可变,一个计算过程中的多个进程间存在不同的通信机制,资源支持不同的认证和授权机制且可以属于多个组织,这些原因使得它对安全的要求比Internet的安全要求更为复杂.网格安全包括的内容非常广泛,比如认证、授权、保证、记账、审计、完整性、机密性等等,在网格的各个部分都涉及到安全技术,因此它非常重要.
除了以上分析的服务技术外,网格资源共享的另一个重要技术还体现在互操作性的问题上.数据与软件系统的异构性引发了数据与软件功能的重用和共享问题,而互操作正是为解决这个问题而提出的.互操作性是网格资源共享的基础.如果没有互操作性,动态的、异构的资源共享是根本不可能的.即使能形成一定程度的资源共享,那也是一种低层次、多限制的共享.从软件系统的组成角度划分,互操作可以分为数据互操作和功能互操作:而从对信息的理解角度划分,互操作可以分为语法互操作和语义互操作.语法互操作指两个系统处理的信息具有相同的结构,语义互操作指两个系统对处理的信息有共同的语义理解.
3 网格资源的特性
与其它环境下的资源相比,网格中的资源具有自治性、多样性、异构性、动态性及分布性等特性.
3. 1 资源管理者的自治性
由于网格的资源具有广泛地域分布的特点,网格中所使用的资源通常都由不同的管理者或机构所拥有和管理,甚至是由多个管理者管理.不同的管理者采用的管理机制不同,验证、授权和访问等机制也不同,从而采用的局部资源管理策略不可能都相同.网格资源管理和调度的重要目标之一就是建立一种机制,使得各个资源管理者的局部管理策略和系统的整体目标能够相容.
3. 2 资源多样性
从程序、数据、文件到计算机、传感器、网络等方面都表现出不同的资源样式.为了实现资源共享,需要在接入网格的每个节点上运行一个支持网格机制的管理软件,把网格上松散的资源紧密联系起来,网格管理软件须定义一系列的标准接口,所有资源只需遵循网格定义的标准接口,就可以方便地接入网格,成为资源共享的一部分.
3. 3 资源的异构性
网格中的各种资源常常是高度异构的.首先是资源类型的异构性.网格中包括各种不同类型的资源,如计算类资源,其中又可分为各种大规模并行处理系统、对称多处理机系统、工作站集群系统等等.其次,即便同属于计算资源,也还是存在操作系统的异构、体系结构的异构、计算平台的异构等.即便是相同的体系结构、相同的操作系统、相同的计算平台,也还有计算能力的异构性.最后是网络连接的异构性.网格的通信网络中可能存在不同的网络设备、不同的网络协议,以及不同的网络带宽等.
3. 4 资源的动态性
传统的高性能计算系统通常是在单一类型的系统上进行开发的,对资源的特性有完全的
创先职称论文发表网 www.lunwen1998.com
控制.而网格的应用要求在较广泛的环境中执行,很多资源的特性是动态变化的.首先是网格资源的结构处于不断变化之中,可随时加入或退出网格系统.其次是资源的能力处于不断变化之中,为了满足自身的需求,可随时改变投入网格中使用的能力.
3. 5 资源分配决策的分布性
由于网格中各个资源管理者的自治性,导致网格的资源调度决策必定是分布的.各个资源管理者可以根据自身的情况和信念以及整个系统的状况,自主地选择资源的使用者.于是,最终的资源调度结果是由多个分布的局部决策共同决定的.
4 网格资源共享环境的构建
从上述论述可知,网格意义下的资源共享已经不是传统互联网环境下的计算机之间的文件交换和远程登录了,用户面对的网格是资源、协议和规范的有机集合.要管理和共享各种类型的资源,必须构建好结构合理、使用方便的资源环境.构建共享环境的任务主要有四点:
(1)为用户提供访问资源的简单接口,把网格上的资源和用户请求进行匹配,把适合的可用资源提供给用户使用是环境构建的核心内容.网格的资源一般都很复杂,将这些复杂资源的具体技术细节隐藏起来,使用户看到的是一个经过抽象的逻辑资源.
(2)建立安全的网格资源使用机制.在传统的系统中,一个用户要使用某个资源需要在资源上建立一个帐号,并通过该帐号使用资源.但是在网格系统中,大量的用户和大量的资源无法实现这一点.如果只是采用把网格用户映射到统一个本地用户的情况,这样将造成多个网格用户在资源的同一个本地帐号下活动的安全隐患.如果资源管理器使一个网格超级用户,这个超级用户可以代替网格用户在资源上进行工作,用户请求时,资源管理器为该用户在资源本地建立一个进行活动的场所一用户容器.用户容器是动态建立的.建立用户容器后,用户就可以
在容器内使用资源,容器严格定义了用户拥有的权限和可进行的操作等.用户容器在请求时建立,请求结束后就撤销.因此同时在一个资源上存在的用户容器数目很少,管理也不会造成很大的负担.
(3)协调资源的共享使用.既要支持多个请求者使用同一个资源的需要,也要支持一个请求者请求使用多个资源的需要.多个请求者请求使用同一个资源是采用先来先服务的排队策略,还是采用时间片轮转的分时共享策略,或是采用其他策略,可根据资源本身的特性和拥有者指定的策略确定.在网格资源体系中,共享关系通常不是简单的Client-Server和Browser-Server,而是Peer-to-Peer对等.提供者可以是使用者,共享关系可以在伙伴的任何子集间存在.共享关系可以被合并,以便于协调使用跨许多不同的组织所拥有的资源,这种协调跨多个资源的操作所要求的机制是能以可控的方式委派权力.共享关系灵活并高度可控.依据所调用的资源,所允许的访问性质以及被允许访问的参加者,共享关系可随时间动态地改变.这些关系并不必需要一个明显的个体命名集,而是可由对资源的访问进行管理的策略隐含地定义.需要具备如何使用共享资源的精细和精确的控制层.包括粒度良好的和多个资源特有者访问、委派、局部和全局策略的应用.这种控制层是资源共建共享特性所要求的至关重要的需求.
(4)以用户需求为中心,围绕用户对资源的高频使用构建子网.不同专业用户所占有的资源类型不同,构建用户特性子网的同时达到了资源分类,形成一定程度的资源自动分配机制,使用户在访问常用资源时,拥有较高的优先级,能够快速、高效地执行操作,改善资源管理机制
创先职称论文发表网 www.lunwen1998.com
的可用性、稳定性和安全性.应根据共享资源的需求与消费,利用资源调度者协调供求关系,使资源消费者与供应者之间形成激励机制,最终达到供求平衡,有效地促进用户共享可用资源,最大范围地扩展网格的应用空间.
构建网格资源共享环境涉及到具体的系统模型和实现技术.目前,用于构建资源共享环境的系统模型按照体系结构主要分为三类:层次模型、抽象所有者模型和经济/市场模型,这三类模型分别体现了三种不同的技术思想,都不同程度地满足了资源共享的功能需求.其中具有计算经济特征的经济/市场模型有着很好的应用前景.实际的网格资源管理系统往往是这三类模型不同程度的混合.
层次模型是当前的大部分网格系统中所使用的资源管理模型,它有如下特点: (1)有利于对具有站点自治性和底层异构性资源进行管理,并具有较强的适用性; (2)能定义可扩展的资源规范语言来解决在线控制问题并使政策具有可扩展性; (3)能在一定程度上实现资源的联合分配.
抽象所有者模型的特点: (1)使用作为资源所有者的抽象代表的资源经纪人与用户进行交互和协商; (2)资源共享过程中遵循类似于快餐店的订购与交货模式.
资源管理的计算经济模型的特点: (1)基于供求原则的投资回报机制也促进了计算服务质量的提高和资源的升级,经济是调节供求关系的最重要的机制; (2)为访问网格资源的用户提供公平的价格机制,并允许对一切资源进行交易; (3)建立以用户为中心,而不是系统为中心的调度政策,提供了资源分配和管理的有效机制; (4)综合了分层模型和抽象所有者模型的实质.
5 结语
实现网格资源共享是一个系列活动,包括动态的跨组织共享关系的建立、管理和利用等3个方面,涉及到体系结构、技术机理、资源特性和环境构建等基本问题.还有诸如跨越不同组织的安全控制、防止外部存取的防火墙、运行政策的整合、故障应对、信道畅通、动态资源的分配和管理、大规模数据处理、通过Qos控制确保宽带信道的大规模数据传输、实时监控在线资源的动态资源管理、统一操作政策、针对外部存取的定价体制等具体的技术问题.分析和攻克这些难题的目的在于更好地应用网格技术,更有效地共享网格资源.
参考文献:
[1]赵念强,等.网格计算及网格体系结构研究综述[ J].计算机工程与设计, 2006, (5): 728-731.
[2]肖基毅,等.网格信息资源共建共享研究[ J].情报杂志, 2005, (10): 12-14.
[3] Zeng L. et a.l QoS2aware middleware forWeb services composition [ J]. IEEE Transactions on Software Engi2neering, 2004, 30 (5): 311-327.
[4]胡亚军,等.网格资源共享环境的构建[J].情报理论与实践, 2005, (2): 206-209.
网络资源共享结构及网络资源特性
