网络技术的发展与研究

网络技术的发展与研究

摘要：网络技术是一种新兴技术，有着很多的优点和亟待解决的问题。本文详细阐述了网格的基本概念及其内涵，分析了目前广泛研究的体系结构。在讨论了关于网格的研究状况之后，同网络研究必须面临的问题和发展前景。关键词：网格Globus开放网格服务结构OGSA沙漏结构2003年10月13日，IBM与中国国家教育部在京宣布，双方将建立中国教育科研网格以促进全国高校在教育、科研及更广泛项目上的全面合作。该项目由北京大学、华南理工大学、清华大学等12所大学联合提出，是迄今由政府推出的最宏大的网格工程，也是迄今为止世界上规模最大的网格计算工程之一。其应用领域包括从生命科学、图像处理到远程教育等方面的众多领域。到网格建成时，它将在教育科研网上把全国100所211工程建设重点大学的资源广泛共享，并将在该工程完成时达到超过15万亿浮点运算的功能。美国《福布斯》杂志的科技版《ForbesASAP》2001年就曾预言下一代互联网浪潮将是万维网（WorldWideWeb）升级为网格（GreatGlobalGrid）。那么到底什么是网格呢？1网格的涵义1.1网格概念网格就是一个集成的计算与资源环境，或者说是一个计算资源池。它能够把整个互联网集成为一台巨大的超级计算机，实现全球范围的计算资源、存储资源、数据资源、信息资源、知识资源、专家资源、设备资源甚至是人才等各种相关的广泛分布的各种资源的全面共享。网格的根本特片是资源共享，消除资源孤岛。当然，我们也可以构造地区性的网格、企事业内部网格、局域网网格甚至家庭网格和个人网格。可从以下三方面理解网格概念：第一，从概念上，网格的目标是资源共享和分布协同工作。网格的这种概念可以清晰地指导行业和企业中各个部门的资源进行行业或企业整体上的统一规划、部署、整合和共享，而不仅仅是行业或大企业中的各个部分自己规划、占有和使用资源。第二，网格是一种技术。为了达到多种类型的分布资源共享和协作，网络计算技术必须解决多个层次的资源共享和合作技术，制定网格的标准，将Internet从通讯和信息交互的平台提升到资源共享的平台。但是目前并行计算、分布计算中间件等现行技术远远没有解决多组织之间资源的共享问题，以及广域范围的多系统之间联合处理和计算等网格计算所面临的关键问题。因此，网格计算技术研究具有独特性、紧迫性和挑战性。第三，网格是基础设施，是通过各种网格综合计算机、数据、设备和服务等资源的基本设施。这种设施的建立，将使用户如同今天我们按需使用电力一样，无需在用户端配套大量的全套计算机系统和复杂软件，就可以简便地得到网格提供的各种服务。这样，设备、软件投资和维护开销将大大减少。图11.2网格组成网格环境的构建层次如图1所示，主要由资源、中间件、工具软件和应用程序等几部分组成。其中资源由分布在Internet上的各类资源组成，包括各类主机、工作站甚至PC机，也可以是上述机型的机群系统、大型存储设备、数据库或其他设备。中间件是网格计算的核心，负责提供远程进程管理、资源分配、存储访问、登录和认证、安全性和服务质量（QoS）等。工具软件和应用程序提供用户二次开发利用的环境、工具、语言及接口等，以便更好地利用网格资源。1.3网格的判断标准证判一个系统是否是网格，从根本上说，必须看此系统所能提供的应用、商业价值和科学结论，而不是它的系统结构。全球网格研究的邻军人物伊安·福斯特（IanFoster）对于网格作为三点限制：首先，协调非集中控制资源。网格整合各种资源、协调各种使用者。这些资源和使用者在不同控制制域中，比如，个人电脑和中心计算机、相同或不同公司的不同管理单元；网格还解决在这种分布式环境中出现的安全、策略、使用费用、成员权限等问题。否则，只能称得上本地管理系统而非网格。其次，使用标准、开放、通用的协议和界面。网格建立在多功能的协议和界面之上，这些协议和界面解决认证、授权、资源发现和资源存取等基本问题。否则，只能是一个具体应用系统而非网格。其次，使用标准、开放、通用的协议和界面。网格建立在多功能的协议和界面之上，这些协议和界面解决认证、授权、资源发现和资源存取等基本问题。否则，只能是一个具体应用系统而非网格。第三，得到非平凡的服务质量。网格允许它的资源被协调使用，以得到多种服务质量，满足不同使用者需求，如系统响应时间、流通量、有效性、安全性及资源重定位，使得联合系统的功效比其各部分的功效总和要大得多。2网格的体系结构目前，比较重要的网格体系结构有两个：一个是伊安·福斯特（IanFoster）等在早些时候提出的五层沙漏结构；另一个是以IBM为代表的工业界的影响下，在考虑到Web技术的发展与影响后，伊安·福斯特（IanFoster）等结构WebService提出的开放网格服务结构OGSA（OpenGridServicesArchitcture）。2.1五层沙漏结构五层沙漏结构是一种影响十分广泛的结构，它的主要特点就是简单，主要侧重于定位的描述而不是具体的协议定义。其基本思想就是以"协议"为中心，也十分强调与API（ApplicationProgrammingInterfaces）和SDK（SoftwareDevelopmentKits）的重要性。五层沙漏模型从底层开始分别为构造层、连接层、资源层、汇聚层和应用层。网格构造层由各种物理资源所构成，包括存储资源、计算资源、目录、数据库、网络资源、传感器等，构造层的基本功能就是控制和管理局部的资源，向上提供访问这些资源的接口。网格连接层实现构造层资源之间的通信、数据交换，定义了核心的通信和认证协议。网格资源层建立在连接层的通信与认证协议之上，工、提供数据访问、计算机访问、状态与性能信息访问等服务。它考虑的是单个的局部资源，全局状态和跨越分布资源集合的原子操作由汇聚层考虑。网格汇聚层的主要功能是协调“多种”资源的共离，协同完成任务。汇聚层在资源基础上，实现更高级的应用。汇聚层可分为通用的汇聚层和面向特定问题的汇聚层。网格应用层是在虚拟组织环境中存在的，应用可根据上面作一层次上定义的服务来构造，它可以调用资源层的服务，也可以调用汇词聚层的服务，从而满足应用需求。拿电力系统做个比喻，前四个层次就相当于发电厂、电网、变电所和配电房，而应用层相当于住宅里的电闸、电表和电源插座。其另一个重要特点就是沙漏形状，如图2所示。核心协议就形成了协议层次结构中的一个瓶颈，资源层和连接层共同组成这一核心的瓶颈部分，它们提供资源的安全访问。2.2开放网格服务结构OGSA开放式的网格服务体系OGSA是一个由节点和连线构成的框架。该框架的节点是网格服务而网格服务之间的连线是网格服务相互交流时所用的语言。网格服务是特殊的网络服务专供用来维持和管理网格体系。OGSA网格也为五层结构，其结构同五层沙漏结构，自下而上为结构层、连接层、资源层、汇聚层及应用层。但OGSA结构较五层沙漏结构有着以下特点：（1）以服务为中心的模型如果说五层沙漏结构是以协议为中心的“协议结构”，其试图实现的是对资源的共享，则OGSA就是以服务为中心的“服务结构”，其实现的是对服务的共享。OGSA将一切看作服务，并定义了“网格服务”，该服务提供了一组接口，这些接口明确遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理、通知等问题。因此，网格是可扩展的网格服务的集合。简单地说，网格服务=接口/行为+服务数据。（2）统一的WebService框架WebService描述了一种新出现的、重要的分布式计算范式，定义了一种技术，用于描述被访问的软件组件、访问组件的方法以及找到相关服务才蝗发现方法，解决了发现和激发永久服务的问题。OGSA是符合标准的Webservice框架的。但是在网格中，大量的是临时服务，因此OGSA对Webservice进行了扩展，提出的是网格服务（GridService）的模仿，使得它可以支持临时服务实例，并且能够支柱创建和删除。（3）突破科技应用领域正如Web技术一开始是科学协议而出现的，但是后来在商业领域却大量使用一样，OGSA将原来主要在科技领域应用的网格技术转移到工商业领域。OGSA而向服务的特点允许我们在不同的层次虚拟化资源，因此相同的机制与抽象可以应用于多个组织之间的分布式网格支持的协作，或者是跨越多个特点主要环境。2.3应用实例：Globus系统Globus是美国Argonne国家实验室研发的网络计算项目，有12所大学和研究机构参加该项目。Globus对资源管理、信息安全、信息服务、数据管理等网络计算关键理论进行了研究，开发了在各种平台上运行的网络计算工具软件（Toolkit），帮助组建和规划大型网络试验平台，开发大型网络系统运行的应用软件。Toolkit是Globus最重要的成果，其第一版在1999年推出。2003年1月13日，符合OGSA规范的GlobusToolkit3.0（Alpha版）已经在第一届Globusworld会议上发布。这标志着OGSA已经从一种理念、一种体系结构，走到付诸实践的阶段了。Toolkit开放源码，任何人都可以从其网站上直接下载源代码。Globus的协议分为五层：构造层、连接层、资源层、汇集层和应用层。每层都有自己的服务、API和SDK，上层协议调用下层协议的服务。网格内的全局应用都通过协议提供的服务调用操作系统。Globus的网格计算协议建立在互联网协议之上，以互联网协议中的通信、路由、名字解析等功能为基础。在Globus看来，现有的共享方案，比如互联网、B2B、ASP、SSP、Java、CORBA、DCE等，要么在共享配置的灵活性上、要么在共享资源种类上不能完全满足虚拟组织的需要。同时，Globus并不试图取代现有技术，而是希望在现有技术之上建立更高层次的共享。为了有效支持网格计算环境，Globus工具包针对Globus项目中提出的各种协议，提供了一系列的服务、软件库、编程接口（API）和使用例子。迄今为止，GlobusToolkit已经成为事实上的网格标准。一些重要的公司，包括IBM、Microsoft、Compaq、Cray、SGI、Sun、Fujitsu、Hitachi、NEC等公开宣布支持GlobusToolkit。目前大多数网格项目都是基于GlobusToolkit所提供的协议及服务而建设的，例如美国的物理网格GriPhyN、欧洲物数据网格DataGrid、荷兰的集群计算机网格DAS-2、美国能源部的科学网格、DISCOM网格、美国学术界的TeraGrid等等。3网格的研究历史与现状从美国、日本及欧洲的发达国家到印度这样的发展中国家都启动了大型网格研究计划，并得到了产业界的大力支持。网格的发展到目前为止基本上可以划分为以下几个阶段：一是萌芽阶段：在上个世纪90年代初期，主要是千兆网的测试床以及一些元计算的实施。二是早期实验阶段：在上个世纪90年代中期到晚期，如I-WAY项目，还包括一些学术性的软件项目，例如Globus、Legion等。三是飞速发展阶段：2002年以来，出现了大量的应用社团和项目，主要基础市话的开发和使用，工业界对网格计算的兴趣在增长，例如IBM、Platform、Microsoft、Sun、Compaq等重要的公司。同时也出现了一比较显著的技术基础，如GlobusToolkit，形成了具有相当规模和世界影响的全球网格论坛GGF（GlobalGriaForum）组织。目前，IBM是网格系统和服务方面的领先供应商，已经为很多科技团体、政府机构、商业化用户的网格系统提供了产品和服务，其中包括英国国家网格、荷兰国家各、北卡州的生物网格等等。美国太阳微系统公司2002年发布了“网格引擎”企业版的测试版。HP公司也提出了UtilityComputing计划和UtilityDataCenter产品。Oracle公司2002年11月推出面向网格的基于Globus的数据库应用工具。2008年北京奥运会的计算机信息处理系统将应用网格，IBM、Oracle、SUN、NP都已推出了一系列可应用网格的产品。日本文部科学省2003年5月决定投资700亿日元开发超大型网格计算机，它出现在世界上运算速度最快的计算机还快近10倍，将达每秒300万亿次。我国“十五”863计划的高性能计算专项和软件专项等重大科研项目都与网格技术相关。目前，我国已开展了“国家高性能计算环境”和“先进计算基础设施北京上海试点工程”两个项目，对网格计算进行研究。中科院计算所正在进行的“织女星计划”（Vega计划）正是以元数据、构件框架、智能体、网格公共信息协议和网格计算协议为主要突破点对网格计算进行的研究。4网格存在问题及发展前景4.1存在问题下一代互联网技术是完全崭新的，从光纤到路由器、交换机、上层服务器、操作系统、各种系统软件和应用软件都将产生革命性的变革。因而，在网格的发展道路上，Globus和它的各种替代版本将面临巨大障碍。为实现网格的广泛应用，还必须解决下列问题：（1）标准是成功关键。就像TCP/IP协议是互联网的核心一样，构建网格计算也需要对标准协议和服务进行定义。迄今为止，网格计算还没有正式的标准，但在核心技术上，GlobusToolkit已成为网格计算事实上的标准。（2）网格资源动态分配问题。如何在动态、异构虚拟组织间实现协同的资源共享以及协同是网格中非常重要的问题。已有的一些并行和分布计算系统的资源分配技术，并不能很好地适应计算网格资源分配问题的特点。（3）数据通过因特网时形成的延迟问题。智能软件应确保按时传送数据，否则，网格处理问题的手段将被限定在“并行运算”。并行计算在不同的机器上完成，某一台计算机不需要等待另一台计算机的处理结果。（4）目前互联网的数据传输能力不足问题。为此，发展网格要和建设下一代宽带互联网（如美国的“下一代Internet（NGI）”和“Internet2等”）结合起来。另一方面，采用无线移动和卫星通信，也是一种现实的途径。（5）进一步解决人机结合问题，使网络格更加个性化、智能化和科学化。（6）通过法律的手段解决网上资源共享中的智能产权、相互信任和报酬等问题以及如何保障网格计算的安全性、认证和可靠性等。4.2发展前景网格是一种面向问题和应用的技术，它的目标是实现网络虚拟环境上的高性能资源共享和协同工作，消除信息孤岛和资源孤岛。这种新的网络体系不仅仅可能带来信息资源的获取、分布、传输和有效利用的、革命性的、结构性的巨大变化，而且将根本改变我们的研究方式、教育方式、生活方式与生产活动的方式。一旦建立起了网格，就可以开展许多以前无法进行的工作和研究，可以带动工业界大量的相关产品的生产和消费，基于网格会激发无数的服务提供和服务消费。据《ForbesASAP》预测，网格技术将在2005年达到高峰，并带来因特网的新生。如果网格技术能促使市场按预期的17%年增长率持续成长的话，那么在2020年将会形成一个年产值20万亿美元的大产业。