网格、机群和操作系统的发展趋势

李国杰 徐志伟

 

 

一、关于网格技术

网格技术(包括Web service)正在成为影响信息技术下一个高潮的最重要的核心技术。它正产生下一代操作系统和用户界面,从而推动新一代计算机应用。这一点Wladawsky-Berger(美国总统信息技术顾问委员会前主席,IBM CTO)在今年高性能计算机国际会议的主题报告“Beyond TechnologyOn-Demand Computing”中做了精辟的介绍。

 

 

 

 

 

 

 

任何一种技术的发展可以分成四个阶段:(1)少数技术专家使用阶段,如计算机领域中的大型机一终端时代。此时,一般用户根本用不上计算机。(2早期流行阶段(early adoption),此时更多技术专家以及一般用户开始使用,如计算机领域中客户-服务器(微机-局域网)时代。这时,用户仍然需要有一定的计算机知识,要很好地使用则需要深入的知识。(3公众认识阶段(public recognition),此时广大社会民众对该项技术有了初步意识和认同感,如计算机领域中的因特网时代。计算机技术已在公众中流行起来(如网吧)。用户仍然需要知道计算机的知识。(4)在所谓广泛使用时代(mass adoption)或“后技术时代”(post-technology stage),用户已经看不见技术(也不需要知道技术),只看得到技术带来的好处。对计算机领域而言,这个“后技术时代”就是按需计算时代、网格计算时代、Utility Computing时代(这些名词是从不同角度说一个东西)。现在,我们正处于从因特网(Internet Web)时代向按需计算时代演化的阶段。

网格技术不是遥远的空想,而是学术界与工业界正在全力开发的技术,现在已有初步的产品出现,在2003-2025年时段内各大厂家将会推出新一代操作系统(网格操作系统)与用户界面(网格界面)。届时,一大批新型应用软件、使用模式、商业模式也会出现。

为了避免网格成为一种商业炒作和泡沫,科技界应该踏踏实实地开发网格技术及其应用。在GGF-5期间,常听到两种反映共识的声音:(1)全力开发网格技术标准;(2)分阶段实现网格远景,每个阶段目标(包括技术目标和应用目标)具体有限。Fran Berman建议经过三个阶段构造科学研究网格:

OGSAGlobus已成网格的主流体系结构。全球网格论坛(GGF)已经成为事实上的全球性的网格技术标准化组织。近两年来,与网格相关的另外两个组织(Peer-2-Peer Working GroupNPI,即New Productivity initiative)已正式融入GGF,成为GGF的一个领域(Area)。目前,该领域确定了两个主要方向,即桌面网格(如Entropia)和家电网格(Appliance Grid)。后者与联想电脑公司的Micro Grid目标一致。这两个方面已经有了很多技术积累。

网格、Web serviceP2PSemantic Web等工作越来越结合为一体,日益扩大网格的(应用领域)外延。比如,GGF成员已经在研究GSDLGSFLAppliance GridSemantic Grid等课题。很多GGF成员认为“Web service是不是网格”、“Semantic web是不是网格”之类教条式争论完全没有意义。

网格的目的不只是科学计算,而是各种服务。其中,高速、安全、方便地共享与处理海量数据和信息将会是一个主要目标。Fran Berman认为,Teragrid构造的网格系统的主要优势不是13.6Tflopls的聚合计算能力,也不是40Gbps主干通信能力,而是由于这些能力得到充分发挥,让数千名科技人员能够从全国各地实时地共享600TB的数据。

政府对网格研究的支持继续升温,这方面仍然是美国最为积极。除了现有的TeraGrid (DTF)ETF、各种应用网格计划、Middleware Initiative 以外,最值得注意的是NSF Blue Panel已经酝酿了两年多的Cyberinfrastructure计划。这个计划作者之一的Paul Messina说,Cyberinfrastructure计划可望在明年得到批准,届时每年会增加6亿美元的研究经费。网格是一个核心技术。

欧洲方面最积极的是英国(e-Science)。荷兰、意大利与德国也有相当投入。连原来不甚积极的法国,也启动了一个称为ACI GridAction Concerte Incidative)的国家网格计划,牵头单位是INRIAMichael.Cosnard@inria.fr)。这个三年计划的经费不到1000万美元,但不包括人员和设备投入(另有经费支持)。日本与韩国的网格计划已经启动。并各自成立了全国网格论坛,东京工业大学的松岗聪教授(他是GGF指导委员会成员)认为,到2004财年,网格技术将成为日本信息技术领域的基础设施类大项目。

工业界已在大力开发网格产品和服务,这方面的领头公司是IBM与微软,其次是PlatformHPSunIntelBEA等公司。这些公司基本上都认为网格与Web Service本质上是一回事。但在产品推动的具体操作上,公司的主要力量在Web Service,这与学术界注重计算网格、数据网格有所不同。SunInternetWebUnix系统的发展中起了重要作用,但在网格(含Web Service)这一波浪潮中不如IBM和微软的作用明显。但是Sun至少在网格的3个方面发挥着重要作用:(1J2EE环境;(2Liberty联盟(身份与上下文);(3)基于CIM的服务器系统管理(SMC),它很可能会影响网格系统管理。SunWeb Service(包括Sun ONE以及N1体系结构)与网格战略本身特色并不明显。

国际科研界有以下三种共识:

第一,当前网格的研究开发工作事实上正在创造下一代的操作系统和用户界面。比如,IBM已经把WebSphere变成了公司的一个品牌,甚至直接了当地说WebSphere就是“Internet operating system”。Ian Foster说他们的Globus的目标是成为“分布式计算的Linux.他进一步确认,Globus就是开放源码的网格操作系统核心。


第二,这种网格操作系统的基本结构继承了以前操作系统的做法,即一个核心(内核)加上一个框架,就像GNU/Linux一样。当我们说Linux操作系统时,我们实际上是指Linux核心中加上GNU环境(亦称框架)。

第三,不论是学术界还是工业界(包括微软),都强烈希望只有一套开放的网格(Web Service)技术标准。要注意的一点是OGSAIan Foster等人的“Physiology”论文并不是OGSA体系结构的规范说明(Specification)。用他的话说,此文只是号召同行(a call to arms),今后两年将是OGSA具体化和完善的时间,这些工作将具体在OGSIOGSA Architecture 等小组里实现。因此,中国同行还有机会影响网格的总体结构标准。一定不能以为OGSA已经定型了。OGSA将先在J2EE和开放平台上实现,然后在.Net上实现。

 

二、关于操作系统

微软正在全力抢占下一代操作系统与用户界面市场。微软近几年大力增加研究开发经费,试图在2005年以前推出网格操作系统与网格用户界面。2001年投入43亿美元,2002年投入52亿美元,年增幅达20%。另外微软最近公布要新招收5000名技术人员。

比尔盖茨认为,现在的桌面操作系统、服务器操作系统、Internet/web有很多缺点,是效率很低、很笨拙的东西。它们将会被.Net超越。而.Net就是微软的Internet操作系统,或者叫分布式操作系统。当然,微软也要开发相应的Office产品。

微软尚未正式公布它的产品里程碑,经过多种渠道收集了有关.Net操作系统的一些信息,经整理总结如下。

1)微软现在正在做的工作是开发微软“第四代”操作系统。

微软的四代操作系统

 

时间

产品名

特点

第一代

19831995

DOS

命令行微机操作系统

第二代

1985-1995

Windows 1.0-3.2

图形化桌面系统

第三代

19952001

Windows 95

Windows NT

直到Windows 2000

支持网络、InternetWeb(不再只是单机)

第四代

2000

.Net公布

最终成为网格操作系统,无缝支持网格及各种终端设备

2001

Windows XP

2002

Windows XP SP1

2004

LongHorn

2005

Blackcomb

 

2)目前的.NetXP只是(第四代操作系统的)过渡性产品

比尔盖茨认为微软的产品开发在今后几年里会经历三波浪潮;目前的.Net产品是第一波(其目的是抓住用户和第三方开发者);第二波不会有很多产品公布,但在技术上有实质进步;第三波内部名称叫LongHorn BlackComb,将会采用很多新技术,包括抛弃第一波的一些技术。

因此,我们不要盲目跟踪.Net。像.Net My Services 这样重要的技术,微软也可能抛弃(比尔盖茨的原话是“we’ve learned from the market and had to make some changes”)。我们可能会跟踪将很快被淘汰的东西。

3Long Horn/Blackcomb含有很多重要创新

4)微软可能会采用与众不同的、更先进的技术路线

国内研究界甚至国际研究界有一种观点,认为网格这样的技术一定是“中间件”技术,即使把网格看成分布式操作系统,也认为必须运行在各个服务器或客户机的“本地”操作系统之上。这种观点不能说错误的,但却是一种片面甚至阻碍创新的观点。这就好像是说Windows操作系统是一种中间件,因为它必须运行在DOS之上一样。现在看来,这种观点很明显是荒谬的。

当微机操作系统从DOS向视窗过渡的时候,世界当时采用了两种技术路线:一种是微软的Windows 1.0-3.0,另一种是IBMOS/2。前者需要先在微机上安装DOS,后者则不需要。到了1995年,Windows 3.0那种落后的方法就完全被淘汰了。

今天,微软和IBM似乎刚好交换了角色。IBM(以及众多其它厂商和科研界)似乎是把网格操作系统(如WebSphere)构造在本地操作系统(如AIXLinux)之上,而微软则似乎在走OS/2的路,构造一个无缝的操作系统,既是网格操作系统,也是本地操作系统。微软的这种技术路线可能更为先进。当然,上述论断并不一定正确,因为我们尚不知道微软战略的细节,IBM和科研界也可能会改变它们的策略。

综上所述,微软有今后几年里的动向非常值得关注。而且,它在思路上似乎已经领先于其它厂商。如果运气好的话,2005~2010年微软将会保持并扩大它在操作系统领域的垄断地位。

微软的.Net战略也有一些潜在的风险。第一,这是一个浩大的创新工程,如果微软仍然像以前那样封闭自行开发的活,成本很大,犯错误的机会也很多。第二,与IBMHPSun等厂家相比,微软在服务器端的经验(如可扩展性等方面)仍然较弱,而网格与Web service的服务器端成分很大。

为了减小这种风险,比尔盖茨指出微软的.Net战略将支持、推动、采用开放的技术标准。这也是为什么微软积极参与W3CGGFWSI等联盟的原因。最近有消息说,微软公司也要推出基于LINUX的软件产品,这一动向值得我们关注。

 

三、关于机群系统

机群系统方面的有三个动态值得重视。

(1)    非传统机群

我们熟知的机群主要是微机机群和服务器机群。科研界已经在研究其它类型的机群(我暂且称为非传统机群),比如:板卡机群、笔记本电脑机群、PDA机群、专用设备机群等。

阿岗实验室的Rick Stevens已经构造了一个用于科学计算的由8PS2Play Station 2游戏机)组成的Linux机群,每个结点大约400美元、峰值速度为6Gflopl/s。他的经验是,这种机群并不比微机机群性能价格比更高,其主要原因有三个:①主频太低;②内存系统不佳(没有Cache,内存带宽不高);③要取得高性能必须有很高超的汇编技巧。

据悉,Sony正在与IBM合作,开发运行LinuxPS3系统。此款机器将在2005年左右推出,单机成本仍会控制在400美元左右,芯片采用大规模并行结构和0.13u工艺,主频在3-6 GHz左右,峰值速度为600 Gflop/s。并且,此款系统将支持Cache并大大改善内存带宽。

这个消息的可靠性需要核实。如果属实的话,这类机群将能够大大提高一些半专用计算系统的性能价格比。

2CIM可能成为机群管理的主流技术标准

这方面Sun做得最好。它的SMC有三个特点:①Solaris核心支持(而不是像其它产品,将系统管理做在核心之上);②SMC提供统一的框架;③各种具体系统(如服务器、客户端、机群、网格等)填上自己的内容和表示层。

采用CIM的另一个好处是,更容易实现机群管理和网格管理的无缝衔接,因为GGF已有一共识,要把CIM作为网格信息服务的主流技术标准。

3Linux机群正在进入华尔街金融界的核心业务领域

华尔街的金融界是技术是最保守的行业之一,因为它非常强调可靠性。它的核心业务一直使用IBM大型机和Unix机。但今年开始,一些银行和其它金融机构经过大量测试和实验,已决定将核心业务往Linux机群上迁移。其原因有三:

四、     近年内可能取得的突破性创新(Disruptive Innovation

江绵恒副院长多次提醒我们要十分注意突破性创新。经过几年的调查、研究和国际交流,我们认为:

网格是1995-2010年时段计算机体系结构、操作系统、用户界面领域最重要的突破性创新。它为中国提供了一个前所未有的机会。

说网格是突破性创新,是因为各种迹象都表明,像计算机历史上的IBM S/360系统、操作系统、关系数据库和Web一样,网格会产生计算机领域的新科学与新技术,导致业界重新洗牌(Paradigm shift),从而淘汰或超越现有产品,开辟庞大的新市场。

1)计算机体系结构领域的突破性创新

一些专家认为,计算机领域的突破性创新只能来自器件层甚至更底层(如量子计算)。其实并不然。与器件技术正交的计算机系统技术,也可能产生突破性创新。IBM S/360系统的推出,产生了通用计算机家族、计算机体系结构、操作系统等根本技术,淘汰了绝大部分的专用计算机市场,仅为IBM一家公司就带来了数千亿美元的市场收入,改变了整个计算机产业的面貌。

现在世界上的分布式计算系统或网格计算系统领域,很像计算机在IBM S/360推出前的状况。它们大都是定制开发的专用系统,也有小部分是基于未能流行开来的准通用技术(如CORBA等),它们甚至没有公共编码(这就像ASC标准出来之前计算机系统使用FIELDATAITA2Murray’s codeMorse’s code的混乱状况一样)。这些系统无论是开发、部署、应用、管理、升级、集成的成本都很大。

就像IBM S/360对计算机系统领域所起到的突破性创新作用一样,网格也将是分布式系统的突破性创新。它正在产生通用分布式系统家族、标准的分布式系统体系结构、以及网格操作系统。与强调“分布”的传统分布式系统不一样,网格更强调将局域或广域的分布式系统看成一台虚拟的网格计算机。

这样一来,计算机界就不得不回答下述的科学和技术问题了:

对于这些问题的研究,将推动计算机科学与技术的发展,在体系结构、操作系统、用户界面领域造成Paradigm shift

对于网格计算机的公共编码问题,业界已经有了回答,那就是XMLW3CHenry ThompsonXML为分布式系统的ASCII码)。

对于网格计算机的体系结构问题,业界尚无明确的回答,但已有一定共识,那就是OGSA/Globus2003年推出的Globus Toolkit 3.0GT 3.0)可能会是被广泛认可的网格操作系统的内核,而在2003年出的OGSA Specification则是其框架。另外一组则是Web service的体系结构,如.Net。这两组结构可能会最终合成一体。要注意的是,上述结构的研究者在开发它们的时候,主要是站在网格操作系统的层面考虑,对网格计算机的“硬件”体系结构则考虑不是甚多。这方面的工作还几乎是一片处女地,有很多创新的机会。这方面的工作例子有:

当然,这方面最重要的问题还是网格计算机的整体体系结构(architecture)。如果我们看一看传统CPU芯片的体系结构,我们可以把它分解成三个内容:(1)地址空间;(2)寄存器(包括状态寄存器);(3)指令系统。

地址空间是计算机体系结构的核心内容。它的一大进展发生在60年代,产生了物理地址、有效地址、逻辑地址、虚拟地址、动态寻址技术,从而使得分时系统、交互式系统、现代操作系统、有效的高级语言编程变得可能。

澳门十大赌场网上注册织女星网格最近的一个研究进展就是在网格地址空间方面,即网格资源定位(寻址)的工作。我们提出了“网格社区”技术,将网格资源分成物理资源、逻辑资源和虚拟资源三个层次,对网格计算机的虚拟化工作作了有益的探讨,有助于大大减化网格编程的难度。

另一个进展是更基础层面的。在自图灵机以来的各种计算模型(如RAMPRAMBSP)中,地址空间的每个地址只能有读/写操作。我们提出了“主动存贮计算机”(CAM)模型,增加了对地址的执行操作,有助于更好地研究网格计算机指令系统(即WSDLGSDL等网格协议),以及网格算法的设计与分析问题。

网格计算机的另两个不同是自主控制和异步。

 

2)操作系统领域的突破性创新

这点已在微软.NetLong Horn/ Blackcomb)中已说明。其它厂家也在大力开发(如IBM WebSphereBEAWeblogic基础件等)。

这方面的Paradigm shift是:从单机操作系统转移到网格操作系统。

 

3)用户界面的突破性创新

这方面的主要Paradigin shift可能是从面向过程、面向对象的模式向着面向服务用户(所谓utility computing)的模式转移,从而改变人们开发应用和使用网格的方式。这方面的例子包括:

上述改变之所以可能是因为网格服务库、网格操作系统、网格服务器软件和网格编程工具(如Visual Studio.Net)将能够提供强有力的基础设施支持。

应用软件的开发模式也会改变。一个软件系统不再是由一个统一的团队开发,而可以是由多个互不知道的个人开发。用比尔盖茨的话说,开发一个部件的人不知道另一个部件的功能和接口,甚至根本不知道该部件的存在。

 

4)中国的机会

比尔盖茨将微软的软件发展分成几个大的里程碑:BASICDOSWindowsInternet/web.Net。这也反映了软件领域的几个大的Paradinm shifts

前几个阶段,直到Internet/web,中国都未以有机会参与进去。而现在网格阶段刚刚兴起,2002-2005年间正是制定开放技术标准、产品定型、网格技术开始普及的时段。

从目前研究界的情况看,2010年以前看不出有另一个计算机系统领域的突破性创新(或Paradigm shift)的迹象了。因此,2002-2005年正是我们最好的机会。

 

目前国际网格研究尚有不少缺陷

我们不仅要看国际技术发展趋势,还要分析国外研究有什么弱点和问题,这能提示出我们的机会。,我们认为国外网格研究至少有以下五个方面的缺陷。

1)信息网格和知识网格刚刚起步

目前国外的研究集中在计算网格、数据网格、商业网格(web service)三个方面,在P2PAccess Grid方面也有很多工作,但在信息网格/知识网格方面工作很少。尽管GGF已有了Semantic Grid的一些工作,但还缺乏内容。

目前澳门十大赌场网上注册诸葛海小组在织女星知识网格方面的研究工作在国际同行中处于领先行列,但离产生像关系数据库这样的有影响的成果还有大量工作要做。澳门十大赌场网上注册的织女星信息网格方向还有机会。

2)网格应用开发界面与使用界面还很差

GGF的界面领域还没有工作组,只有几个研究组,都在做偏计算和数据的研究。OGSA/Globus主要提供API界面。IBMHPSUNBEA、微软等都推出了类似Visual Studio.Net这样的工具。但它们属于网格计算机的库函数开发工具的层次。

澳门十大赌场网上注册织女星网格小组在正研究开发的GSML软件包就是为了解决上述问题。目前国际同行尚未有相同工作。

3)支持网格的超级服务器的需示尚不清楚

高性能计算机如何支持网格?它的体系结构和操作系统该如何改变?这些问题目前还没有答案。这是我们的创新机会。

这方面的一个进展是GGF关于使用CIM的共识。这样至少对Sun公司的服务器而言,网格与网格结点可以采用相容的资源信息服务标准,有助于网格与网格结点的无缝衔接。

4)网格操作系统还不完善

网格系统软件是网格研究界投入最多的领域。但目前它仍有很多不完善的地方。比如:

5)网格的基础研究还很薄弱

这方面国际上还很少成果发表。澳门十大赌场网上注册在这方面已有诸葛海和徐志伟领头的四项工作,已取得一些初步成果。

 

 

2003

 

XML 地图 | Sitemap 地图