网格 及其应用的一些相关技术 高能所计算中心 于传松 2002.10.9

网格简介 LCG — 一个最接近实用化的网格 应用中的一些技术问题 介绍高能所的一些科研成果

网格简介 应用需求及发展史 网格体系结构 网格安全 网格信息系统 网格数据管理 网格工作流程 网格软件的发展

网络技术发展的三次浪潮 第一次浪潮：Internet的产生（80年代） 第二次浪潮：WWW（80年代末- 90年代中期） 局域网的相互连接产生互联网 FTP、Telnet、Email newsgroup、BBS 第二次浪潮：WWW（80年代末- 90年代中期） 超文本文件由http协议连接 WWW的产生（1989年由CERN科学家发明） 第三次浪潮：Grid（90年代后半期-...） 各种资源统一通过网格技术连接 根据用途不同分为数据网格、计算网格...

为什么需要网格 首先是科学研究提出需求，然后扩展到其他领域 大型科学研究 提出的需求 生物、生化研究（基因研究、新药研究） 地学研究（地震研究与预测） 大气物理与气象预报 高能物理理论与实验 提出的需求 计算密集型、I/O密集型、数据密集型计算的需求 需要使用位于远处的大型、位置固定的仪器设备 大型国际合作项目的需求

什么是网格 Argonne实验室的I. Foster认为网格是一种规模大小可变的虚拟组织：由动态合作的个体、研究单位和资源所有者之间的灵活的、安全的、协调的资源共享 虚拟组织的成员——分布在世界各地的，为了完成同一件事情的研究机构、大学、科学家个体… 资源——计算机、存储设备、网络、大型科学仪器、数据库、软件、信息… 用户的观点：希望使用网上资源像使用电力、自来水那样方便，不必关心是从哪里来的资源，也不必考虑用多用少，总能满足需求。

网格所需要实现的技术 通信：Internet功能 资源信息服务 资源管理和调度 网格安全：认证和授权 虚拟组织及用户管理 全局名字服务 网格文件系统 监视系统 记帐 用户图形界面

GRID的协议分层体系结构 Globus Toolkit™ 应用层 会聚层 资源层 连接层 基础层 汇聚多个资源: 元目录服务、资源代理、复制服务、任务管理、协同、预留…… 资源层 共享单一资源: 协商访问、控制使用 资源分配、文件传输与访问，网格状态信息访问…… We define Grid architecture in terms of a layered collection of protocols. Fabric layer includes the protocols and interfaces that provide access to the resources that are being shared, including computers, storage systems, datasets, programs, and networks. This layer is a logical view rather then a physical view. For example, the view of a cluster with a local resource manager is defined by the local resource manger, and not the cluster hardware. Likewise, the fabric provided by a storage system is defined by the file system that is available on that system, not the raw disk or tapes. The connectivity layer defines core protocols required for Grid-specific network transactions. This layer includes the IP protocol stack (system level application protocols [e.g. DNS, RSVP, Routing], transport and internet layers), as well as core Grid security protocols for authentication and authorization. Resource layer defines protocols to initiate and control sharing of (local) resources. Services defined at this level are gatekeeper, GRIS, along with some user oriented application protocols from the Internet protocol suite, such as file-transfer. Collective layer defines protocols that provide system oriented capabilities that are expected to be wide scale in deployment and generic in function. This includes GIIS, bandwidth brokers, resource brokers,…. Application layer defines protocols and services that are parochial in nature, targeted towards a specific application domain or class of applications. These are are are … arrgh 连接层 通信协议与安全： 通信、认证、授权、VO管理…… 基础层 资源及它们的访问与控制： 存储系统、计算机群、网络……

网格工具包（Globus Toolkit） 资源信息及发现服务 资源管理 数据传输服务 网格安全体系

网格安全体系GSI Globus的标准：GSI — 基于PKI X.509 用户向安全认证中心CA申请证书 用户用证书向网格站点自己的VO注册 用户获得网格的授权后可以根据自己的角色使用网格的资源 长时间作业需要授权代理的支持

网格信息系统GIS 信息服务解决以下问题： Grid信息服务： 什么资源可资利用->资源发现。 资源的状态如何->资源的选择。 如何优化资源的使用->应用配置和应变。 Grid信息服务： 系统成分的静态和动态资源。 提供在异构、动态环境中配置和自适应的基础。 统一而灵活的信息访问，可扩展的、高效的动态数据的访问，多信息源的访问，分散的维护。

分级的信息服务结构 Top GIIS GIIS GIIS GRIS GRIS GRIS

网格数据管理 基本的协议—Gridftp（安全、并行的 ftp） 对存储系统的接口是SRM（存储资源管理器） RLS（复制定位系统）跟踪文件的位置 文件移动、复制的基本工具RM（复制管理器） GFAL（网格文件访问库）提供透明的用户访问

工作流程 服务将资源和作业连接起来 使用许多服务：GIS，RLS，GSI… 用户申请作业 查询资源情况 将作业与资源（计算能力、存储空间、软件、库……）匹配，向调度提交作业 执行作业（计算） 跟踪作业的状态 假如失败，重新提交 返回结果 使用许多服务：GIS，RLS，GSI…

网格软件的发展 Globus Web Service OGSA P2P 美国Agonne实验室 五层沙漏模型 IBM、SUN、微软 Web调用API，基于SOAP OGSA GGF制订的标准 吸收了Web Service的技术与思想 适用于更复杂的应用 P2P 对等网 已经发展了三代，目前正在发展第四代 These infrastructures at the present consist of those provided by the Enabling Grids for E-scienceE (EGEE) project in Europe, the Open Science Grid (OSG) project in the U.S.A. and the Nordic Data Grid Facility in the Nordic countries.

LCG — 一个最接近实用化的网格 LCG的总体规划 LCG站点

LHC计算需求 每年产生的数据: 12-14 PetaBytes/year LHC刻度、重建、模拟等计算所需的 CPU： 100 Million SPECint2000 (大约10万个Intel最新CPU）

CERN Computer Center > 20 TIPS CERN/Outside Resource Ratio ~1:2 Tier0/( Tier1)/( Tier2) ~1:1:1 Experiment ~PBytes/sec Online System ~100 MBytes/sec Tier 0 +1 CERN Computer Center > 20 TIPS HPSS 2.5 Gbits/sec France Center HPSS UK Center HPSS Italy Center HPSS USA Center HPSS Tier 2 Tier2 Center Tier2 Center Tier2 Center Tier2 Center Tier2 Center Tier 3 ~622 Mbits/sec Institute ~0.25TIPS Institute Institute Institute Physics data cache 100 - 1000 Mbits/sec Physicists work on analysis “channels”. Each institute has ~10 physicists working on one or more channels Tier 4

LCG站点的分布 参加LCG计算的有31个国家。 站点数达到95个。 总的CPU数达到9528个—世界上最大的计算机系统。

Grid组件

Grid组件 UI（用户接口） CE（计算单元） WNs（工作节点） SE（存储单元） RB（资源代理） MyProxy（证书代理） BDII（顶级网格信息服务）

CA及VO 认证中心CA 虚拟组织管理VOMS 基于PKI 由CA服务器和安全Web服务器组成 负责证书的颁发、签署和撤销 CA的策略发布

工作流程图示

LCG软件的发展 LCG — gLite VDT EDG . . . LCG . . . Globus 2 based AliEn LCG . . . These infrastructures at the present consist of those provided by the Enabling Grids for E-scienceE (EGEE) project in Europe, the Open Science Grid (OSG) project in the U.S.A. and the Nordic Data Grid Facility in the Nordic countries. Globus 2 based Web services based gLite-2 gLite-1 LCG-2 LCG-1

应用中的一些技术问题 （介绍高能所的一些科研成果） 基础设施中的问题与解决方法 网格文件系统 网格的用户界面

基础设施中的问题与解决方法 新一代计算环境—挑战与方案 超大型计算基础设施的系统结构 超大型计算基础设施的自动化管理 负载平衡与作业调度

新一代计算环境—挑战与方案 系统的稳定性 可管理性 高效性 服务质量保证 安全性 高效的存储系统 关键数据的备份

超大型计算基础设施的系统结构 交互机群 批处理机群 … … … … 磁带库 LCG站点 登录节点 登录节点 计算节点 计算节点 计算节点 Internet 园区网络 Disk Server Disk Server … Disk Server Tape Server Tape Server … Tape Server 磁带库

自动化管理 超大规模计算中心面临的管理问题 超大型计算基础设施管理系统ELFms 管理的工作量 管理的有序性 管理的有效性 节点配置、安装、管理Quattor 系统/服务监控LEMON 硬件/状态管理LEAF

负载平衡与作业调度 意义在于资源的共享和提高可管理性 基于抢占的调度策略 大规模作业的提交 不同VO的用户共享不同来源的设备 实现作业的现场保存与恢复 大规模作业的提交 满足高能物理数据处理与分析的需要

网格文件系统 广域网文件存储面临的难题 实现网格文件系统存在的问题 实现网格文件系统的目标

广域网文件存储 网格数据需要全球共享，需要广域网上的文件存储服务 广域网文件存储面临的难题 延迟：光速的限制；多次往返通信 缺乏可靠性：打开/保存文件超时；丢失数据 异构的存储系统 存储资源动态变化

实现网格文件系统存在的问题 名字服务器的结构与效率问题 存储资源整合与需求多样化的问题 动态复制问题 文件访问方式问题 文件传输方式选择 名字服务器用于检索和定位资源，因此效率及可靠性与结构有关，应该采用什么样的结构？ 存储资源整合与需求多样化的问题 网格上的存储资源和用户的需求是多种多样的 动态复制问题 数据复制是提高性能和可靠性的重要手段，动态复制策略？ 文件访问方式问题 写操作引起的副本一致性问题 文件传输方式选择 存在众多的文件传输/访问协议，没有统一的标准

实现网格文件系统的目标 将动态变化、异构的、全球分布的存储资源虚拟成一个稳定的、单一的文件系统视图 提供分级的文件名字空间 提供POSIX文件访问接口(Open/Seek/Read/Write/Close) 应用程序无须任何修改就可以访问网格存储空间（local virtual file system） 自动透明的副本创建和选择机制 延迟管理、性能优化、安全保证等

网格文件系统的一种实现 ——HEP-GridFS的体系结构 网格文件访问接口 应用层：应用程序、工具 汇聚层：协调各种资源（目录 服务、调度、复制等） 网格文件名字服务 存储资源管理SRM 资源层：共享单一资源 网格安全认证体系GSI 连接层：提供安全通信 物理存储系统 （castor/HPSS/NFS等） 构造层：可供共享的资源 物理和逻辑实体 网格文件系统体系结构 网格五层沙漏结构

网格文件系统的一种实现 —— HEP-GridFS组件及其相互关系 网 格 文 件 访 问 接 口 网格文件 名字服务器1 网格文件 名字服务器n WIN32 客户端 广域网 传输 存储资源管理 SRM 存储资源管理 SRM 本地 数据 传输 本地 数据 传输 海量存 储系统 海量存 储系统 LINUX 客户端 存储资源管理 SRM 其它 客户端 本地 数据 传输 海量存 储系统

网格的用户界面 研究网格Portal的目的、意义 网格Portal的体系结构 网格Portal的基础功能 关于遗留代码

网格Portal的目的 网格环境中包含着各种异构计算机、软件、数据库等，要想充分使用这些资源，使它们协同工作，需要对复杂的网格环境有清晰的认识和配置，而这并不容易 作为网格这一新技术而言，只有当用户感觉到这项新技术容易使用，操作不复杂，才能得以推广

网格Portal的意义 提供一个相对简单而且适合用户使用习惯的Web交互界面，提供了对身份认证、任务提交、信息查询等访同网格资源的方便的操作接口，简化了客户端的软件配置 对用户隐藏底层网格系统的细节 提供可视化的资源视图 可以快速利用网格的计算能力 用户的工作不受网格变化的影响 提供一整套利用网格服务和网格资源来完成科学计算的工具 负责管理后端网格中的计算资源

网格Portal的体系结构 客户端浏览器：为了传输的安全，客户端浏览器需要支持SSL Web应用服务器：也即网格portal容器，为网页提供服务，它是网格Portal所在，主要用来处理客户端的HTTP请求 网格服务层：主要由网格服务如文件传输、作业提交等服务构成

网格Portal的基础功能 安全访问服务 作业管理服务 数据服务 信息及监控服务 特定任务 用户注册、登录、认证、授权、代理、会话控制 作业提交、启动、停止、迁移、返回作业状态和结果 数据服务 网格文件管理、数据传输服务 信息及监控服务 提供信息查询、作业监视 特定任务

关于遗留代码 遗留代码是指那些在传统计算环境中运行良好、有科学计算用户在长期的科学研究中积累的一些经常使用的程序 这类程序主要针对传统计算环境而设计，一般可以运行在一种或几种指定的计算平台上，成熟、稳定性好、拥有一定的用户、又在网格计算环境中继续使用的价值，但是，这些遗留代码大多不具备对网格计算环境的适应能力 为了在网格计算环境下充分使用这些遗留代码，将他们进行web 服务包装 遗留代码进行web 服务包装后，将其融入网格portal之中，方便用户的使用

总结 四年前报告的结论 今天的发展现状 Grid是继Internet和WWW之后网络技术的新发展 目前Grid技术尚未成熟，许多问题有待解决 各国的科学家和IT业正在努力发展Grid相关技术 Grid将在科学研究、工商业及生活中得到广泛应用 Grid将在几年内走到你身边 今天的发展现状 Grid技术已经接近成熟 科学界的Grid正在大规模部署，在两、三年内将正式投入使用 商业和其他领域也将进入普遍应用 中国科学家已经完成了许多卓有成效的研究工作（上述介绍的大多是是高能所科学家的工作）

谢谢！