网格技术与OGSA 崔辰州 China-VO项目组 中国科学院国家天文台 第三届中国虚拟天文台研讨会☆武汉☆2004.12.1-3.

Presentation on theme: "网格技术与OGSA 崔辰州 China-VO项目组 中国科学院国家天文台 第三届中国虚拟天文台研讨会☆武汉☆2004.12.1-3."— Presentation transcript:

1 网格技术与OGSA 崔辰州 China-VO项目组 中国科学院国家天文台 第三届中国虚拟天文台研讨会☆武汉☆

2 报告提要 网格起源 开放网格服务架构（OGSA） Globus Toolkit VO与Grid China-VO四项基本原则
第三届中国虚拟天文台研讨会☆武汉☆

3 E-Science: 网格的最初推动力 Pre-electronic science Post-electronic science
Theorize and/or experiment, in small teams Post-electronic science Construct and mine very large databases Develop computer simulations & analyses Access specialized devices remotely Exchange information within distributed multidisciplinary teams Need to manage dynamic, distributed infrastructures, services, and applications 第三届中国虚拟天文台研讨会☆武汉☆

4 UK e-science Edinburgh Glasgow DL Newcastle Belfast Manchester
Cambridge Newcastle Edinburgh Oxford Glasgow Manchester Cardiff Soton London Belfast DL RL Hinxton 第三届中国虚拟天文台研讨会☆武汉☆

5 UK Funding 2001-2006 e-Science Initiative £250M Applications £190M
Core Programme £30M DTI Industrial Projects £30M High Performance Computing £50M+ HPC £50M University Systems ? Research Infrastructure £250M Network £150M Content £50M Research Support £50M 第三届中国虚拟天文台研讨会☆武汉☆

6 e-Science中的部分网格计划 第三届中国虚拟天文台研讨会☆武汉☆

7 网格（Grid）是下一波大浪潮 网格—下一代Internet应用 李国杰 第一波 第二波 第三波
第一波 第二波 第三波 （1960－现在） （1980－现在） （1993－　） 因特网　　　　　 Web　　　　　 网格（Grid) 计算机的联通　　　　　 网页的联通 　　　　资源的全面联通 telnet://… grid://… ftp://… mailto://… 　　 资源包括： 　　 计算资源 　 　　 存贮资源 　 　　　 信息资源 　 　　　 知识资源　　 网格—下一代Internet应用 第三届中国虚拟天文台研讨会☆武汉☆

8 IBM的网格远景：现在的计算机 第三届中国虚拟天文台研讨会☆武汉☆

9 未来：因特网是计算机! 第三届中国虚拟天文台研讨会☆武汉☆

10 Ian Foster 统一：网格 “Resource sharing & coordinated problem solving in dynamic, multi-institutional virtual organizations” Enable integration of distributed resources Using general-purpose protocols & infrastructure To achieve better-than-best-effort service 第三届中国虚拟天文台研讨会☆武汉☆

11 网格： 到电厂买电？ 把电送到需要它的地方？ 对分布式资源与服务的按需访问与集成 第三届中国虚拟天文台研讨会☆武汉☆

12 Grid：机制、架构、社区 资源 服务 连接 技术 社区 Computing, storage, data
Build services & applications 连接 Reduce tyranny of distance 服务 Authentication, discovery, … 社区 Operational procedures, … 第三届中国虚拟天文台研讨会☆武汉☆

13 网格架构 第三届中国虚拟天文台研讨会☆武汉☆

14 网格判断标准 We believe there are three key criteria: What is not a Grid?
Ian Foster 网格判断标准 We believe there are three key criteria: Coordinates resources that are not subject to centralized control … using standard, open, general-purpose protocols and interfaces … to deliver non-trivial qualities of service. What is not a Grid? A cluster, a network attached storage device, a scientific instrument, a network, etc. Each is an important component of a Grid, but by itself does not constitute a Grid TBD: Perhaps split this into multiple slides, with more elaboration about what is and is not a Grid. Can draw material from Ian’s article. 第三届中国虚拟天文台研讨会☆武汉☆

15 官方定义： Grid A system that is concerned with the integration, virtualization, and management of services and resources in a distributed, heterogeneous environment that supports collections of users and resources (virtual organizations) across traditional administrative and organizational domains (real organizations). Taken from: “Open Grid Services Architecture Glossary of Terms”, v 第三届中国虚拟天文台研讨会☆武汉☆

16 官方定义： Service Grid Service
A software component of a service-oriented architecture that implements one or more service endpoints to provide functionality to a service requester Grid Service 1. (deprecated) In OGSI, a Grid service is a service that implements the GridService portType. This use of the term is considered to be deprecated. 2. (informal) In its more general use, a Grid service is a Web service that is designed to operate in a Grid environment, and meets the requirements of the Grid(s) in which it participates. Taken from: “Open Grid Services Architecture Glossary of Terms”, v 第三届中国虚拟天文台研讨会☆武汉☆

17 OGSA share manage access Web Services Grid Protocols Resources
Applications on demand Resources on demand Secure and universal access Global Accessibility Business integration Vast resource scalability Web Services Grid Protocols 第三届中国虚拟天文台研讨会☆武汉☆

18 OGSA 第三届中国虚拟天文台研讨会☆武汉☆

19 OGSA RoadMap 第三届中国虚拟天文台研讨会☆武汉☆

20 成功之路：标准的作用 Products & Solutions Specifications & Standards
Reference Designs Reference Designs Specifications & Standards Architectures & Best Practices Requirements & Use Cases 第三届中国虚拟天文台研讨会☆武汉☆

21 网格相关标准 GGF Research and Industry, use cases, architectures and specifications (OGSA, OGSI/WSRF) DMTF Distributed Mgt. standards and models (CIM) OASIS eBusiness & Web Services Management (WS-RF, WS-Notification, WSDM, …) EGA Promote and grow Enterprise grid computing IETF Internet architectures & specifications (SNMP, SMI) W3C Web Services architectures and specifications SNIA Advance the adoption of storage networks as complete and trusted solutions" 第三届中国虚拟天文台研讨会☆武汉☆

22 Single implementation
网格标准的发展 Source: Ian Foster - 功能和标准化 1990 1995 2000 2005 2010 Managed shared virtual systems Research Open Grid Services Arch Real standards (GGF: OGSI/WSRF, leveraging OASIS, W3C, IETF) Multiple implementations Web services, etc. Globus Toolkit Defacto standard Single implementation Internet standards Custom solutions 第三届中国虚拟天文台研讨会☆武汉☆

23 We are somewhere around here
现实期望 2003 2004-5 ~ 科学/ 技术网格 We are somewhere around here 2004 2005-6 ~ 商业/ 企业网格 早期部署 成功案例 广泛采用 第三届中国虚拟天文台研讨会☆武汉☆

24 The Globus Project™ Making Grid computing a reality
Close collaboration with real Grid projects in science and industry Development and promotion of standard Grid protocols (e.g. OGSA) to enable interoperability and shared infrastructure Development and promotion of standard Grid software APIs and SDKs to enable portability and code sharing The Globus Toolkit™: Open source, reference software base for building Grid infrastructure and applications Global Grid Forum: Development of standard protocols and APIs for Grid computing 第三届中国虚拟天文台研讨会☆武汉☆

25 Globus Toolkit® 一个旨在解决网格环境中工具、服务、应用开发过程中关键技术问题的软件系统
Offer a modular set of orthogonal services Enable incremental development of Grid-enabled tools and applications Implement standard Grid protocols and APIs Available under liberal open source license Large community of developers & users Multiple commercial support providers 第三届中国虚拟天文台研讨会☆武汉☆

26 Globus Toolkit 4 第三届中国虚拟天文台研讨会☆武汉☆

27 Globus Toolkit 4 (GT4) 第三届中国虚拟天文台研讨会☆武汉☆

28 To subscribe, send an to containing "subscribe gt4-friends" in the message body 第三届中国虚拟天文台研讨会☆武汉☆

29 VO与Grid 第三届中国虚拟天文台研讨会☆武汉☆

30 虚拟天文台面临的挑战 PB量级的数据 尚未解决的元数据问题 现有工具无法满足需求 非客观因素的制约
One band (at 1 sq arcsec) 10^0 Terabytes Multi-wavelength ^(1~2) Terabytes Time dimension >> 10 Petabytes Need auto parallelism tools 尚未解决的元数据问题 Hard to publish data & programs How to federate Archives Hard to discover/understand data & programs 现有工具无法满足需求 new analysis & visualization tools Data Federation is problematic 非客观因素的制约 Sociological issues 第三届中国虚拟天文台研讨会☆武汉☆

31 问题 解决方案 解决方案 有限的计算能力 分布式计算 有限的存储空间 分布式数据 有限的网络带宽 信息的层次化 数据的分散性 互操作性
问题 解决方案 有限的计算能力 分布式计算 有限的存储空间 分布式数据 有限的网络带宽 信息的层次化 传递结果而不是数据 数据的分散性 互操作性 虚拟天文台 第三届中国虚拟天文台研讨会☆武汉☆

32 China-VO四项基本原则 与IVOA标准兼容原则 以网格为基础架构原则 开放的软件、廉价的硬件原则 在战争中学习战争原则
第三届中国虚拟天文台研讨会☆武汉☆

33 Thank You Q & A ? www org 第三届中国虚拟天文台研讨会☆武汉☆

34 第三届中国虚拟天文台研讨会☆武汉☆

35 Open Grid Services Architecture
Web Services Messaging, Security, Etc. Open Grid Services Infrastructure Domain-Specific Services Core Services Program Execution Data Services 第三届中国虚拟天文台研讨会☆武汉☆

36 第三届中国虚拟天文台研讨会☆武汉☆

37 Open Grid Services Architecture
Web Services Messaging, Security, Etc. Open Grid Services Infrastructure Domain-Specific Services Core Services Program Execution Data Services WS-Resource Framework 第三届中国虚拟天文台研讨会☆武汉☆

38 官方定义： OGSI WS-Resource Framework Legacy program
Open Grid Services Infrastructure. A GGF specification that defines the common interfaces and behaviors of a Grid service. OGSI is deprecated in favor of WS-RF and WS-N. WS-Resource Framework A set of proposed specifications dealing with association of Web services with stateful resources. Legacy program A pre-existing program, such as BLAST or NAMD, which must be Grid-enabled before it can be executed as a Grid resource. Taken from: “Open Grid Services Architecture Glossary of Terms”, v 第三届中国虚拟天文台研讨会☆武汉☆

39 网格最好的试验场，Why？ 天文数据的特点： 开放数据 天文界的传统是所有的观测数据在一段时间后向公众开放 安全数据
缺乏商业价值，不存在保密性问题和共享障碍 海量数据 目前，世界天文数据已经达到数TB，几年后将达到PB量级 真实而归档完好的在线数据 Internet是最好的望远镜 复杂数据 形式：星表、星图、光谱、时序数据… 格式：不同的观测项目一般都会自定义数据格式 高维：每个记录可以有上千个属性 多波段：不同波段数据高度相关 第三届中国虚拟天文台研讨会☆武汉☆

40 VO 网格最好的试验场，Why？ 数据挖掘专家 高质量的数据 天文学家 数据库专家 应用工具专家 算法测试 有趣的科学问题
TB->PB 存储、检索 数据库专家 计算、统计、 可视化 应用工具专家 第三届中国虚拟天文台研讨会☆武汉☆

41 网格最好的试验场，Why？ VO-1 数据网格 VO-2 计算网格 VO-3 信息网格
第三届中国虚拟天文台研讨会☆武汉☆