2006年10月 面向数据处理的高端系统 胡雷钧 浪潮公司

高性能计算系统构成

面向数据处理的高端系统 具有较高综合能力的计算机系统----高效能系统 面向海量数据处理，需要高计算性能 具有较大的系统规模 注重系统的实际应用效果，注重性价比和总体拥有成本 用于有挑战性的应用领域，解决复杂问题 空间探索、生命科学、气象模式、高能物理、理论化学 面向海量数据处理，需要高计算性能 应用基于海量数据，需对海量数据进行处理（变换、分析、筛选） 应用需要较强的计算能力 具有较大的系统规模 系统处理器规模、节点规模、存储器规模较大 系统的空间占用、能源消耗直接影响系统的拥有成本

高性能计算系统的构成 … C I/O Unit IPN High Speed Switch Path Manage Unit CPU Memory C I/O Unit S I/O Unit SAN Manage Unit IPN

议程 国内外对高端计算研究上的差异 国外主要的技术发展趋势 在高端计算领域的机遇

国内外对高端计算研究上的差异 高端计算机＝高性能计算＝HPC＝linpack？ 高端应用＝高性能计算 ＝高性能科学计算＝数值计算？ 高性能计算实际是高端计算机的一个应用领域 数值计算并不是高性能计算的全部 国际市场上90％以上的高端计算机面向商业应用 80％以上的高端计算机应用于数据处理（2005年IDG数据） 95％的高端应用并不需要100个节点的集群系统，而需要4－32个处理器的SMP系统

国内外对高端计算研究上的差异 体系结构研究过于注重集群，在其他重要体系结构的研究上投入较少 重单一指标，不重综合指标 注重数值计算类应用 国内的高性能计算系统体系结构以集群为主 对SMP/NUMA等体系结构的研究较少 过于依赖国外底层技术，对处理器、芯片组、交换互连的研究投入不足 重单一指标，不重综合指标 重系统浮点计算性能指标，对综合应用能力的重视不够 注重数值计算类应用 强调高端系统数值计算能力（峰值浮点计算能力、LINPACK） 不重视OLTP指标、SPECWEB指标等面向商业应用的指标 在高性能计算领域注重计算能力的提升，对应用模型、算法、并行编程工具、并行程序的调试与优化方面的研究有待进一步加强

国内外对高端计算研究上的差异 高性能计算是一个产业还是一个应用领域？ 高效能还是高性能？ 产业注重主要的市场需求，首先满足主要的市场需求 主要的市场需求是面向高端的商业应用 高性能计算是高端计算机系统的一个主要应用领域 高效能还是高性能？ 国外的技术发展趋势：从注重计算能力到注重系统的综合效能 注重系统的性能功耗比、系统面向不同应用的综合处理能力、系统可持续提供服务的能力、系统的数据处理能力、系统的事务处理能力

如何改变？ 我们应该关注什么方向？ 从满足高端关键应用的角度考虑国外的发展趋势，考虑我们的战略布局 高效能 追求系统的性能功耗比 追求系统的数据处理能力 追求系统性能的平衡 计算能力的提升与获取数据的能力提升平衡 计算能力的提升与I/O能力的提升平衡发展 追求系统资源的有效利用 追求对适合多种不同应用

议程 国内外对高端计算研究上的差异 国外主要的技术发展趋势 在高端计算领域的机遇

普适化计算的发展

高效能计算和海量数据处理将成为社会信息与服务的基础

相关产品和产业的发展事关国家长远发展和国家信息化社会建设的政治经济安全 概念层 普适计算 巨系统 研究层 虚拟存储 虚拟计算 高效能计算 海量数据处理 分层存储 智能网络存储 协议与安全 高可信 实用层 高效能服务器 海量存储 虚拟现实 低成本计算机 以海量数据为基础的全面信息服务和应用

国外主要的技术发展趋势 多核技术是提高性能功耗比的有效方法，是提高系统数据处理能力的有效方法 多核技术带来的最主要的变化之一是性能功耗比的提升 多路交换系统总线技术是提高系统综合能力的有效方法 平衡计算能力与内存带宽 平衡计算能力与I/O总线带宽 虚拟化技术是提高系统资源综合利用率的有效方法 虚拟化技术通过重建边界或打破边界彻底改变了系统资源的分配方法 基于开放标准的高速互连技术是平衡计算能力与I/O能力的有效方法，是高端系统适应多种应用的一个重要发展方向

处理器向多核演进

向多内核的演进 FORECAST SINGLE-CORE* MULTI-CORE 100% 85%

向多内核的演进 2007年之后 2006年 1995年 2个线程 4个线程 两个内核 超线程（HT）技术 多内核 对称多处理 双路SMP系统 4-8个内核 4个线程 2006年 双内核 1995年 两个内核 2个线程 超线程（HT）技术 多内核 对称多处理

向多内核的演进 2000 2008+ 利益 2006 多核 预测 单核 性能 每瓦性能 吞吐量 扩展性 业界革命性的转折点 转折点

SPECint_rate per System Watt 2018/9/18 多核提高性能功耗比、提高数据处理能力 Q4‘05 SPECint_rate 2H‘06 2007 1H‘06 1.5 1.8 2.0 2.8 2.1 3.9 3.4 Opteron* 280 (2.4GHz) PaxDP 2.8/LH800 Dempsey 3.73/BF1066 Opteron* 2.6 (socket F) Woodcrest 3.00/BF1333 Opteron* 2.8 socket F Clovertown 2.67/BF 1066 Opteron* Quad Core 0% 50% 100% 150% 200% 250% 300% 350% 400% 2H’05 1H’06 2H’06 1H’05 SPECint_rate per System Watt Irwindale PaxvilleDP Opteron DC 2.4 Dempsey 95W Opteron DC socket F 2.6 Woodcrest Opteron DC socket F 2.8 Clovertown Opteron QC socket F

系统总线的演进 up to 3x up to 4x 17 to 21† GB/s up to 21 GB/s (FBD-667) FSB BW peak Memory BW peak Memory Capacity 2004 6.4 GB/s 16 GB (DDR2-400) 2008 2006 vs. 2004 64 GB (FBDIMM) 17 to 21† GB/s up to 21 GB/s (FBD-667) up to 3x up to 4x Single-Core MP front-side bus Large CPU cache Centralized Memory DDR-II, 200 Chipset FSB 400 2003 - 2004 DDR2 400 DIB 800 Dual-Core Dual-independent bus Cache per core Memory capacity 2005 - 2006 FBD DHSI Quad-Core Dedicated buses Shared CPU Caches Chipset Snoop Filter Next Gen Memory 2007 - 2008 Snoop Filter Multi-Core New Bus Architecture Improved Cache and Memory Architecture Future CHIPSET

虚拟化技术的演进促进资源的充分利用 资源分拆的虚拟化 将高性能系统分拆成若干虚拟机

虚拟化技术的演进促进资源的充分利用 资源整合的虚拟化 将多台物理设备整合 成一台虚拟机

高速互连技术的演进促进 高端系统的综合应用能力 整合存储I/O、通讯、数据同步、管理网络的高速互连技术将是未来系统间互连的主流

高速互连技术的演进 Infiniband在存储领域将有快速发展 可以实现多种存储协议，并有较高性能 可支持块设备协议、文件共享协议（NAS）、并行文件系统协议

高速互连技术的演进 高速互连带宽持续提升已接近系统总线的传输速度

高速互连技术的演进 高速互连带宽持续提升已接近系统总线的传输速度

高速互连技术的演进 高速互连带宽持续提升 2008年将达到20Gb-40Gb 通信延迟将进一步降低 2008物理通信延迟达到几十ns

高速互连技术的演进 对等带宽方式的互连方法是IB互连的基本方式

高速互连技术的演进 Torus（立方体）互连是IB的新的互连方法

高速互连技术的演进 基于IB的TORUS互连

从机架式结构到刀片式结构的演进 刀片式结构将是主流

2018/9/18 存储虚拟化技术 存储虚拟化 设备级 文件系统级 服务级

基于存储实现虚拟化 将虚拟化层放在存储设备的适配器、控制器等上来实现的 2018/9/18 基于存储设备的虚拟存储是。这种实现方式从理论上说性能是最优的，它能够充分考虑存储设备的物理特性，并且将服务器从虚拟存储的实现工作中解放出来，直接在存储设备上实现，方法简单，也为用户和系统管理员提供了最大的方便性。但是，基于存储设备的虚拟存储对存储容量的扩展有很大限制，同时，对于包含多家厂商存储设备的存储系统来说，这种方法的运行效果并不是很好。 最典型的虚拟存储璞甘谴排陶罅校≧AID）。RAID的虚拟化是由RAID控制器实现的，它将多个物理磁盘按不同的分块级别组织在一起，通过CPU及阵列管理固件来控制及管理硬盘，解释用户的I/O指令，并将它们发给物理磁盘执行，从而屏蔽了具体的物理磁盘，为用户提供了一个统一的具有容错能力的逻辑虚拟磁盘，这样用户对RAID的存储操作就像对普通磁盘一样。 将虚拟化层放在存储设备的适配器、控制器等上来实现的

基于主机现实虚拟化 将虚拟化层放在服务器上实现的 2018/9/18 基于服务器的虚拟存储是通过将虚拟化层放在服务器上实现的。这种实现方式不需要额外的特殊硬件，虚拟化层以软件模块的形式嵌入到服务器的操作系统中，将虚拟层作为扩展驱动模块，为连接服务器的各种存储设备提供必须的控制功能。 这种方法有其自身不可避免的缺点：首先，兼容性不好，由于虚拟化层驻留在服务器上，因而软件模块就必须能嵌入到各种类型的操作系统中，增加了软件实现的难度。因此，这种方法往往适合配置在系统采用同一个厂商的服务器，甚至是一个同构的存储环境中。这显然增加了用户的设备依赖性和局限性；其次，需要采用集中管理策略，这种虚拟化的技术实际上是在一个分布式的环境中实现的，当任何一个服务器对数据进行恶意或非法的操作时，就可能会影响到所有连接到存储设备的数据的完整性和一致性，因此需要适当的集中管理策略； 最后，这种实现方法从客观上造成了主机的负载和复杂度的增加。 但是，因为不需要任何附加硬件，基于服务器的虚拟实现方式最容易实现，其成本最低。目前已经有成熟的这类软件产品。这些软件可以提供便于使用的图形界面，方便地用于存储的管理和虚拟，在主机和小型存储系统中有着良好的负载平衡机制。从这个意义上看，基于服务器的存储虚拟是一种性价比不错的方式。 将虚拟化层放在服务器上实现的

2018/9/18 基于网络实现虚拟化

基于虚拟化技术的并行存储系统

议程 国内外对高端计算研究上的差异 国外主要的技术发展趋势 在高端计算领域的机遇

面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点

数据量高速增长 数据量爆炸 数据 无线通信 在线视频 科学研究 电子商务 客户管理 数据分析 企业应用 电子政务 基础OA 70年代 80年代 90年代 2000年 新世纪头10年

海量数据处理的需求趋势与市场机会 科研应用领域对海量数据处理的需求 IPTV和数字媒体对海量数据处理系统的需求 2018/9/18 科研应用领域对海量数据处理的需求 空间探索、数字天文台、高能物理、生命科学 石油勘探、油气田模拟 气象预报与气象模式研究 飞机船舶设计 IPTV和数字媒体对海量数据处理系统的需求 为满足点播需求 ，IPTV运营商必须存储和处理大量的视频数据，需要海量数据处理系统 50个公共频道一天的数据量约为4320GB=4.32TB 为保障点播质量，在小区内一般会设置视频数据缓存或CDN海量数据缓存服务器(内容分送网络服务器，附带数据缓存存储设备) 预计2008年全国IPTV用户数将达到6000万 3G移动通讯对海量数据处理系统的需求 3G移动通讯将在十一五期间正式运营,3G业务将派生多种多媒体应用 视频电话、基于手机的媒体点播、视频短信、多媒体邮件、视频直播、手机视频游戏 这类业务的发展，需要大量的存储系统由于存储内容、缓存内容 假设平均每个3G用户将需要1GB的存储空间，按照4000万3G用户计算，3G应用未来将需要存储容量：40P 下一代互联网建设使基于因特网的存储服务成为可能 这种趋势将催生一批互联网存储服务商，并产生巨大的网络海量存储系统的需求，平均一个用户存储10G数据，100万用户将需要1PB的存储容量

海量数据处理的需求 面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点 面向海量数据处理的高端系统必须满足如下需求 2018/9/18 面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点 面向海量数据处理的高端系统必须满足如下需求 系统可以实现PB级海量数据的存储、处理和传输 系统需要支撑几十GB/s的数据访问流量 由于面向海量数据应用的特点，海量数据处理系统往往面对大量的并发访问，要求系统设计要均衡计算能力与I/O能力 海量数据库应用，要求系统能够基于同一组数据进行大规模并行数据处理，计算单元间需要高速交换通道进行数据同步和数据共享 由于系统构成复杂，系统的可靠性可用性设计将是系统设计的难点 未来应用的数据积累速度会以每日TB的规模增长，并发用户数量也会持续增长，需要海量数据处理系统有较高的可扩展性 对高端计算机的能力需求 数据处理能力 数据I/O能力 系统可靠性 系统利用率 系统功耗性能比

… … … … … … … … … … 系统示意图 CPU Memory C I/O Unit IPN 2018/9/18 CPU Memory C I/O Unit … IPN … … … High Speed Switch Path C I/O Unit CPU Memory … Manage Unit CPU Memory … S I/O Unit … SAN … … CPU Memory … S I/O Unit VSMP硬件体系结构

新 新 新 最新浪潮存储产品线 存储系统 价格 AS系列 CX系列 性能 AS1000&1000G2 AS600&600G2

AS500简介 随需而变、弹性架构 3U机架，15槽位 可同时支持iSCSI和FC 单、双控控制器 支持SATA硬盘 2018/9/18 AS500简介 3U机架，15槽位 可同时支持iSCSI和FC 单、双控控制器 支持SATA硬盘 标配P4 CPU；2×512MB DDR ECC内存，最大8GB 支持RAID0、1、5、10多种级别 可支持256个LUN AS Manager管理软件实现快照、硬件监控等高级功能 IOPS 8,4000 传输带宽：680MB/s 随需而变、弹性架构

AS500内部体系架构 控制器1 控制器2 模块化，全冗余结构 同时支持FC、iSCSI CMI FC x 2 电源 镜像缓存 CPU 风扇 后备电源 控制器1 CMI 控制器2 FC x 2 镜像缓存 SATA/SAS×4 CPU iSCSIx 2 HDM 模块化，全冗余结构 同时支持FC、iSCSI

AS500应用案例 —国务院信息办（FC SAN） 山东移动 北京石景山政府 安徽信息产业厅 黑龙江省委党校 山东大学 华师数学系 ……

AS500推荐应用 —IP SAN & FC SAN 部分性能要求较高的服务器通过FC连接 大量性能要求较低的服务器通过IP连接 性能按需分配，共享存储，达到最佳的性价比

谢谢大家!