高性能计算的现状和发展 解决方案中心 高性能计算方案部.

Slides:



Advertisements
Similar presentations
第一章 、计算机的基础知识 第二节、计算机的特点、 分类及应用. 一. 计算机的分类 通用计算机按其规模、速度和功能 可分为五种类型。这些类型之间的 基础区别通常在于体积大小、结构 复杂、功率消耗、性能指标、数据 存储容量、指令系统设备、软件配 置等的不同。
Advertisements

C enter of C omputational C hemistry 并行计算机与并行计算 张鑫 理论与计算化学国际合作研究中心 分子反应动力学国家重点实验室.
北京工业云的实践与思考 曾宇 2010年10月.
Welcome to the world of Computer Organization 计算机组成原理
第 2 章 中央處理單元.
第一章 多核概述 使用多核了吗? 摩尔定律——芯片的晶体管数量每一年半左右增长一倍。 处理器性能不断提高主要基于两个原因:
第八章 组织文化的整合 ——并购中的文化整合(二) 小组成员:浦若蓉、朱谷一、贾彦彦.
会场事项 会议日程 无线网络 iocasmeeting 8:30-9:45 MPI并行编程基础 周纯葆 11:30-13:00 午餐时间
机群性能分析软件 Paramon & Paratune
机械CAD/CAM技术.
赵永华 中科院计算机网络信息中心 超级计算中心
第十四章 局域网组建典型案例 本章主要内容 局域网组网方案设计的一般方法 网吧建设方案 校园网建设方案 企业网络建设方案 2017/3/5
第一章 地区电子政务发展案例(1) 地区(方)的概念:省/自治匹、市/州、县,相对中央、国务院 及各部委
精品开放课程的 建设与应用 谢幼如 教授 广东省高校教育技术中心 华南师范大学教育信息技术学院
第四章 電腦軟體 課前指引 實體的電腦裝置,我們稱之為「硬體」(Hardware),至於軟體則是個抽象的概念,軟體是經由人類以各種不同的程式語言撰寫而成,以達到控制硬體、進行各種工作的抽象化(例如文書處理)等動作。有些讀者經常迫不及買了一台新電腦,就以為可以開始使用!事實不然,一部配備齊全的電腦,如果沒有合適的軟體來控制與搭配,絕對也是英雄無用武之地。一般來說,我們將軟體分「系統軟體」(System.
教育雲端科技的現況與未來發展 臺北市政府教育局聘任督學 韓長澤.
Chap4 電腦硬體基本單元 高中資訊科技概論 松崗圖書公司.
CPU 一、基本知识 二、常见品牌 三、评价指标 四、AMD VS Intel 五、单核与双核 六、多核
Please delete this page before you present to customer
思科Oracle RAC解决方案 Starry Wu UCS -GC.
中国高性能计算机的发展趋势分析与展望 从中国TOP100排行榜谈起
加快数据中心运转速度 — 加速业务发展 约翰•福勒 甲骨文公司系统事业部执行副总裁. 加快数据中心运转速度 — 加速业务发展 约翰•福勒 甲骨文公司系统事业部执行副总裁.
Founder Technology Group Co.,Ltd.
作 者:刘国强 指导老师:路宏敏 教授 专 业:电磁场与微波技术
HADOOP的高能物理分析平台 孙功星 高能物理研究所/计算中心
Abaqus在上海超算中心的应用 朱炜垚 上海超级计算中心.
AMD Multicore Technology Leading to the Next Generation
互 联 网 对 减 速 机 技 术 及 市 场 发 展 的 影 响 乔 华 山.
“服务器服务于Internet”报告会 倪光南 1999年7月6日
第6章 数媒资产管理系统的存储技术 刘士军 1、光纤通道
玉溪师范学院 信息技术工程学院.
武汉测地所 现场集群环境介绍 TC3600刀片服务器产品 扩展方案讨论.
Position Solution of LMS
IP路由器.
网 站 设 计 与 建 设 Website design and developments
2006年10月 面向数据处理的高端系统 胡雷钧 浪潮公司.
Xbox one计算机系统介绍 刘一帆.
資策會 南區資訊處 教育訓練中心 吳建興 個人電腦組裝 PC DIY 資策會 南區資訊處 教育訓練中心 吳建興
3D繪圖軟體 CATIA V5介紹 第十一組 劉子剛.
第一章 计算机基础知识 计算机的基本概念 计算机系统的组成 信息的编码 微型计算机的硬件组成.
NEC Express5800 Fault Tolerant Server Introduction
異質計算教學課程內容 「異質計算」種子教師研習營 洪士灝 國立台灣大學資訊工程學系
Review Question 安裝 or 管理過 Windows Server? 安裝 or 管理過 Unix-like Server?
高效能運算服務 (High Performance Computing) 建置之經驗分享
電腦輔助製圖與實習 (I) 第一章 電腦輔助製圖概況
ThinkServer RD540/RD640 新品品鉴
李亚康,齐法制,洪剑书,计算中心同事 中国科学院高能物理研究所 中国散裂中子源 2017/6/5,成都
張永華 主任 本模板来源于网络,由第一课件网整理发布,免费分享给大家使用。
GPU分散式演算法設計與單機系統模擬(第二季)
道路运输车辆 二级维护网络监督管理系统 行业信息管理 构筑诚信维修.
Pure Storage設備 雲端桌面系統 評估測試與經驗分享
曙光集群简明使用手册 技术支持中心.
胡維平 國立中正大學化學暨生物化學系 Aug. 30, 2017
High Performance Computing Service in NTUCC
2016 Abaqus慢慢来 Abaqus入门实例 Hyperworks中划分网格 Catia中三维建模 Abaqus中求解计算
校 園 雲端輸出管理系統 新印科技股份有限公司 聯絡人:伍宏一 電 話: /
ANSA 初级培训教程 skyme.
第二章 Linux简介 Linux概述 Linux系统的特点 Linux中使用的应用程序 Linux的组成 Linux版本介绍
李亚康,齐法制,洪剑书,计算中心同事 中国科学院高能物理研究所 中国散裂中子源 2017/7/5,威海
分子建模与模拟导论 主讲:王延颋, 中国科学院理论物理研究所 助教: 邓礼, 中国科学院理论物理研究所
胡維平 國立中正大學化學暨生物化學系 Aug. 22, 2018
微机原理与接口技术 ——第三章 80x86微处理器 西安邮电大学 计算机学院 范琳.
百万亿次超级计算机诞生记 姓名 Xiangyu Ye 职务 微软中国技术中心资深HPC顾问 公司 微软中国
雲端架構對企業外部管理與內部管理的改變.
中国区部分高性能计算行业用户名单 中石油北京勘探开发 研究院 中海油南方基地 中石化物探研究院 中石油东方物探(BGP) 中科院数学所
参赛流程指引 (如何下载平台及报名参赛).
2015年度中科院超级计算环境青岛分中心培训 中科院超算中心 中科院海洋所超算中心
中国科学院云南天文台博士毕业答辩 射电天文数据实时计算的关键技术研究 答辩人:戴伟 指导老师:王锋 学科专业: 天文技术与方法.
县级支中心 乡镇基层服务点的建设 朱 庆 华.
CIDP the Equipment Manufacturing Industry Digital Resources Platform
Presentation transcript:

高性能计算的现状和发展 解决方案中心 高性能计算方案部

目录 高性能计算发展介绍 1 高性能计算应用领域介绍 2 3 高性能计算的主流解决方案介绍 4 高性能计算的新技术介绍

什么是高性能计算? 高性能计算 HPC:High Performance Compute 高性能计算---并行计算 并行计算(Parallel Computing) 高端计算(High-end Parallel Computing) 高性能计算(High Performance Computing) 超级计算(Super Computing)

在许多情况下,或者是理论模型复杂甚至理论尚未建立,或者实验费用昂贵甚至无法进行时,计算就成了求解问题的唯一或主要的手段。 高性能计算的重要性 “进入21世纪以来,计算方法与分子模拟、虚拟实验,已经继实验方法、理论方法之后,成为第三个重要的科学方法,对未来科学与技术的发展,将起着越来越重要的作用。” ——徐光宪 院 士 在许多情况下,或者是理论模型复杂甚至理论尚未建立,或者实验费用昂贵甚至无法进行时,计算就成了求解问题的唯一或主要的手段。 近年来计算机软、硬件飞速发展,理论模拟研究渐趋普及,分子模拟技术现已成为继实验手段、理论推导之后的第三类重要的科研方法。 而另一方面,面对审稿人越来越挑剔的眼光,我们撰文投稿的时候除了实验数据之外,理论模拟的结果也逐渐成了不可或缺的组成部分,在解释实验结果、预测分子性质等方面发挥了重要的辅助作用,令文章内容更加翔实严谨。

Computational R&D is growing in relative importance 高性能计算的重要性 Computational R&D is growing in relative importance 2030 1995 1995: 10 % modeling 90 % experiment 2002 2002: 20 % modeling 80 % experiment 2030: 50 % modeling 50 % experiment

为什么要做高性能计算?--应用的驱动 问题: 科学和工程问题的数值模拟与仿真 人类对计算及性能的要求是无止境的 计算密集 数据密集 网络密集 从系统的角度:集成系统资源,以满足不断增长的对性能和功能的要求 从应用的角度:适当分解应用,以实现更大规模或更细致的计算 问题: 科学和工程问题的数值模拟与仿真 计算密集 数据密集 网络密集 三种混合

高性能的各类应用 为什么要做高性能计算 ——应用需求

高性能计算结构模型

高性能计算架构变化 数据来源:2010 TOP 500 排行榜

高性能计算网络发展 数据来源:2010 TOP 500 排行榜

高性能集群操作系统份额 数据来源:2010 TOP 500 排行榜

衡量高性能系统性能的评价指标 -----理论峰值(FLOPS) 1、如何计算理论峰值: 峰值=主频(GHz)*总核心数*4 (4代表每个时钟周期做4次浮点运算) 例如:10个AMD双路12核刀片(CPU6174,主频2.2) 总核心数=10×2×12=240 峰值=2.2×240×4=2112GFLOPS=2.1TFLOPS=2.1万亿次。 GPU峰值: 每C2050卡 双精度峰值=0.515TFLOPS 单精度峰值=1.03TFOPS 双精度峰值=0.515* GPGPU卡数目(TFLOPS) 单精度峰值=1.03* GPGPU卡数目(TFLOPS)

衡量高性能系统性能的评价指标 -----实测峰值(FLOPS) HPL(Linpach)测试 ---对系统进行整体计算能力的评价 Linapck测试:采用主元高斯消去法求解双精度稠密线性代数方 程组,结果按每秒浮点运算次数(flops)表示。 HPL:针对大规模并行计算系统的测试,其名称为High Performance Linpack (HPL),是第一个标准的公开版本并行Linpack测试软件包, 用于TOP500与国内TOP100排名依据。 使用者可以改变问题规模。 有相当大的优化空间。

衡量高性能系统性能的评价指标 -----系统效率 衡量高性能系统性能的评价指标 -----系统效率 系统效率=实测峰值/理论峰值 如何提高效率: (1)通过优化网络 (2)通过优化测试程序的编译与设置 (3)通过优化内存的配置与容量 (4)通过优化运行参数及系统参数! 目前:一套通过Infiniband网络互连的集群,效率一般在70%以上。

加速比定律 在并行计算系统,并行算法(并行程序)的执行速度相对于串行算法(串行程序)加快的倍数,就是该并行算法(并行程序)的加速比; 加速比是衡量“并行收益”的重要指标; Amdahl定律适用于固定计算规模的加速比性能描述,Gustafson定律适用于可扩展问题。

Amdahl定律 S = (WS+WP)/(WS+WP/p) = 1/(1/p+f(1-1/p)) 显然,当p→∞时,S=1/f,即对于固定规模的问题,并行系统所能达到的加速上限为1/f 一度引发了并行界部分人士的悲观情绪

Gustafson定律 S‘=(WS+pwp)/(WS+WP) =p-f(p-1)=f+p(1-f) 并行计算是为了解决大规模并行问题,可并行部分的比例是可扩大的 加速比与处理器数成斜率为(1-f)的线性关系 这样串行比例f就不再是程序扩展性的瓶颈, 当然,f越低,斜率会越大,加速性能越好。

目录 高性能计算发展介绍 1 高性能计算应用领域介绍 2 3 高性能计算的主流应用介绍 4 高性能计算的新技术介绍

高性能计算在国内的六大应用领域 六大应用领域 CAE (CFD) 物理化学材料 生命科学 气象环境海洋 石油勘探 图像渲染 计算机辅助工程,广泛应用于工业生产中 CAE (CFD) 基因科学、蛋白质科学的研究以及新药的研发 物质的物理化学材料属性的科研工作中 物理化学材料 生命科学 六大应用领域 石油勘探 气象环境海洋 地震资料处理,用于油气勘探 气象环境海洋的数值预报 图像渲染 动画、电影、图像的高逼真效果制作 其它:卫星图像处理、金融计算等

一CAE仿真介绍 分析的过程: 前处理 后处理 求解 采用各种CAD工具,建立几何模型,划分计算网格 显示计算结果,评估产品性能 指定荷载和边界条件,提交给计算服务器进行分析

CAE仿真介绍 隐式结构力学 显式结构力学 计算流体力学 计算电磁学 声学分析 多体动力学 MSC.NASTRAN MARC ANSYS ABAQUS/Standard ADINA 显式结构力学 LS-DYNA PAM-CRASH DYTRAN ABAQUS/Explicit 多体动力学 ADAMS 计算流体力学 FLUENT STAR-CD/HPC PowerFLOW CFX CFD-Fastran 计算电磁学 FEKO ANSOFT 声学分析 SYSNOISE

二 物理化学材料应用介绍 各种理论模拟方法的适用范围 最大原子数 可计算量 分子力学 2000 ~ 100万 粗略的几何结构 半经验 500 ~ 2000 几何结构(有机分子) HF(DFT) 50 ~ 500 能量(含过渡金属) MP2 20 ~ 50 能量(弱, 氢键) CCSD(T) 10 ~ 20 精确能量(弱作用) CASPT2 < 10 磁性(多个多重度) 为了建立化学模型, 我们首先要了解各种化学模型的精度与适用范围, 这里我们给出了不同理论等级可计算的原子的个数, 以及其可计算与预测的性质. 一般在个人电脑上量子化学能准确计算的大概在不超过200个原子. 而且根据问题不同可计算体系会有很大不同. 目前最精确的计算还只限于几个原子的分子, 比如CASPT2.

二 物理化学材料应用介绍 适合周期体系的计算软件 VASP ABINIT CPMD PWSCF(ESPRESSO) 适合非周期体系的计算软件 GAUSSIAN03 GAMESS-US (PC-GAMESS)

三 生命科学应用介绍 序列搜寻与比对原理 序列搜寻 HIPDWYLAGHIF YIPDWYLAGHIF DFPLAGHIFDWY HIPDWYLAdfFGHIF YIPDWYLAGHIF HGFL--AGHIFAWY--- ------PLAGHIFDWHGH HIPDWYLAGHIF

三 生命科学应用介绍 分子动力学模拟 simulation of an entire ribosome, the cell's protein factory, comprising 3,000,000 atoms when solvated. on an IBM Blue Gene Simulating an Entire Life Form,using coarse-grained molecular dynamics simulations With the Cray XT3 they’ve been able to run efficiently, using software called NAMD, with as many as 1,024 processors. “The XT3 has been amazing,” says Blood. “We haven’t found a hard limit on scaling up the number of processors.”

三 生命科学应用介绍 测序数据处理 准备试剂 仪器测序 数据分析

主流模式分析 四 气象、环境、海洋数值预报应用介绍 气象海洋领域程序模式众多,我们不但要熟悉我们的硬件还要熟悉这些众多的软件的特点以及在不同平台上的性能差异; 气象常用模式:MM5、WRF、GRAPES、AREMS、LAPS、 ARPS、T106等 海洋常用模式:FVCOM、HYCOM、ECOMSED、ECOM、 POP、MOM4、MITgcm、CCSM3,roms等 环境常用模式:CMAQ等

四 气象、环境、海洋数值预报应用介绍 业务系统流程图 28

五 石油勘探应用介绍 油气勘探背景 激发地震波 接收反射波 采集获得地面单炮记录 处理完成地下构造成像 解释完成构造成图和建议井位 钻探确认真伪

五 石油勘探应用介绍 曙光石油勘探计算中心解决方案

六 图像渲染应用介绍 渲染 渲染(Render):作为计算机数字图像(CG)处理中的一道重要工序,经过Render这个程序,我们将模型或者场景输出成图像文件、视频信号或者电影胶片。 这里的渲染有别于3D显示领域的实时(real-time)渲染,而是静态渲染或者离线(off-line)渲染。 所谓渲染农场(Renderfarm)其实就是“分布式并行集群计算系统”,它是一种利用现成的CPU、网络负载和操作系统构建的高性能超级计算机,它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。集群(Cluster)指的是一组计算机通过通信协议连接在一起进行同一种服务,在客户端看来就像是只有一个计算机。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能够正常运行。它的目标是使用主流的硬件设备组成网格计算能力,达到、甚至超过超级计算机的计算性能。 有了这样的渲染农场,企业可以用最快的时间看到作品的质量,如果需要修改也不会浪费太多的时间,这样整个作品的渲染和产出都会很轻松的实现,同时不会影响企业里其他项目的进行。例如,800个计算核心的超高计算密度,理论计算峰值7.5万亿次。 一部全CG电影的总渲染时间是很恐怖的。通常2K电影分辨率所需要的渲染时间能被大家接受的大概在每帧1小时左右,而好莱坞主流电影的分辨率在2K、4K,甚至达到了6K或者8K,随着每一阶品质的提高而其渲染时间将是上一品质的4倍。如果场景还涉及到粒子、流体等复杂计算的时候,渲染的速度又会成倍提高,一帧画面的渲染时间可能在10小时以上。

渲染集群应用技术 六 图像渲染应用介绍 主流三维建模软件 常用渲染器 渲染分发管理软件 集群管理系统 存储子系统 其他技术支撑 Maya、3Ds Max、Softimage、Lightwave、Houdini、Cinema 4D等 常用渲染器 Vray,Mental Ray,Maya software, 渲染分发管理软件 Muster、Enfuzion3D、Qube等 集群管理系统 Linux+Gridview、WHS2008等 存储子系统 NAS、SAN、Dawning LoongStore等 其他技术支撑

目录 高性能计算发展介绍 1 高性能计算应用领域介绍 2 3 高性能计算的主流解决方案介绍 4 高性能计算的新技术介绍

高性能计算机系统架构 系统软件层 基础设施层 IT核心硬件层 存储系统 计算系统 网络系统 操作系统 作业调度软件、管理系统 并行环境 编译器、数学库、MPI 网络 PC机 笔记本 平板电脑 瘦客户端 工作站 应用软件层 生命科学 CAE仿真 功能节点 空调系统 物理化学 气象海洋 配电系统 防雷系统 机房装修 机柜及KVM 石油勘探 动漫渲染 应用 Portal

高性能计算作业的工作流程 机房环境 1 存储系统 2 4 1 5 3 外网 内网 局域网 并行存储系统 防火墙 千兆交换机 路由器 Internet 本地建模 1 并行存储系统 登陆/管理节点 存储系统 算例上传 作业提交 2 数据访问与存储 4 远程控制 以太网 交换机 本地建模 1 高速Inifiniband交换机 系统管理与用户管理 5 以太网 计算系统 101100011010100100010010010010011000110101001000100100110001101010010001001001100011010100100010010000100100110001101010000100100110001101010000100100110001101010000100100110001101010 Infiniband网 刀片集群 本地KVM 控制台 光纤网 作业运行 3 KVM管理网 机房环境 SMP胖节点 GPGPU节点

高性能计算机中的关键技术 一计算系统 二基础设施 三功能节点 四存储系统 五网络系统 六操作系统 七管理调度软件 八并行环境 九应用软件

一 计算系统主流解决方案 ----SMP节点+刀片集群 胖节点 计算系统: 曙光四路刀片服务器+曙光八路SMP胖节点服务器 网络系统: 20Gb Infiniband计算网络、FC光纤存储网络、万兆骨干网络、千兆管理网络 存储系统: Lustre并行文件系统、EMC存储盘阵 管理系统: GridView服务器综合管理系统,提供了机群状态监控、作业调度、告警管理、报表统计、机群管理、系统部署6大类机群管理功能

刀片服务器系统结构 2 高速交换模块 4 高性能散热模块 10 弹性I/O刀片 10 计算刀片 4 N+N 冗余电源模块 4 低速交换模块 10U 4 N+N 冗余电源模块 4 低速交换模块 2 机箱管理模块 1 弹性存储模块

刀片服务器优势分析 VS 密度更高 功耗更低 布线简单 管理方便 可靠性更高 机房要求降低

SMP 胖节点 1 单机性能高 2 内存容量更大 3 更高本地IO 4 丰富的扩展能力 I950-G 单机更高的核心数,可扩展至48-64核心,提供 更高的单机性能,对于共享存储并行程序提供更大的扩展性 某些应用需要非常大的单机内存容量,比如序列拼接,电磁计算等应用,胖节点具有1TB海量内存的扩展性,满足此类应用 2 内存容量更大 A840-G 3 更高本地IO 8块以上的本地硬盘扩展能力,提供更高的存储性能和更大的存储空间 更大的空间,丰富的插槽,可以适合插入各种类型的外插卡,提供更为灵活的配置和扩展 4 丰富的扩展能力

二 功能节点主流解决方案 ----普通标准服务器 二 功能节点主流解决方案 ----普通标准服务器 管理节点 登陆节点 IO节点 用于用户登陆集群,在集群上实现作业提交,文件上传,编辑,程序编译等操作。可靠性要求高,数量少 用于运行系统级的管理软件,性能要求不高,但可靠性要求高,数量少 用于连接存储设备,提供共享存储空间。小型项目,使用单一IO节点提供NFS解决。大中型,使用并行文件系统,多个IO节点和存储空间解决IO瓶颈 大型项目 小项目 中型项目 登陆节点 IO节点 管理节点

三 网络系统主流解决方案 ----千兆管理网+Infiniband高速网 管理网络: 对性能要求较低,主要用于系统管理,用户登陆等操作。一般配置千兆以太网交换机与刀片交换模块互联。 计算网络: 对性能有较高问题,具有高带宽低延时的Infiniband网络可用很好解决这一问题。对于部分对网络性能要求不高的领域,比如石油、渲染等领域,配置线速互联的千兆以太网。

各种网络基本性能 越高越好 越低越好

网络对应用性能的影响 NAMD 扩展性 FLUENT 扩展性 WRF 扩展性 VASP 扩展性

四 存储系统主流解决方案 ----从IB存储系统到并行存储系统 终极解决方案 升级解决方案 传统解决方案 硬件:IO节点+光纤磁盘阵列 计算集群 Parastor IO节点 光纤磁盘阵列 IB交换机 IB线缆 终极解决方案 光纤线缆 升级解决方案 并行存储系统,实现多个访问通道和多个存储的并发读写和单一访问空间 传统解决方案 将光纤磁盘阵列升级为IB磁盘阵列,从而提高磁盘阵列的访问性能 硬件:IO节点+光纤磁盘阵列 软件:NFS协议 网络接口:以太网或IB

产品介绍 Parastor 系统架构图

并行存储系统 Parastor 统一命名空间 高可扩展性 高性能 高可靠性 高可用性 易用易管理 设计原则 自动负载均衡 大规模并行 高可用 存储介质 大规模并行 业界标准组件 简捷易用 自动负载均衡 高可用 设计原则 高性能 高可用性 易用易管理 高可扩展性 高可靠性

----普通网孔机柜+精密空调+下送风解决方案 五 基础设施主流解决方案 ----普通网孔机柜+精密空调+下送风解决方案 精密空调(下送风) UPS及电池 网孔机柜

六 操作系统主流解决方案 ----Linux 企业版 开源 高效 多用户 界面友好 兼容性强

七 作业调度及系统管理解决方案 单一系统映象 系统资源整合 多用户的管理 用户权限的管理 集群松散结构的整合 软硬件资源的整合,异构资源整合 用户提交的任务的统一安排,避免冲突 多用户的管理 对用户进行各类权限控制 用户权限的管理

作业调度系统解决方案 PBS 分为开源的torque和商业的pbspro,尤其torque,为目前应用最多的作业调度系统 LSF 成熟商业作业调度系统,在较大规模系统中广泛应用,由platform 公司开发。 SGE 由SUN公司(现为oracle公司)开发,开源免费,功能较强大,也有较多用户。

系统管理软件核心功能 1 监控管理 2 自动告警 3 部署恢复 4统计报表 实现全局系统的监控和管理 声光、邮件、短信等多种告警策略 系统的自动恢复部署 集群使用情况的一个可定制的统计

Gridview 视图范例 作业统计视图 实时性能视图 统计报表视图 性能对比窗口

编译器 数学库 并行库 八 并行环境 Intel编译器 Pgi编译器 Gnu编译器 Eclips 集成开发环境 Gotoblas,lapack,scalapck fftw mkl,acml 并行库 Openmpi,intelmpi,mpich2,mvapich2 PVM openmp

九应用软件 Vasp、gauss、cpmd,MS… Blast、bwa、namd、gromacs、dock Ansys,Fluent,CFX,lsdyna… CAE Vasp、gauss、cpmd,MS… 物理化学 Blast、bwa、namd、gromacs、dock 生命科学 Wrf,mm5,graphes、roms… 气象海洋预报 Omega,cgg… 石油地震资料处理 Maya,3dmax… 动漫图像渲染

目录 高性能计算发展介绍 1 高性能计算应用领域介绍 2 3 高性能计算的主流解决方案介绍 4 高性能计算的新技术介绍

高性能集群新技术 一GPU/众核加速计算解决方案 七集群配额技术解决方案 二集群容错解决方案 三远程图像建模解决方案 六功耗管理解决方案 四应用Portal解决方案 五机柜排整体解决方案 六功耗管理解决方案 七集群配额技术解决方案

一 GPGPU 加速解决方案 ---提供更高的计算性能和能效比 6 cores Nvidia Tesla C2050 与CPU对比 双精度浮点运算性能优势明显 X5650 CPU=2.66GHz×6核×(4flops/Hz)=64Gflops C2050 GPU=1.15GHz×448核=515.2Gflops 很多应用C2050实测性能远优于CPU 6 cores X5650 C2050

C2050适用的领域 应用领域 应用软件 金融/数据挖掘 MATLAB Jacket (MATLAB Plugin) Mathematica NAG Murex 音视频处理 JPEG2000 CUDA Encoder H264 分子动力学 Amber Lammps Gromacs Abalone NAMD/VMD HOOMD-Blue ACEMD CP2K DL_POLY 量子化学 Abinit Q-CHEM TeraChem Espresso/PWscf Gamess NWChem 分子可视化 Amira Core Hopping FastROCS VMD 序列比对/测序 DNADist CUDA-EC CUDA-BLASTP CUDA-MEME GPU Blast CUDASW++ GPU-HMMER SARUMAN MUMmerGPU SeqNFind MUMmerGPU++ UGENE 药物/工业设计 HEX Protein Docking Synopsys Dassault Systemes:Simulia 结构力学 Ansys:Mechanical PAM-CRASH IMPETUS Afea LS-DYNA RADIOSS Abaqus Nastran MSC Marc 流体力学 Autodesk Moldflow OpenFOAM Solver Turbostream Altair AcuSolve Sandia NL S3D FEFLO (Lohner) Prometech Particleworks SD++ (Jameson) LBultra FluiDyna 工业设计/CAD Dassault Systemes: CATIA Autodesk Solidworks PTC 医学成像 Digisens DigiHCT Acceleware AxRecon Siemens Foursight 电磁学 CST Microwave Studio Agilent EMPro SPEAG SEMCAD X Remcom XFdtd 国防情报 Ikena ESRI Intergraph Manifold 渲染 Mental images Adobe Avid MainConcept Autodesk M&E sony 气象/海洋/环境 WRF ASUCA NIM CAM HIRLAM GEOS-5 HOMME MITgcm HYCOM Quda (L-QCD) 地震资料处理 Schlumberger Landmark Paradigm GeoStar Acceleware RTM Solver 数学库 cufft cublas culapack 所有的领域都可以用到C2050

Lennard-Jones potential 曙光在C2050上做的测试工作v Gromacs lmpl NAMD/VMD/IMD ApoA1重组蛋白体系优化 92224个粒子/1000步迭代 Lennard-Jones potential Ansys Mechanical iray Terachem DFT优化 《gpuAutodock测试报告》 《GPU计算在理论化学领域的应用测试》 《Paradigm RTM测试(GPU)》 《TC3600平台下CUDA应用程序测试报告》 《W580I CUDA应用程序测试报告》 《A650-GP CUDA应用程序测试报告》 《某量子化学程序GPU移植评估报告》 《Lammps在GPU上应用测试报告》 《Gromacs GPU测试报告》 《Terachem GPU测试报告》 《双精度矩阵乘应用优化报告》 《bgp GPU加速项目报告》 《CPU/GPU异构系统优化介绍》 《千万亿次系统GPU算法优化介绍》 《CUDA编程开发与优化》 《OpenCL程序开发与优化》 《NAMD GPU测试报告》 ……………… WRF

曙光的GPGPU优势——应用整合 应 用 加 速 层 结构力学 气象海洋 数值计算 蛋白质分析 分子对接 电磁学 金融 信息安全 作业分发 作业调度 作业控制 核心服务平台 模块管理 页面基础 认证授权 远程通信 配置管理 依赖管理 事件机制 第三方接口 分子动力学 第一性原理 石油石化 流体力学 资源管理 Clusmax是基于GPU的作业调度、系统监控管理、应用Portal、应用软件集成于一身的可定制的Gridview模块 运 维 层 信息监控 智能诊疗 自动预警 性能分析 硬 件 层

1 2 3 4 二集群容错系统解决方那 ----解决系统失效带来的计算资源浪费现象 1. 单节点故障正在成为集群系统的常态 - 系统规模超过2000个节点,每天都存在节点死机的情况 - 系统越大,则故障点越多 1 2. 集群系统的可用性差于SMP和NUMA系统 - 无法实现系统级别的进程迁移 2 3. 人们的关注点正在从“快算”变成“能算” - 一个需要使用1000节点任务,最多承受1天时间 - 一个使用1节点的任务,可能需要运算30天! 3 4 4. 评价集群系统不是“谁用得好”,而是“谁用得不好” - 越来越多的用户感受到不便

Cache Storage interface Clusnap集群容错模块 进程迁移 断点续算 关键任务 缓 存 存 储 接 口 16GB 32GB 64GB Cache是Clusnap最重要的指标,它决定断点保存性能 Storage 2TB 10TB 20TB 存储容量决定了Clusnap保存断点的容量,可根据集群和应用规模选择 存 储 interface 接 口 双1000Mbps以太网端口 单40/20Gbps IB网端口 单10Gbps GE端口 接口的选择要视集群的交换设备来选择。通信网是IB选IB;通信网是以太选以太网

Clusnap核心功能——断点续算 上帝保佑我能算完! 第一天平安无事! 第二天 居然还平安无事? 第三天 OMG,机器死机,要来的终究会来的….. 第七天,运气不错,居然坚持了4天! 无Clusnap的用户 我很有底! 第一天 断点1 第二天断点2 第三天 机器失效! 意料之中! 第五天 算完! 有Clusnap的用户

Clusnap 成功案例 广西大学HPC计算中心 32GB 1 成都超算 16GB 2 中科院北京生命科学研究院 武汉暴雨所 成都高原所 深圳气象局 64GB 中国矿业大学 中科院计算所 温州医学院 北京林业大学 新疆大学 咸阳师范学院 大连理工大学力学系 北京大学化学与分子动力学院 西南交通大学高性能计算中心 河南师范大学物理与信息工程学院 中国空气动力发展与研究中心高性能项目 绵阳9院四所

-----解决本地客户端建模带来的众多问题 三 远程图像建模技术 -----解决本地客户端建模带来的众多问题 集群渲染、工程计算等领域,常需要进行带3D加速的图形建模、作业前后处理等工作 传统的集群图形处理功能薄弱 传统采用独立图形工作站的方式弊端较多 1 数据分散,难以管理,操作不便 2 客户端配置要求高,数量多,资源浪费 3 客户端多为windows,格式不兼容 4 每个客户端都需要支付软件的License费用 5 数据上传带来很大的网络流量 解决方案: Clusviz集群 远程可视化 系统

Clusviz 远程图像处理测试结果 Benchmark: Spec Viewperf 10.0 Alpha 12 3dsmax-04

Clusviz系统工作原理 曙光Clusviz Server 显示终端 过程描述: 1、Clusviz将应用程序的OpenGL指令及3D数据载入到Clusviz的3D图形加速卡上进行渲染处理。 2、渲染过的3D图像被传递给Clusviz上的X Proxy进行压缩处理。 3、压缩过的3D图像通过网络传递给客户端。 4、客户端将3D图像解压并最终显示在屏幕上。

Clusviz集群远程可视化系统 Clusviz Server配置 5U机塔互换式设计 64位处理器核心 16GB数据Cache 高端3D图形加速卡,2GB图形 Cache 500GB本地存储 双千兆网口 冗余电源 含曙光远程虚拟图像系统用于加速远程3D客户端图形、图像信息处理的系统 可管理1-16个客户端虚拟3D桌面,可在任意一台客户端及时恢复之前的工作状态

四 应用protal解决方案 ----解决高性能集群易用性的问题 Gridview的一个子模块 实现了多种高性能计算应 用的web封装,降低高性 能计算的使用门槛; 更加安全的用户作业提交 方式,减小用户误操作几 率; 支持用户定制开发 与Clusnap结合实现作业 自动故障迁移 与Clusviz结合,实现可 视化交互式作业提交 (Platform LSF、PBS Pro的高级功能)

Clusportal 优势分析 1 简化使用难度 与windows类似的封闭式提问操作,避免作业提交脚本的撰写和命令行的操作,大大降低使用难度 2 提高安全性 基于web的操作,避免用户远程登录到服务器,规避非法操作 3 实现错误检查、提高操作效率 封闭式的操作规避了用户的错误输入,提高工作效率。 4 与作业调度等其它产品无缝融合 与曙光Gridview作业调度、ClusQuota、Clusnap、、Clusviz等产品无缝融合 5 实现单一系统映像 用户无需知道后台资源,就能够自动完成高性能作业任务

Clusportal支持的应用 基本Portal CAE & CFD 串行、OpenMP、MPI CAE & CFD ANSYS、Fluent、Lsdyna、Abaqus、Fecko、CFX 物理化学 vasp、Gaussian、siesta、pwscf 生命科学 namd、gromacs、amber、mpiblast、blast、dock 定制 针对用户应用软件或特定需求开发

五 机柜排整体式解决方案 ---解决传统制冷方式制冷效率低下的问题 传统制冷解决方案

热岛现象——制冷不均匀造成了系统MTBF的降低 传统制冷解决方案的散热效果 热岛现象——制冷不均匀造成了系统MTBF的降低

空调通风系统 机柜内封闭式水平送风 制冷单元与机柜左右并排布局 制冷单元与机柜一体

空调通风系统 曙光C1000系统空调 冷热通道分离,气流组织有序 ; 就近精确送风,循环风阻小、风量大 ; 不同高度进风温度均衡; 针对设备冷却,无需过度冷却房间 制冷效率高、系统噪音低; 可以解决最高单机柜10至30KW的散热需求 。

六 功耗管理解决方案 ----精确功耗管理,解决系统能耗过高的问题 策略维度: 时间、地域、应用类型、最大功耗、功耗模式、热平衡、频率调整模式、冗余功耗、动态功耗、优先级、工作组自动调整

Powerconf 集群节能模块 集群 单机 单机节能与集群功耗控制 优先级管理 工作组功耗管理 系统功耗管理 静态功耗分配 负载分析 最佳系统使用率 动态功耗分配 CPU核心关/开 频率调整 单机

Powerconf 集群节能模块 用户 系统运用 节能效果 节能效果分析 某石油行业用户拥有大量计算机群,年电费总额达1800万元,是典型的高性能计算用户。(负载波动剧烈) 用户 系统运用 节能效果 1192节点部署了节能系统后每年可节省至少 50,000度电!! 空闲时,将节点置于待机状态,每节点可比空转情况节省75W左右。3秒钟内可以将节点唤醒,用户几乎不会受到影响 系统会根据应用运行情况自动将空闲节点置于待机状态,同时将信息记入数据库以便查询。

七 用户配额解决方案 -----解决传统用户资源分配中的不足 1 高性能计算资源犹如用电、用水、供暖一样,都是面向公众服务的公共资源。 2 由于服务对象人数众多,要求多样化,水平参差不齐,对公共资源的管理是摆在管理者面前的一个难题。 3 如何实现精确的、高效的、有控制力的管理? 4 管理模式的改变。 先管理、再使用,一切尽在掌握中 先使用,再管理,管理不可控

资源管理器(Gridview, PBS, LL, LSF) ClusQuota实时配额流程 0 设定用户的计算资源配额(预充值) 1 用户提交作业 2 根据作业所需的资源类型进行询价 计费系统 3 如果配额足够,做预授权 4 作业开始运行 6 5 作业运行结束,统计实际使用情况 2 3 6 撤销预授权,并实时计费 资源调度器 4 资源管理器(Gridview, PBS, LL, LSF) 5 实时配额 1 预授权 询价 预授权 用户配额(预充值) 81