曙光高性能集群系统用户培训 ——常州大学 曙光江苏分公司 技术支持中心 崔波涛、王亚强 2013年10月16日

学校搭建高性能计算集群系统介绍 Linux基础知识 曙光高性能集群系统介绍 PBS介绍和使用 已安装计算软件的提交脚本使用说明 交流与答疑 上机实践操作

学校搭建高性能计算集群系统介绍

学校搭建高性能计算集群系统介绍 常州大学网络中心曙光高性能计算集群共计10个节点，node1—node10，其中node10是登录和管理节点，计算节点主要为其余9个节点。node1-node7为刀片集群，配置有IB高速计算网络，每个节点分别有16个计算核心，采用intel E5处理器架构，适用于大规模跨节点并行计算。node8—node9为机架式服务器2台，配置有IB高速计算网络，每个节点分别有64个核心，采用amd Opteron处理器架构，适用于大内存程序的并行计算任务，由于node8为集群每个计算节点提供公共存储服务，IO读写上会占用部分CPU资源，所以node8实际可用计算核心为60，node9则为64。

学校搭建高性能计算集群系统介绍 以下为集群中已安装的软件 其中主要的行业软件如下： Fluent-6.3.26 Gaussian09 MATLAB_R2011b Meep-1.2 OpenFOAM-2.1.1 Vasp-5.2

学校搭建高性能计算集群系统介绍 队列说明 集群建议通过PBS的方式进行作业的提交，由于本集群是异构系统（intel&amd），故集群推荐使用如下3个队列： 队列intel，此队列只能使用node1-node7节点，每节点分别可使用16个计算核心，共计112个计算核心。 队列amd，此队列只能使用node8-node9节点，node8可使用计算核心数为60，node9为64，共计124个计算核心。 队列node10，此队列只能使用node10节点，由于node10对位提供登录、对内进行管理，所以会消耗一定的CPU资源，所以只有12个计算核心。 其中intel是默认队列，所以如果需要使用大内存节点进行计算，则需要在作业提交脚本中加入“#PBS -q amd”行以指定其计算节点。

Linux基础知识

Linux操作系统的特点 Linux 之所以受到广大计算机爱好者的喜爱，其主要原因 有两个： 高效、灵活、多用户、多任务。 一是它属于自由软件，用户不用支付任何费用就可以获得它和它 的源代码，并且可以根据自己的需要对它进行必要的修改。 另一个原因是，它具有 Unix 的全部功能，任何使用 Unix 操作系 统或想要学习 Unix 操作系统的人都可以从 Linux 中获益。 高效、灵活、多用户、多任务。

Linux操作系统结构 Kernel 系统启动时将内核装入内存 管理系统各种资源 Shell 用户界面，提供用户与内核交互处理接口 是命令解释器，提供强大的编程环境 bash,ash,pdksh,tcsh,ksh,sh,csh,zsh…. Utility 提供各种管理工具，应用程序

Linux系统主要分区介绍—/swap Swap空间的作用 分区规则： 当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释 放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很 长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间 中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这 样，系统总是在物理内存不够时，才进行Swap交换。 有一点要声明的是，并不是所有从物理内存中交换出来的数据都会被放 到Swap中（如果这样的话，Swap会不堪重负），有相当一部分的数据 直接交换到文件系统 分区规则： Swap space 比内存要慢5-6个数量级 在安装时，系统会尝试将交换分区安装到磁盘外端 当有多个磁盘控制器时，在每个磁盘上都建立交换分区 尽量将交换分区安装在访问最频繁的数据区附近

Linux系统分区介绍—/ /—根目录 /root —超级用户主目录 /bin－基本命令 /boot－kernel 和boot配置文件 /etc－各种配置文件　 /usr－用户程序 /opt--- 附加的应用软件包 /home－用户目录　　 /mnt--- 设备/文件系统挂载点 /tmp－临时文件 /var－可变信息区（file spool,logs,requests,mail,etc.) /proc－进程信息 /dev－设备 /sbin－系统管理员执行程序 /lib--- 基本的共享库和核心模块

文件与目录的基本概念 文件：是用来存储信息的基本结构，它是被命名（文件名） 的存储在某种介质（磁盘，光盘，磁带等）上的一组信息 的集合。 从技术上讲，文件不能存贮任何数据，它只是一个用来指 向它们相应的索引节点(inode)的名字，索引节点包含了 文件的真正信息。 文件名：是文件的标识，由字母，数字，下划线，圆点组 成。 扩展名：为了便于识别和管理，用扩展名作为文件名的一 部分，中间用.隔开 目录文件：用来管理和组织大量的文件，常称为目录

Linux文件类型的定义 普通文件 目录文件：d字母开头 设备文件 文本文件：ASCII码形式存储 –开头，如：-rw-r--r-- 1 root root 39599 Mar 8 12:15 x 二进制文件：以二进制形式存储在计算机中，不可直接读，要通过相应 的软件读取 –开头，如：-rwxrwxrwx 1 root root 46888960 Dec 9 2005 x.sh 目录文件：d字母开头 如：drwxr-xr-x 2 root root 4096 Aug 2 2006 bin 设备文件 块设备文件：b字母开头 如：brw-rw---- 1 root disk 3, 1 Jan 30 2003 hda1 字符设备文件：c字母开头 如：crw------- 1 root root 4, 1 Jul 31 13:49 tty1

Linux文件权限的定义 [root@zhz home]# ls -l total 32 drwxrwxrwx 38 down root 4096 Jul 5 19:09 down drwx------ 9 glh glh 4096 Mar 26 19:08 glh drwx------ 4 lei lei 4096 Mar 21 08:40 lei drwxr-xr-x 5 root root 4096 Apr 12 2006 software Linux文件或目录的权限位由 9 个权限位来控制， 每三位为一组，它们分别是： 文件属主(Ower)的读r、写w、执行x 用户组(Group)的读r、写w、执行x 其它用户(Other) 的读r、写w、执行x； 如果权限位不可读、不可写、不可执行，是 用-来表示。

用户登录 超级用户root (password 在安装时已设定） root为系统管理员，具有完全的系统控制权限； 建议除了必要的系统维护之外，平常尽量避免用root 登录，以免误操作； login: root password: ****** [root@localhost root]# 普通用户同样需要输入name & password [xyz@localhost xyz]$

用户登录（远程） Putty Xmanager 一款免费的Telnet和SSH客户端实现,可使用在Win32平台下。 一个简单易用的运行在Windows平台上的X Server软件。它能把 远端Unix/Linux的桌面带到你的Windows上。

Putty(1) 完全免费; 在Windows 9x/NT/2000下运行的都非常好; 全面支持ssh1和ssh2； 绿色软件，无需安装，下载后在桌面建个快捷方式即可使用； 体积很小，仅364KB (0.54 beta版本)； 操作简单，所有的操作都在一个控制面板中实现。

Putty(2)

Putty登录终端

Xmanager(1)

上传下载数据-WinSCP简介 WinSCP是一个Windows环境下使用SSH的开源图形化 SFTP客户端，并支持SCP协议。 它的主要功能就是在本地Windows与远程Linux服务器之 间安全地复制文件。

WinSCP登录界面

WinSCP登录界面

WinSCP操作界面

SSHSecureShell

SSHSecureShell

文件目录类命令 浏览文件命令 cat：显示一个文本文件的全部内容； more/less：浏览文本文件的内容，没有编辑功能； head/tail：显示文本文件的头/尾若干行，默认为10行； 目录操作命令 mkdir：创建目录； rmdir ：删除目录； 文件操作命令 touch：创建一个空文件，或者将指定文件的时间戳改为当前时间； rm：删除文件；“rm -rf”可以迭代方式删除整个目录，慎用； cp：拷贝文件； mv：移动文件，或者将文件重命名； ln -s：创建文件软链接，类似于快捷方式； tar：将一组文件、目录打包或解包，通过参数可设定是否压缩文件；

vi命令详解 进入vi的命令 移动光标类命令 vi filename :打开或新建文件，并将光标置于第一行首 vi +n filename ：打开文件，并将光标置于第n行首 vi + filename ：打开文件，并将光标置于最后一行首 vi +/pattern filename：打开文件，并将光标置于第一个与 pattern匹配的串处 vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复 filename vi filename....filename ：打开多个文件，依次进行编辑 移动光标类命令 w或W ：光标右移一个字至字首 b或B ：光标左移一个字至字首 e或E ：光标右移一个字至字尾 ) ：光标移至句尾

vi命令详解 屏幕翻滚类命令 Ctrl+u：向文件首翻半屏 Ctrl+d：向文件尾翻半屏 Ctrl+f：向文件尾翻一屏 Ctrl＋b；向文件首翻一屏 nz：将第n行滚至屏幕顶部，不指定n时将当前行滚至屏幕顶部。 插入文本类命令 i ：在光标前 I ：在当前行首 a：光标后 A：在当前行尾 o：在当前行之下新开一行 O：在当前行之上新开一行 r：替换当前字符 R：替换当前字符及其后的字符，直至按ESC键 s：从当前光标位置处开始，以输入的文本替代指定数目的字符 S：删除指定数目的行，并以所输入文本代替之 ncw或nCW：修改指定数目的字 nCC：修改指定数目的行

vi命令详解 vi常用操作命令 ：n1,n2 co n3：将n1行到n2行之间的内容拷贝到第n3行下 ：n1,n2 m n3：将n1行到n2行之间的内容移至到第n3行下 ：n1,n2 d ：将n1行到n2行之间的内容删除 ：w ：保存当前文件 ：e filename：打开文件filename进行编辑 ：x：保存当前文件并退出 ：q：退出vi ：q!：不保存文件并退出vi ：!command：执行shell命令command ：r!command：将命令command的输出结果放到当前行 ：n1,n2 w!command：将文件中n1行至n2行的内容作为command的输入并执行；若不指定n1，n2，则表示将整个文件内容作为command的输入

Linux的环境变量 什么是环境变量？ Linux是一个多用户的操作系统。多用户意味着每个用户登录系统后，都有自己专用的运行环境。而这个环境是由一组变量所定义,这组变量被称为环境变量。用户可以对自己的环境变量进行修改以达到对环境的要求。 定制环境变量 环境变量是和Shell紧密相关的，它是通过Shell命令来设置的。环境变量又可以被所有当前用户所运行的程序所使用。对于bash来说，可以通过变量名来访问相应的环境变量。 全局环境变量 /etc/profile、/etc/profile.d/*.sh这些文件中设置的环境变量对所有用户都起作用，登录时自动生效，称为全局环境变量。全局环境变量可用来设定一些默认的应用环境，如指定编译器、MPI并行库等。 用户环境变量 安装一个应用程序后，相关的环境参数尽量不要加入的全局环境变量，避免版本冲突。 可在/public/software/profile.d/目录下创建相应的env文件，让用户在~/.bashrc 或PBS脚本中自由选择source。

曙光高性能集群系统介绍

什么是集群 集群系统是利用高性能通信网络将一组计算机（节点）按 某种结构连接起来，在并行化设计及可视化人机交互集成 开发环境支持下，统一调度、协调处理，实现高效并行处 理的系统 所有计算机节点一起工作如同一个单一集成的系统资源， 实现单一系统映像（SSI） 集群是目前高性能计算机三大体系结构之一，是目前最主 流的和最有生命力的体系结构 集群是目前性能价格比最高的高性能计算机体系结构 集群特点：容易实现、容易维护、较好用的高性能计算机

曙光集群 曙光集群是使用Infiniband、Myrinet等高速网络或者千 兆网络节点机网络连接，进行高性能并行计算； 使用千兆网络连接，进行网络管理监控； 一个节点就是一台机器，N台机器通过连接高速网、安装 系统（系统的一致性，即系统配置必须一致）、调试并行 环境、安装应用软件来进行计算；

曙光集群 曙光集群可扩展性强，如果现有的计算资源无法满足需要， 可以根据实际需求，动态增加计算节点； 曙光集群的易管理性：GridView、CloudView等监控管 理软件，协助管理集群系统；

集群系统的硬件组成 曙光集群硬件系统的基本架构 基于节点的集群 CPU：AMD 系列Opteron、Intel系列Xeon 高中低端产品： 八路、四路、双路、单路 外围设备： 机柜系统 网络系统 集群监控系统 集群管理系统 视频管理系统

集群系统的体系结构

集群系统的物理架构

曙光集群的计算系统 计算节点 GPGPU节点 一般为双路或四路刀片或机架式服务器，为计算系统的主力。 SMP 胖节点 GPU即图形处理单元，GPGPU的意思为使用显卡做通用计算，由于GPU卡具有更多计算核心数，更高的能效比和更强的浮点计算能力，所以对于适合GPU，并在GPU上移植成功的应用软件提供更高的性能 计算系统 SMP 胖节点 一般用于一些有大内存、高IO或单机多核处理的需求，满足一些特殊应用的需求。 内容

曙光集群功能节点 管理节点 登陆节点 IO节点 登陆节点 IO节点 管理节点 用于用户登陆集群，在集群上实现作业提交，文件上传，编辑，程序编译等操作。可靠性要求高，数量少 用于运行系统级的管理软件，性能要求不高，但可靠性要求高，数量少 用于连接存储设备，提供共享存储空间。小型项目，使用单一IO节点提供NFS解决。大中型，使用并行文件系统，多个IO节点和存储空间解决IO瓶颈 登陆节点 IO节点 管理节点

曙光集群物理视图 登录节点 管理节点 计算节点 IO节点 SMP胖节点

曙光集群网络拓扑图

PBS介绍和使用

PBS作业调度系统 力求控制对批处理的初始化和调度执行，允许作业在不同主机间的路由。 独立的调度模块存有各个可用的排队作业、运行作业和系统资源使用信息，并且允许系统管理员定义资源和每个作业可使用的数量。 在作业调度策略上，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL、C三种过程语言和调度类，并定义了一些调度需要的函数和完整的API，方便实现新的调度策略。 提供文件传送，File Stage-in 和Stage-out。 满足POSIX1003.2d 标准，支持作业依赖，和完整的安全认证。 提供用户映射功能，使PBS 能用于用户不一致的系统中。

PBS的基本原理

PBS的使用步骤 准备：编写描述改作业的脚本，包括作业名，需要的资源等。 提交：使用qsub命令将该作业提交给PBS服务器 排队：服务器将该任务排入适当的队列 调度：服务器检查各工作节点的状态是否符合该作业的要求，并进行调度。 执行：当条件满足时，作业被发给相应的执行服务器执行。程序运行时执行服务器会收集程序的标准输出和标准错误流，等程序结束时，将这些信息返回给用户。 查询和调整：当作业在运行时，用户可以使用qstat进行状态查询。用户发现作业提交错误时，可以使用qdel删除正在运行的作业。 查看结果：使用文本编辑软件vi或者系统命令cat, less等查看输出及错误信息显示。

PBS的基本命令 在PBS系统中，用户使用qsub 命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，作业脚本使用如下格式提交到PBS系统运行：

Qsub运行参数

PBS作业脚本 注释,以“#”开头 PBS指令,以“#PBS”开头 SHELL命令

PBS的环境变量

PBS作业脚本举例

详细实例 编辑PBS脚本内容如下：（注意，#PBS行不是注释，所有说明行均以###开始，即红色字体部分） ###声明作业名为mpi #PBS -N mpi ###申请资源数为10个节点，每个节点16个cpu #PBS -l nodes=10:ppn=16 ###将标准输出信息与标准错误信息合并输出到文件中 #PBS -j oe ###指定作业提交到low队列 #PBS –q low ###估计最大运算时间为1000小时，若没有设置这项，系统为自动按所在队列默认walltime处理 #PBS -l walltime=1000:00:00

详细实例 ###在作业结束时，给用户发邮件 #PBS -m e ###声明邮箱地址，如test@hpc.com #PBS -M test@hpc.com ###进入作业调度目录 cd $PBS_O_WORKDIR ###计算申请的cpu数目 NP=`cat $PBS_NODEFILE | wc -l` ###设置计算所需要的环境变量，如使用GNU版OpenMPI运行程序 source /public/software/mpi/openmpi1.4-gnu.sh ###程序运行部分 mpirun -np $NP -machinefile $PBS_NODEFILE cpi-openmpi

查询和取消作业

查询作业运行的位置

错误处理 作业提交后处于排队状态 没有可用的节点，也就是节点资源被其他作业使用； 作业提交后异常结束 脚本文件使用的是windows格式 节点处于忙状态; 调度器失效; 指定的节点失效，或者节点上的mom失效 作业提交后异常结束 脚本文件使用的是windows格式 脚本中使用一些命令路径问题 脚本退出但是作业没有退出 用户使用的文件的权限问题 处理方法的原则是查看作业的标准输入和标准错误输出的结果

已安装计算软件的提交脚本使用说明

Fluent作业脚本说明 #!/bin/bash #PBS -N fluent.test #PBS -l nodes=1:ppn=32 #PBS -l walltime=600:00:00 #PBS -j oe #PBS -q amd #PBS -m abe #PBS -M your_email@cczu.edu.cn

Fluent作业脚本说明 source /public/software-a840/profile.d/fluent-env.sh #The version of fluent solver FLUENTSOLVER=2d #The name of joufile joufile=myjob.jou id=`echo $PBS_JOBID|awk -F. '{print $1}'` output=$id.log cd $PBS_O_WORKDIR rm -f pnodes pnodes=`cat $PBS_NODEFILE | sort > pnodes` ncpus=`cat pnodes | wc -l` echo "cpu num is $ncpus" >>$output echo `cat $PBS_NODEFILE` >>$output dos2unix $joufile fluent -ssh $FLUENTSOLVER -t$ncpus -cnf=./pnodes -p -g -i $joufile >>$output 2>&1

Gaussian09作业脚本说明 #PBS -S /bin/bash #PBS -N gaussian.test #PBS -j oe #PBS -l walltime=200:00:00 #PBS -l nodes=1:ppn=8 #PBS -q amd #PBS -V #PBS -m abe #PBS -M your_email@cczu.edu.cn

Gaussian09作业脚本说明 INFILE=h2o.com #INFILE=test_gaussian.inp # Define the location where Gaussian was installed and run a setup script, g09.profile. source /public/software/profile.d/g09-env.sh cd $PBS_O_WORKDIR #Run a Gaussian command file echo "Starting Gaussian run at" `date` time g09 $INFILE > $PBS_JOBID.$INFILE.log echo "Finished Gaussian run at" `date` echo "Job running in :" echo $PBS_O_WORKDIR echo "The scrdir is:" echo $GAUSS_SCRDIR

Matlab作业脚本说明 #!/bin/sh #$ -S /bin/bash #PBS -N matlab.test #PBS -l walltime=1000:00:00 #PBS -j oe #PBS -q intel #PBS -m abe #PBS -M your_email@cczu.edu.cn #PBS -l nodes=1:ppn=16

Matlab作业脚本说明 cd $PBS_O_WORKDIR # # Run MATLAB with no GUI elements, no splash screen, no Java # Virtual Machine. Upon starting MATLAB, create no more than 4 # compute threads, then run the program in matlabdemo.m #/public/software/matlab/R2012a/bin/matlab -nodisplay -nosplash -nojvm \ source /public/software/profile.d/matlab-env.sh matlab -nodisplay -nosplash -nojvm -r matlabdemo

Meep作业脚本说明 #!/bin/bash #PBS -N meep.test #PBS -l nodes=1:ppn=8 #PBS -l walltime 400:00:00 #PBS -q amd #PBS -j oe #PBS -m abe #PBS -M your_email@cczu.edu.cn

Meep作业脚本说明 source /public/software-a840/profile.d/meep-env.sh cd ${PBS_O_WORKDIR} NP=`cat $PBS_NODEFILE | wc -l` mpirun -np 4 -mca btl self,tcp meep-mpi fcen=0.118 df=0.01 ring.ctl h5topng -RZc dkbluered -C ring-eps-000000.00.h5 ring-ez-*.h5 convert ring-ez-*.png ring-ez-0.118.gif

OpenFOAM作业脚本说明 #!/bin/bash #PBS -N openfoam.test #PBS -j oe #PBS -l nodes=1:ppn=4 #PBS -l walltime=600:00:00 #PBS -q amd #PBS -m abe #PBS -M your_email@cczu.edu.cn

OpenFOAM作业脚本说明 SOLVERNAME=interFoam output=dambreak.out source /public/software-a840/profile.d/openFoam-env.sh cd $PBS_O_WORKDIR ncpus=`cat $PBS_NODEFILE | wc -l` echo "cpu num is $ncpus" >>$output echo `cat $PBS_NODEFILE` >>$output cp -f 0/alpha1.org 0/alpha1 blockMesh setFields decomposePar -force mpirun -machinefile $PBS_NODEFILE -np $ncpus $SOLVERNAME -parallel >>$output 2>&1 reconstructPar

Vasp作业脚本说明 #!/bin/bash #PBS -N vasp.test #PBS -l nodes=2:ppn=16 #PBS -l walltime=100:00:00 #PBS -j oe #PBS -q intel #PBS -m abe #PBS -M test@cczu.edu.cn source /public/software/profile.d/vasp-env.sh cd $PBS_O_WORKDIR NPROCS=`wc -l < $PBS_NODEFILE` mpirun -machinefile $PBS_NODEFILE -np $NPROCS vasp-5.2

交流与答疑

交流与答疑 高性能计算 从清华北大到偏远农村中小学，曙光为各类学校和教育机构提供提供定制的解决方案，让科研工作者为将来在全球劳动力市场和技术创新竞争中做好充分的准备 为高校的顶级科研部门提供完备的高性能计算解 决方案 为高校的重点学科高性能计算提供细心的技术支 持

上机实践操作

上机实践操作 我们在集群中创建有test123账户，各位老师可以使用test123账户登录集群进行作业的测试提交。Test123目录下每个行业软件分别有9个测试用例，以文件夹的形式区分。每位老师建议使用一个感兴趣的目录进行测试和练习。