宁波材料所高性能计算集群普通用户培训 曙光公司.

Presentation on theme: "宁波材料所高性能计算集群普通用户培训 曙光公司."— Presentation transcript:

1 宁波材料所高性能计算集群普通用户培训 曙光公司

2 目录 一、集群系统概况 二、软件安装情况 三、集群管理

3 集群系统拓扑图

4 计算系统:TC5600H 100台 CPU整体理论峰值性能达到61.44T
网络系统： 千兆管理网络，千兆管理网络用于系统管理控制、系统监控、作业的递交、作业监控管理等方面的数据通讯。 Infiniband计算网络 系统配置Infiniband FDR交换机，连接所有节点，用于计算节点间的计算通信以及所有节点对存储系统的高速访问 存储系统： 配备1套曙光ParaStor分布式并行存储，存储有效容量达到44TB。

5 目录 一、集群系统概况 二、软件安装情况 三、集群使用

6 编译器 /usr 软件名称 软件信息 GNU编译器 软件版本 4.4.7 安装路径 环境变量配置文件 调用方式
C：gcc C++：g++ F77：g77 F90: gfortran Intel编译器 14.0.0 /public/software/compiler/intel/composer_xe_2013_sp /public/software/profile.d/compiler_intel-composer_xe_2013_sp sh C：icc C++：icpc F77：ifort F90: ifort

7 OpenMPI（与Intel编译器关联）
软件名称 软件信息 OpenMPI（与Intel编译器关联） 说明 OpenMPI，与Intel编译器关联，支持以太网和InfiniBand。系统默认的MPI环境 软件版本 openmpi-1.6.5 安装路径 /public/software/mpi/openmpi/1.6.5/intel 环境变量配置文件 /public/software/profile.d/mpi_openmpi-intel sh 调用方式 C：mpicc C++：mpicxx F77：mpif77 F90: mpif90 mpirun -np <N> -machinefile <machinefile> ...

8 MPI并行库（续1） OpenMPI（与GNU编译器关联） 说明 OpenMPI，与GNU编译器关联，支持以太网和InfiniBand
软件版本 openmpi-1.6.5 安装路径 /public/software/mpi/openmpi/1.6.5/intel 环境变量配置文件 /public/software/profile.d/mpi_openmpi-intel sh 调用方式 C：mpicc C++：mpicxx F77：mpif77 F90: mpif90 mpirun -np <N> -machinefile <machinefile> ...

9 数学库 FFTW2-float 说明 单精度版FFTW2数学库 软件版本 fftw-2.1.5 安装路径
/public/software/mathlib/fftw/2.1.5/float 调用方式 <编译器> -I/public/software/mathlib/fftw/2.1.5/float /include ... -L/public/software/mathlib/fftw/2.1.5/float /lib -lsrfftw -lsfftw FFTW2-double 双精度版FFTW2数学库 /public/software/mathlib/fftw/2.1.5/double <编译器> -I/public/software/mathlib/fftw/2.1.5/double/include ... -L/public/software/mathlib/fftw/2.1.5/double/lib -lrfftw -lfftw FFTW3-float 单精度版FFTW3数学库 fftw-3.3 /public/software/mathlib/fftw/3.3.3/float <编译器> -I/public/software/mathlib/fftw/3.3.3/float include ... -L/public/software/mathlib/fftw/3.3.3/float /lib -lfftw3f

10 数学库（续1） FFTW3-double 说明 双精度版FFTW3数学库 软件版本 fftw-3.3 安装路径
/public/software/mathlib/fftw/3.3.3/double 调用方式 <编译器> -I/public/software/mathlib/fftw/3.3.3/double /include ... -L/public/software/mathlib/fftw/3.3.3/double /lib -lfftw3 Intel MKL Intel MKL，包含BLAS、LAPACK、FFT、ScaLAPACK、BLACS等 Intel Compiler 自带版本 /public/software/compiler/composer_xe_2013_sp /mkl 环境变量配置文件 /public/software/compiler/composer_xe_2013_sp /mkl/bin/mklvars.sh ifort/icc ... –L${MKLROOT}/lib/em64t -lmkl_intel_lp64 -lmkl_sequential -lmkl_core

11 应用软件 应用软件 1 vasp 5.2.12 /public/software/app/vasp-5212
/public/software/app/vasp-5212neb 2 gaussian 09 /public/software/app/g09 3 lammps 9Dec14 /public/software/app/lammps 4 matlab R2012a /public/software/app/R2012a

12 目录 一、集群系统概况 二、软件安装情况 三、、集群使用

13 目录 一、集群系统概况 二、软件安装情况 三、集群使用 Gridview登录 命令行登录

14 Gridview 用户注册

15 Gridview普通用户－登录 选择“普通用户”

16 普通用户－资源申请

17 普通用户－文件管理

18 普通用户－作业列表

19 系统登录（命令行终端） SSH Secure Shell Client，PuTTY，SecureCRT等SSH客户端软件登录。
Linux客户端可以直接在命令行终端中执行ssh命令进行登录： $>ssh

20 上传下载数据：WinSCP简介 WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端， 并支持SCP协议。

21 WinSCP－支持UTF8编码

22 设置软件环境变量 安装软件的环境变量设置脚本(/public/software/profile.d)

23 设置软件环境变量 各用户在.bashrc中选择需要的进行设置

24 集群信息查看命令 集群计算资源 pestat 存储可用资源 df –h

25 使用作业调度

26 作业管理系统的结构

27 查询节点状态 ~]$ qsub example.pbs 2743.node200 ~]$ pestat node state load pmem ncpu mem resi usrs tasks jobids/users node10 excl 8.06* / dawn node11 free /1 0 node12 free /1 0 node13 free /0 0 node14 free /1 0 node16 free 0.99* / NONE* 2735 NONE* node17 free / NONE* node18 free /1 0 node19 free /0 0 node20 offl* /0 0 node21 offl* /0 0 node22 offl* /0 0 node23 free /0 0 node24 free /1 0 node25 free /1 0 node26 free /1 0 node27 free /1 0 node28 free /0 0 node29 free /0 0 节点状态 excl ：所有CPU资源已被占用； busy ：CPU已接近满负荷运行； free ：全部或部分CPU空闲； offl ：管理员手动指定离线状态；

28 PBS作业提交步骤 准备：编写描述改作业的脚本，包括作业名，需要的资源等。 提交：使用qsub命令将该作业提交给PBS服务器
排队：服务器将该任务排入适当的队列 调度：服务器检查各工作节点的状态是否符合该作业的要求，并进行调度。 执行：当条件满足时，作业被发给相应的执行服务器执行。程序运行时执行服务器会收集程序的标准输出和标准错误流，等程序结束时，将这些信息返回给用户。 查询和调整：当作业在运行时，用户可以使用qstat进行状态查询。用户发现作业提交错误时，可以使用qdel删除正在运行的作业。 查看结果：使用文本编辑软件vi或者系统命令cat, less等查看输出及错误信息显示。

29 PBS作业提交基本命令 在PBS系统中，用户使用 qsub 命令提交用户程序。用户运行程序的命令及PBS环境变量设置组成PBS作业脚本，作业脚本使用如下格式提交到PBS系统运行： qsub <PBS作业脚本> qsub -N wrf -l nodes=4:ppn=20 -q batch <PBS作业脚本>

30 PBS作业脚本 本质是一个SHELL脚本 注释以“#”开头 PBS运行参数，以“#PBS”开头 可以直接调用SHELL命令和系统命令
#PBS -N test #PBS -l nodes=1:ppn=20 #PBS -l walltime=12:00:00 #PBS -q batch cd /home/test/work ./test.exe

31 PBS运行参数 在 PBS 脚本和 qsub 命令行中均有效，qsub命令行参数的优先级更高 运 行 参 数 说 明
说 明 -a <作业开始运行的时间> 向PBS系统指定作业运行的开始时间。 作业运行时间格式为： [[[[CC]YY]MM]DD]hhmm[.SS] -A <用户名> 使用不同的用户来提交作业，缺省使用当前用户名 -o <标准输出文件的路径> -e <标准错误输出的路径> 该参数指定标准错误输出的位置，缺省的情况下，PBS系统把标准输出和标准错误输出放在用户qsub命令提交作业的目录下。 标准错误输出：<作业名>.o<作业号> 标准错误输出：<作业名>.e<作业号> 路径使用如下格式标准： [<节点名>:]<路径名> -N <作业名> 指定提交的作业名 -q <目标队列> 指定作业提交的目标队列，其中目标队列可以是目标队列、目标节点名或者是目标节点上的队列。如果目标队列是一个路由队列，那么服务器可能把作业路由到新的队列中。如果该参数没有指定，命令qsub会把作业脚本提交到缺省的队列中。 -l <申请资源列表> 该参数指定作业脚本申请的PBS系统资源列表。 申请资源列表使用如下格式： <资源名>[=[<数量>]][,资源名[=[<数量>]]， …..] 例如作业希望申请在双路节点上申请5个CPU资源的情况， 则可以在脚本中如下： #PBS –l nodes=2:ppn=2+1:ppn=1

32 PBS的环境变量 变 量 名 说 明 登陆SHELL继承来的变量
说 明 登陆SHELL继承来的变量 包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。 $PBS_O_HOST qsub提交的节点名称 $PBS_O_QUEUE qsub提交的作业的最初队列名称 $PBS_O_WORKDIR qsub提交的作业的绝对路径 $PBS_JOBID 作业被PBS系统指定的作业号 $PBS_JOBNAME 用户指定的作业名，可以在作业提交的时候用qsub –N <作业名>指定，或者在PBS脚本中加入#PBS –N <作业名>。 $PBS_NODEFILE PBS系统指定的作业运行的节点名。该变量在并行机和机群中使用。当在PBS脚本中用#PBS –l nodes=2:ppn=2指定程序运行的节点数时，可以使用$PBS_NODEFILE在脚本中引用PBS系统指定的作业运行的节点名。比如： #PBS –l nodes=2:ppn=2 mpirun –np 4 –machinefile $PBS_NODEFILE <程序名> $PBS_QUEUE PBS脚本在执行时的队列名

33 PBS脚本举例 # 这是一个串行作业脚本的例子 #PBS -N test #PBS -l nodes=1:ppn=1
cd $HOME/test/ ./a.out > $HOME/result/a.result # 这是一个并行作业脚本的例子 #PBS -N wrf #PBS -o out.txt #PBS -e err.txt #PBS -l nodes=2:ppn=20 #PBS -q batch cd $PBS_O_WORKDIR NP=$(wc -l “$PBS_NODEFILE”) source /public/software/profile.d/mpi_mvapich2-pgi-20b-nemesis.sh mpirun -np $NP -f $PBS_NODEFILE ./wrf.exe

34 一个复杂的PBS脚本 #!/bin/bash #PBS -N jobname #PBS -l nodes=2:ppn=8
cat `echo $PBS_NODEFILE` > $HOME/$PBS_JOBID.nodes for node in `cat $HOME/$PBS_JOBID.nodes` do ssh $node mkdir /tmp/$PBS_JOBID ssh $node cp -rf $PBS_O_WORKDIR/* /tmp/$PBS_JOBID/ done cd /tmp/$PBS_JOBID mpirun -np 16 -machinefile $PBS_NODEFILE $HOME/bin/vasp cp -rf /tmp/$PBS_JOBID/* $PBS_O_WORKDIR/ ssh $node rm -rf /tmp/$PBS_JOBID rm $HOME/$PBS_JOBID.nodes

35 指定资源 #PBS -l nodes=4:ppn=20 #PBS -l nodes=1:ppn=20+1:ppn=10
#PBS -l nodes=a210:ppn=20+a211:ppn=20 #PBS -l walltime=01:00:00

36 查询作业状态 作业提交后，会生成一个作业号，如： [dawning@node1 ~]$ qsub test.pbs 93.node1
查看集群作业运行状态： ~]$ qstat Job id Name User Time Use S Queue 93.node test.pbs test R default 95.node vasp.Hg vasp E default 111.node structure amber Q default 作业状态说明： E：退出 Q：排队 H ：挂起 R ：运行 C：结束

37 查询作业状态(续） 查询作业命令 qstat [参数]，其中参数可为: -q ：列出系统队列信息 -B ：列出PBS服务器的相关信息
-an：列出队列中的所有作业及其分配的节点 -r ：列出正在运行的作业 -f jobid ：列出指定作业的信息 -Qf queue：列出指定队列的所有信息

38 删除作业 注：用户只能删除自己的作业，管理员可以删除所有用户作业 [dawning@node1 ~]$ qstat
Job id Name User Time Use S Queue 93.node test.pbs zhaocs R default 95.node vasp.Hg vasp E default 111.node structure amber Q default qdel 93.node1 注：用户只能删除自己的作业，管理员可以删除所有用户作业

39 谢谢！ Q&A