河北大学超算中心 软件环境及常用软件使用介绍 河北大学网络中心 曙光信息产业（北京）有限公司 2015.01.

Presentation on theme: "河北大学超算中心 软件环境及常用软件使用介绍 河北大学网络中心 曙光信息产业（北京）有限公司 2015.01."— Presentation transcript:

1 河北大学超算中心 软件环境及常用软件使用介绍 河北大学网络中心 曙光信息产业（北京）有限公司

2 修改记录 ；创建文件

3 目录 “河大超算中心”整体概况 基础环境及应用软件信息 常用软件使用介绍 常见问题汇结

4 超算中心主要技术指标 高性能计算平台由2台管理节点I620-G10、2台登录节点I620-G10、18台胖节点（其中2台I840r-GP、16台A840-G10）、10箱TC4600H（100台）刀片、2台可视化W580-G10、4台GPU节点I620-G15、1台MIC节点I620-G15服务器组成。 处理器型号、数量及性能 序号 名称 处理器型号 处理器个数 处理器核数 节点性能（TFlops） 数量（台） 1 胖节点 Intel Xeon E7-4850 4 10（2.0GHz） 0.32  2 2 Operton 6386 16 （2.8Ghz） 0.7168 16 3 刀片节点 Intel Xeon E v2 10（2.8Ghz） 0.448  100 GPU节点 1.618 NVIDIA Tesla K20（GPU） 2496 5 MIC节点 1.459 Intel 5110p GPU 系统内部互连带宽56Gbps，芯片传输延迟100ns 全系统内存容量8.7TB，全系统在线共享存储磁盘容量183TB 全系统最大运行功耗90KW 机柜数量16个

5 超算中心系统概况 CPU计算资源：3244核，协处理器计算资源：12块Nvidia K20+2块Intel 5110p
存储裸容量 TB 全系统 56Gbps FDR InfiniBand 线速互连 全新的Gridview 3.0 集群管理调度系统 。

6 超算中心节点类型 序号 名称 主机名 备注 1 登陆节点 mgm01 mgm02 2 管理节点 mgm03 mgm04 3 刀片节点
b0100 … b1000 (详见/etc/hosts文件） 4 胖节点 f001 f002 Intel CPU f003 … f016 AMD CPU 5 GPU节点 gpu01 gpu02 gpu03 gpu04 6 MIC节点 mic01 7 渲染节点 vis01 vis02

7 管理/登陆节点-I620-G10 管理/登陆节点 4台 曙光 I620-G10服务器，真正企业级的可靠和可用性，为服务器系统的大规模部署和远程分布式应用提供便捷的管理能力 2*Intel Xeon E v2（Ivy Bridge | 10C | 2.8GHz）处理器 64 GB DDR3 ECC 1866MHz 四通道内存 64位CentOS操作系统，2 块本地300GB SAS作为应用高速存储

8 CPU同构计算资源-TC4600H 刀片 曙光 TC4600H 刀片服务器，针对高性能计算设计和优化 高性能、高密度、易管理、成熟稳定
刀片节点 100台 曙光 TC4600H 刀片服务器，针对高性能计算设计和优化 高性能、高密度、易管理、成熟稳定 2*Intel Xeon E v2（Ivy Bridge | 10C | 2.8GHz）处理器 64 GB DDR3 ECC 1866MHz 四通道内存 64位CentOS操作系统，本地300GB SAS作为应用高速存储

9 CPU同构计算资源-Intel CPU胖节点
2台 曙光 I840r-GP服务器，结合最新的计算技术和可靠性设计，可以完美运行虚拟化、数据库、ERP、大型电子商务等关键应用 4*Intel Xeon E （Ivy Bridge | 10C | 2.0GHz）处理器 512 GB DDR3 REG 1333内存，最大可扩展至2048GB内存 多达11个高速PCIE扩展槽为用户提供极高的I/O扩展能力，满足高端客户对系统功能和性能的需求 64位CentOS操作系统，3块本地300GB SAS（RAID5）作为应用高速存储

10 CPU同构计算资源-AMD CPU胖节点 AMD CPU 胖节点 16台 曙光 A840-G10服务器，结合真正企业级的可靠和可用性，领先行业的超高应用性能，支持自主研发软件和硬件 4*Operton 6386 （16C | 2.8GHz）处理器，相比 6200 系列处理器最大有 20%左右的性能提升 512 GB DDR3 REG 1600内存，最大可扩展至1024GB内存 A840-G10 服务器支持虚拟化技术。AMD-V 技术提供硬件虚拟化支持 64位CentOS操作系统，3块本地300GB SAS（RAID5）作为应用高速存储

11 MIC/GPU异构计算资源 曙光 I620-G15 服务器 MIC 节点 1台 GPU 节点 曙光 I620-G15 服务器 4台
2*Intel Xeon E v2（Ivy Bridge | 10C | 2.8GHz）处理器 2*Intel Xeon Phi 5110P（8GB内存） 64 GB DDR3 ECC 1866MHz 四通道内存 64位CentOS操作系统，本地300GB SAS作为应用高速存储 支持对Xeon Phi的Offload卸载、Symmetric、Native原生模式调用 GPU 节点 4台 曙光 I620-G15 服务器 2*Intel Xeon E v2（Ivy Bridge | 10C | 2.8GHz）处理器 2*NVIDIA Tesla K20 GPGPU 64 GB DDR3 ECC 1866MHz 四通道内存 64位CentOS操作系统，本地300GB SAS作为应用高速存储 支持CUDA、OpenACC、OpenCL 支持GPU Direct

12 可视化资源-W580-G10 W580-G10 2台 曙光W580I-G10 GPU专门针对CAD、仿真模拟、动画制作以及CG渲染、GPU计算等应用进行了优化，主要面向电影、设计、动画、建筑、机械等高端图形处理行业用户 2*Intel Xeon E v2（Ivy Bridge | 10C | 2.8GHz）处理器 64 GB DDR3 ECC 1866MHz 四通道内存 Nvidia Quadro K4000 3G PCIEx16显卡*2/Nvidia K20 5GB GPU卡*2/ 64位CentOS操作系统，1块本地1TB SATA 作为应用存储

13 超算系统—CPU计算资源概况 CPU计算资源 节点 类型 设备 型号 CPU 内存容量 硬盘容量 网络 数量（台） 登陆/管理 刀片节点
I620-G10 2颗Intel XEON E （Romely|6C|2.0GHz） 64G 2块300G SAS硬盘 2*1GbE以太网 1*56GbE IB网 4 刀片节点 CB60-G16 2颗Intel XEON E v （Ivy Bridge-E|10C|2.8GHz） 1块300G SAS硬盘 1*1GbE以太网 110 胖节点 I840r-GP 2颗Intel XEON E7-4850（Westmere-EX|10C|2.0GHz） 512G 3块300G SAS硬盘 4*1GbE以太网 2 A840-G10 4颗Operton 6386 （16C|2.8GHz） 16

14 超算系统—协处理器计算资源概况 节点类型 设备型号 CPU 协处理器 内存 硬盘 网络 数量 MIC节点 GPU 节点 渲染节点
I620-G15 2颗Intel XEON E v （Ivy Bridge-E|10C|2.8GHz） 2块Intel 5110p GPU卡 64G 1块300G SAS硬盘 2*1GbE以太网 1*56GbE IB网 1 GPU 节点 2颗Intel XEON E v2* （Ivy Bridge-E|10C|2.8GHz） 2块Nvidia TESLA K20 5GB GPU卡 4 渲染节点 W580I-G10 2 2块Nvidia Quadro K4000 3G PCIEx16显卡

15 超算系统—队列信息 节点列表 节点描述 节点数 核心数 可用作业队列 balde b01-b02刀箱
2*Intel XEON E v2* （Ivy Bridge-E|10C|2.8GHz），64GB内存 20 400 blade_s1（默认队列） b03-b04刀箱 blade_s2 b05-b09刀箱 50 500 blade_x GPGPU节点 gpu01-gpu04 vis01-vis02 2*Intel XEON E v2* （Ivy Bridge-E|10C|2.8GHz），64GB内存，2*Nvidia TESLA K20 5GB GPU卡 6 120 queue_gpu MIC计算节点 mic01 2*Intel XEON E v2* （Ivy Bridge-E|10C|2.8GHz），64GB内存，2*Intel 5110p GPU卡 1 queue_mic intel胖节点 f001-f002 Intel XEON E7-4850*4（Westmere-EX|10C|2.0GHz），512GB内存 2 80 flat_intel AMD胖节点 f003-f018 Operton 6386*4（16C|2.8GHz），512GB 16 1024 flat_amd

16 超算系统—网络系统介绍 管理网络 使用10.188.255.X/24网段 IB网络 使用192.168.254.X/24网段
备注：每个节点有2个IP地址，管理网络用于登陆传输，IB网络用于计算，具体请查看/etc/hosts文件

17 超算系统—存储系统情况 /home：超算用户的家目录 /public/sourcecode：存放软件源文件
/public/software：存放公共软件 高性能工作区公共软件区 虚拟化共享分区 用户HOME /vmware：存放虚拟机镜像

18 超算系统—系统登录（命令行终端） Windows用户可以用SSH Secure Shell Client，PuTTY，SecureCRT等SSH客户端软件登录。推荐使用SSH Secure Shell Client，它集成了SFTP文件上传下载功能。 Linux客户端可以直接在命令行终端中执行ssh命令进行登录： $>ssh

19 超算系统—系统登录（远程桌面） 远程图形界面登录推荐采用VNC方式。第一次使用VNC登录前，需要先以命令行终端方式登录到集群登录节点，执行vncserver命令，会提示用户输入VNC登录密码，输入后会得到一个VNC会话，一般是“主机名:VNC会话号”格式，如“node32:4”。 Windows用户推荐使用RealVNC软件进行VNC远程图形界面登录，登录时输入集群登录节点IP地址加VNC会话号即可： Linux用户可以直接在命令行终端中执行vncviewer命令进行登录，如： $>vncviewer [登录节点IP地址]:[session number]

20 超算系统—系统登录（Gridview Web）
mgm01（IP地址： ）和mgm02（IP地址： ）提供web页面方式，查看集群状态，提交和管理作业，登录地址为： 在登录页面上输入用户名和密码，并选择操作系统用户认证方式登录，如图所示

21 重要提示 为保障超算安全访问，限制普通用户直接ssh节点，仅提交作业分配资源后，才可用ssh到相应的节点。
目前开放了10个刀片节点b1000-b1009可以直接ssh登陆和mpirun方式提交作业

22 目录 “河大超算中心”整体概况 基础环境及应用软件信息 常用软件使用介绍 常见问题汇结

23 编译器 软件名称 软件信息 GNU编译器 软件版本 4.4.6 安装路径 /usr 环境变量配置文件 - 调用方式
C：gcc C++：g++ F77：gfortran F90: gfortran Intel编译器 14.0.0 /public/software/compiler/intel/composer_xe_2013_sp /etc/profile.d/compiler_intel-composer_xe_2013_sp sh C：icc C++：icpc F77：ifort F90: ifort

24 数学库 /public/software/mathlib/fftw/2.1.5/float FFTW2-float 说明
软件版本 fftw-2.1.5 安装路径 /public/software/mathlib/fftw/2.1.5/float 调用方式 <编译器> -I/public/software/mathlib/fftw/2.1.5/float/include ... -L/public/software/mathlib/fftw/2.1.5/float/lib -lsrfftw -lsfftw FFTW2-double 双精度版FFTW2数学库 /public/software/mathlib/fftw/2.1.5/double <编译器> -I/public/software/mathlib/fftw/2.1.5/double/include ... -L/public/software/mathlib/fftw/2.1.5/double/lib -lrfftw -lfftw FFTW3-float 单精度版FFTW3数学库 fftw-3.3.3 /public/software/mathlib/fftw/3.3.3/float <编译器> -I/public/software/mathlib/fftw/3.3.3/float/include ... -L/public/software/mathlib/fftw/3.3.3/float/lib -lfftw3f

25 数学库（续1） FFTW3-double 说明 双精度版FFTW3数学库 软件版本 fftw-3.3.3 安装路径
/public/software/mathlib/fftw/3.3.3/double 调用方式 <编译器> -I/public/software/mathlib/fftw/3.3.3/double/include ... -L/public/software/mathlib/fftw/3.3.3/double/lib -lfftw3 Intel MKL Intel MKL，包含BLAS、LAPACK、FFT、ScaLAPACK、BLACS等 Intel Compiler 自带版本 /public/software/compiler/intel/composer_xe_2013_sp /mkl 环境变量配置文件 /etc/profile.d/compiler_intel-composer_xe_2013_sp sh ifort/icc ... -L/public/software/compiler/intel/composer_xe_2013_sp /mkl/lib/intel64 -lmkl_intel_lp64 -lmkl_sequential -lmkl_core ...

26 MPI并行库 软件名称 软件信息 OpenMPI（与GNU编译器关联） 说明
OpenMPI，与GNU编译器关联，支持以太网和InfiniBand。系统默认的MPI环境 软件版本 openmpi-1.6.5 安装路径 /public/software/mpi/openmpi/1.6.5/gnu 环境变量配置文件 /public/software/profile.d/mpi_openmpi gnu.sh 调用方式 C：mpicc C++：mpicxx F77：mpif77 F90：mpif90 mpirun -np <N> -hostfile <hostfile> …

27 OpenMPI（与Intel编译器关联）
说明 OpenMPI，与Intel编译器关联，支持以太网和InfiniBand 软件版本 openmpi-1.6.5 安装路径 /public/software/mpi/openmpi/1.6.5/intel 环境变量配置文件 /public/software/profile.d/mpi_openmpi intel.sh 调用方式 C：mpicc C++：mpicxx F77：mpif77 F90：mpif90 mpirun -np <N> -hostfile <hostfile> …

28 应用软件 计算化学软件 Gaussian 09 /public/software/g09/
软件名称 软件信息 Gaussian 09 说明 计算化学软件 软件版本 G09. B01 安装路径 /public/software/g09/ 作业提交脚本示例 /public/software/g09/g09_example.pbs

29 应用软件（续1） 5.2.12 /public/software/vasp/5.2.12/openmpi/intel/vasp
软件名称 软件信息 VASP 说明 计算物理软件 软件版本 5.2.12 安装路径 /public/software/vasp/5.2.12/openmpi/intel/vasp 作业提交脚本示例 /public/software/vasp/5.2.12/openmpi/intel/vasp.pbs

30 应用软件（续2） 4.6.5 /public/software/gromacs-4.6.5/float/openmpi/gnu/cpu/
软件名称 软件信息 GROMACS 说明 分子动力学软件 软件版本 4.6.5 安装路径（cpu单精度版） /public/software/gromacs-4.6.5/float/openmpi/gnu/cpu/ 环境变量 /public/software/profile.d/gromacs float-openmpi-gnu-cpu.sh 安装路径（gpu单精度版） /public/software/gromacs-4.6.5/float/openmpi/gnu/gpu/ source /public/software/profile.d/gromacs float-openmpi-gnu-gpu.sh 安装路径（gpu双精度版） /public/software/gromacs-4.6.5/double/openmpi/gnu/cpu /public/software/profile.d/gromacs double-openmpi-gnu-gpu.sh

31 应用软件（续3） 分子动力学软件 /public/software/namd/2.9/openmpi/intel/namd.pbs 2.9
软件名称 软件信息 NAMD 说明 分子动力学软件 软件版本 2.9 安装路径 /public/software/namd/2.9/openmpi/intel 作业提交脚本示例 /public/software/namd/2.9/openmpi/intel/namd.pbs

32 应用软件（续4） 流体力学软件 14.0 ANSYS /public/software/ansys_inc/ 软件名称 软件信息 说明
软件版本 14.0 安装路径 /public/software/ansys_inc/ 作业提交脚本示例

33 目录 “河大超算中心”整体概况 基础环境及应用软件信息 常用软件使用介绍 常见问题汇结

34 备注信息 在使用应用软件选择MPI、编译器版本有两种常用方式，请根据习惯选择。 方式一：把软件的环境变量
添加到用户家目录的.bashrc，例如 方式二：在pbs脚本里添加需要的环境变量

35 1 Gaussian09使用介绍 2 Gromacs使用介绍 3 NAMD使用介绍 4 BLAST使用介绍 4 串/并行程序使用介绍

36 Gaussian09使用介绍

37 Gaussian09介绍 Gaussian是做半经验计算和从头计算使用最广泛的量子化学软件，可以研究分子能量和结构、过渡态的能量和结构、化学键以及反应能量、分子轨道、偶极矩和多极矩、原子电荷和电势、振动频率、红外和拉曼光谱、NMR、极化率和超极化率、热力学性质、反应路径等。Gaussian软件可以计算气相和溶液中的体系，模拟基态和激发态，还可以对周期边界体系进行计算，是研究诸如取代效应、反应机理、势能面和激发态能量的有力工具，在化学、物理、生物和材料科学领域有非常广泛的应用。 目前Gaussian09最新版本为B01 。 Gaussian是商业软件，对中国用户不提供源码，只能购买到已经编译好的二进制可执行文件。对于x86_64平台，Gaussian公司通常提供两种编译好的版本，一个是用PGI编译的，另一个是用Ifort编译的。实际测试表明，无论是采用AMD CPU还是Intel CPU，Ifort编译的版本都比PGI编译的性能好一些。 程序特点： Gaussian软件的并行计算采用OpenMP方式实现，使用方法简单，在共享内存的机器上能获得很好的性能。尽管Gaussian可以借助TCP Linda软件实现多机并行，但目前这种计算模式无法支持IB网络，并行效率较低，因此我们通常不推荐用户做跨节点运算。

38 输入文件 输入文件 #空行，不可省略 water test #注释行，任务说明 0 1 #体系净电荷与自旋多重度
# hf/6-31g #指定计算方法 #空行，不可省略 water test #注释行，任务说明 #体系净电荷与自旋多重度 O #以下为体系的三维结构描述 H 1 B1 H 1 B A1 B B A #空行，表示输入结束

39 PBS运行 准备PBS脚本: g09_example.pbs 提交任务 查看作业 qsub g09_example.pbs
#PBS -N gaussian #PBS -q blade_s #默认队列 #PBS -l nodes=1:ppn=8 #PBS -j oe #PBS -l walltime=1000:00:00 cd $PBS_O_WORKDIR JOB=h2o.com #指定输入文件名 JOBNAME=`basename "$JOB" .com` STARTTIME=`date` #获取作业开始时间 STIME=`date +%s` source /public/software/g09/g09-env.sh #读取环境变量 /public/software/g09/g09 < $JOB > "$JOBNAME.log" #开始计算 echo >>"$JOBNAME.log" echo g09 job started: $STARTTIME >>"$JOBNAME.log" #输出作业的时间信息 echo g09 job finished: `date` >>"$JOBNAME.log" let ETIME=`date +%s`-$STIME echo Elapsed time: $ETIME >>"$JOBNAME.log" 提交任务 qsub g09_example.pbs 查看作业

40 批量作业提交脚本 李振秋老师提供 操作步骤： 1 利用WinSCP，将压缩包里的四个文件和输入文件传输到一个新建目录下。
2 根据情况，修改qsub.pbs里的队列选项（默认blade_x）和walltime（默认200小时），不要更改其它项。 3 ctrl t打开winscp控制台，输入 sh sh。 说明： 1 特别注意：本方法只适用于输入文件扩展名为gjf，且其内容的第二行为cpu核数设定。 2 提交的任务使用1节点，cpu核数由输入文件确定。任务的名字为“gauss-输入文件文件名”。 3 脚本会首先建立input和output两个目录，随后将所有gjf文件以qsub方式全部提交所定队列排队进行高斯计算, 一旦某一任务开始计算，就会把gjf输入文件移入input下。把运行基本信息和启动时间会存放在jobstarted.log 里。可以根据目录下的输入文件存在与否以及jobstarted.log里的信息来判断是排队中还是已经开始计算。 4 计算结果存在output目录里，文件名为输入文件的文件名加.log。 5 计算完成后（计算超时不算完成），完成信息存放在jobfinished.log里。如果任务没有完成，那么就不会 在jobfinished.log出现finished信息。因此可以通过查看此文件确定任务是否正常运行完毕。 6 万一运行出错，qsub.pbs文件可能会被改写，请用qsub.pbs.backup里的内容恢复。 以后提交新任务非常简单，将输入文件上传至此目录，ctrl t ,sh sh。DONE

41 Gromacs使用介绍

42 Gromacs介绍 Gromacs是一个开源的、高效的、基于标准MPI并行环境设计的大规模分子动力学并行程序，基于Gromacs分子力场，由荷兰的Groningen大学Department of Biophysical Chemistry开发。Gromacs主要执行生物大分子如蛋白质、核酸、磷脂等物质的计算，也可研究非生物的有机大分子系统，如高分子多聚体等。 Gromacs可免费下载使用，目前最新版本5.0。 官网： 程序特点： 可编译成Openmp版和MPI版 推荐使用MPI版，可多节点并行，对网络要求较高

43 软件运行环境 编译器 FFTW MPI环境 安装intel编译器路径：
/public/software/compiler/intel/composer_xe_2013_sp / FFTW 安装单精度版fftw3，Gromacs也支持双精度计算，则需用双精度版fftw。 安装路径： /public/software/mathlib/fftw/3.3.3 MPI环境 安装intel编译器版OpenMPI 安装路径： /public/software/mpi/openmpi/1.6.5/intel

44 软件版本 4.6.5 /public/software/gromacs-4.6.5/float/openmpi/gnu/cpu/
软件名称 软件信息 GROMACS 说明 分子动力学软件 软件版本 4.6.5 安装路径 （cpu单精度版） /public/software/gromacs-4.6.5/float/openmpi/gnu/cpu/ 环境变量 /public/software/profile.d/gromacs float-openmpi-gnu-cpu.sh （gpu单精度版） /public/software/gromacs-4.6.5/float/openmpi/gnu/gpu/ source /public/software/profile.d/gromacs float-openmpi-gnu-gpu.sh （gpu双精度版） /public/software/gromacs-4.6.5/double/openmpi/gnu/cpu /public/software/profile.d/gromacs double-openmpi-gnu-gpu.sh

45 设置运行环境 MPI环境 Gromacs环境变量 单精密CPU：
MPI_HOME=/public/software/mpi/openmpi/1.6.5/intel export PATH=${MPI_HOME}/bin:$PATH export LD_LIBRARY_PATH=${MPI_HOME}/lib:$LD_LIBRARY_PATH export MANPATH=${MPI_HOME}/share/man:$MANPATH Gromacs环境变量 单精密CPU： GMX_INSTALL_DIR=/public/software/gromacs-4.6.5/float/openmpi/gnu/cpu export PATH=${GMX_INSTALL_DIR}/bin:$PATH export LD_LIBRARY_PATH=${GMX_INSTALL_DIR}/lib:$LD_LIBRARY_PATH export INCLUDE=${GMX_INSTALL_DIR}/include:$INCLUDE 单精度GPU： GMX_INSTALL_DIR=/public/software/gromacs-4.6.5/float/openmpi/gnu/gpu/ 双精度GPU： GMX_INSTALL_DIR=/public/software/gromacs-4.6.5/double/openmpi/gnu/cpu/

46 手动运行 第一步 第二步 -np:指定用24个核 -machinefile hosts：hosts文件指定在哪些节点运行
执行命令： grompp_mpi -f grompp.mdp 说明： Gromacs预处理，创建mdout.mdp和topol.tpr 第二步 mpirun -np 24 -machinefile hosts –bind-to-core mdrun_mpi –g cpu.log -np:指定用24个核 -machinefile hosts：hosts文件指定在哪些节点运行 hosts文件的格式为： node1 np=12 node2 np=12

47 PBS运行 准备PBS脚本：gromacs.pbs 提交任务 查看作业状态 qsub gromacs.pbs #!/bin/bash
#PBS -N gromacs #PBS -q blade_s #默认队列 #PBS -l nodes=2:ppn=12 #PBS -l walltime=100:00:00 cd ${PBS_O_WORKDIR}; grompp_mpi -f grompp.mdp NP=`cat $PBS_NODEFILE | wc -l` mpirun -np $NP -machinefile $PBS_NODEFILE --bind-to-core mdrun_mpi –g cpu.log 提交任务 qsub gromacs.pbs 查看作业状态 qstat

48 NAMD使用介绍

49 NAMD介绍 NAMD是一个用于生物大分子大规模分子动力学的并行软件，支持Charmm、Gromacs和Amber等多种力场，由美国Illinois大学生物物理系和计算机系联合开发，旨在开发出高效的分子动力学并行程序，可支持MPI和Charm++ 并行。NAMD具有非常强的大规模并行计算能力，已经实现了在具有上千个处理器上的并行计算机上，对包含超过三十万个原子的的大分子系统进行模拟。 NAMD 注册后可免费下载使用，目前最新版本2.9。 注意：官网提供编译好的程序，有以太网、IB网、单节点、多节点、GPU版本可选择，每种版本的运行方式有所不同。这里介绍的是从源代码编译的MPI版。 官网： 程序特点： MPI版可多节点运行 对网络要求较高，需IB网

50 软件运行环境 编译器 FFTW tcl MPI环境 安装intel编译器路径：
/public/software/compiler/intel/composer_xe_2013_sp / FFTW 安装单精度版fftw3 安装路径： /public/software/mathlib/fftw/3.3.3/float/ tcl 安装tcl环境，从rpm包安装 rpm包：tcl-(版本号).rpm和tcl-devel-（版本号）.rpm MPI环境 安装intel编译器版OpenMPI 安装路径： /public/software/mpi/openmpi/1.6.5/intel/

51 设置运行环境 MPI环境 NAMD环境变量 其他环境变量（非常重要）
MPI_HOME=/public/software/mpi/openmpi/1.6.5/intel export PATH=${MPI_HOME}/bin:$PATH export LD_LIBRARY_PATH=${MPI_HOME}/lib:$LD_LIBRARY_PATH export MANPATH=${MPI_HOME}/share/man:$MANPATH NAMD环境变量 export PATH= /public/software/namd/2.9/openmpi/intel:$PATH 说明： namd,psfgen,charmrun等命令放在 /public/software/namd/2.9/openmpi/intel文件夹下 其他环境变量（非常重要） 用户的家目录.bashrc文件添加如下一行 export LD_LIBRARY_PATH=/public/software/mathlib/fftw/3.3.3/float/lib:$LD_LIBRARY_PATH

52 输入文件 算例 输入文件 使用NAMD官网提供的bench算例：apoa1 apoa1.pdb 存放原子的坐标。
apoa1.psf 存放原子在力场中的类型及成键信息 apoa1.namd 计算控制文件 par_all22_popc.xplor, par_all22_prot_lipid.xplor 力场参数文件 说明： 如果需要调节算例运行时间，可修改apoa1.namd文件里的参数numsteps，时间与numsteps基本成正比。 可修改outputtiming，指定输出结果的频率，可修改outputname参数，指定输出位置。

53 手动运行 命令： mpirun -np 24 -machinefile hosts –bind-to-core namd apoa1.namd 说明： -np:指定用24个核 -machinefile hosts：hosts文件指定在哪些节点运行 hosts文件的格式为： node1 np=12 node2 np=12

54 PBS运行 准备PBS脚本:namd.pbs 提交任务 查看作业 qsub namd.pbs #!/bin/bash
#PBS -N namd #PBS -q blade_s #默认队列 #PBS -l nodes=2:ppn=12 #PBS -l walltime=100:00:00 cd ${PBS_O_WORKDIR}; NP=`cat $PBS_NODEFILE | wc -l` mpirun -np $NP -machinefile $PBS_NODEFILE --bind-to-core /public/software/namd/2.9/openmpi/intel/namd2 apoa1.namd 提交任务 qsub namd.pbs 查看作业

55 BLAST使用介绍

56 BLAST介绍 生物信息学工具BLAST为一种“基本局域比对搜索工具”（Basic Local Alignment Search Tool），是一套在蛋白质数据库或DNA数据库中通过双序列比对与查询进行相似性比较的分析工具。最初由NCBI（美国国立生物技术信息中心）的Altschul SF等人开发并开放源代码，后来产生了由不同组织修改和维护的多个版本，目前使用较多的有NCBI-BLAST和WU-BLAST等。与其他同类算法和软件（如Smith-Waterman、FASTA、BLAT等）相比，BLAST具有快速、稳定、可靠、支持序列相似性匹配等优点，已成为目前生物信息学领域最基础、使用最广泛的软件。 官网： NCBI推荐使用新版BLAST+ 程序特点： 单机运行

57 软件运行环境 编译器 设置环境变量 数据库设置 使用系统自带的gcc编译器
BLAST_DIR=/public/software/ncbi-blast export PATH=$BLAST_DIR/bin:$PATH export LD_LIBRARY_PATH=$BLAST_DIR/lib:$LD_LIBRARY_PATH 说明： blast+安装路径： /public/software/ncbi-blast 数据库设置 在用户home下建立.ncbirc文件，内容为： [BLAST] BLASTDB=/public/blastdb /public/bastdb为格式化数据库所在位置

58 准备数据库 参考数据库 可在ftp://ftp.ncbi.nlm.nih.gov/blast/db/下载 格式化数据库 以month.nt为例，执行命令： makeblastdb -in month.nt -dbtype nucl -parse_seqids -hash_index -out sorted_month 说明： -in 原始数据库名，如fasta文件 -out 排序后的数据库名 -dbtype 数据库类型，nucl为核酸，prot为蛋白（默认） -logfile 日志文件，如果没有默认输出到屏幕 -parse_seqids,-hash-index 为blastdbcmd取子序列时使用 每个参考数据库只需要最初使用的时候格式化一次即可，以后使用可跳过这一步。 可以把参考数据库放在共享存储的一个公共文件夹下，所有用户都可以访问和使用 这里把格式化好的参考数据库放在/public/blastdb文件夹下

59 准备输入文件 比对序列文件 示例文件名： e.chrysanthemi.fa 内容： >ECH3937_v3_14491;
GTGATTGTGGGGCTTTCTCAAATTAATTGTGGGGCTTTTCCCGGTTGCAGGTTCAAAACGTGCCATTCGCAACCGGTGTT TTCGGCGCTCACCGCCCCGAAAACCAATAACTGA >ECH3937_v3_14492; GTGCCGGATTTATCGCCATGCGCCTTCAGCGGAGAATTTTTTGCATGGCACAGrCGTTCAGAAAATAGACTAATTCAGGA GTGTTATACTGATGATAAGAAAATGTTGATAGCACTAACAGGCAAAACCATAGGTATAAATTATCAATTTTTGCTATATC AATAG …………

60 手动运行 序列比对 blastn -query e.chrysanthemi.fa -out seq.blast -db sorted_month -outfmt 6 -evalue 1e-5 -num_descriptions 10 -num_threads 12 说明： -query： 输入文件路径及文件名 -out：输出文件路径及文件名 -db：格式化了的数据库路径及数据库名 -outfmt：输出文件格式，总共有12种格式，6是tabular格式对应BLAST的m8格式 -evalue：设置输出结果的e-value值 -num_descriptions：tabular格式输出结果的条数 -num_threads：线程数

61 PBS运行 准备PBS脚本:blast.pbs 提交任务 查看作业 qsub blast.pbs #!/bin/bash
#PBS -N blast #PBS -q blade_s1 #PBS -l nodes=1:ppn=12 #PBS -l walltime=100:00:00 cd ${PBS_O_WORKDIR}; NP=`cat $PBS_NODEFILE|wc -l` blastn -query e.chrysanthemi.fa -out seq.blast -db sorted_month -outfmt 6 -evalue 1e-5 -num_descriptions 10 -num_threads $NP 提交任务 qsub blast.pbs 查看作业 qstat

62 串/并行程序使用介绍

63 串行程序的运行 方法一： $ cd /home/your_account/your_workdir $ ./your_code 方法二：
$ vim .bashrc export PATH=/home/your_account/your_workdir:$PATH $ your_code

64 并行程序的编译运行（OpenMPI） OpenMPI 提供了C/C++，Fortran等语言的MPI编译器，如下表：
MPI编译器是对底层编译器的一层包装，通过-show参数可以查看实际 使用的编译器： 语言类型 MPI编译器 C mpicc C++ mpicxx Fortran77 mpif77 Fortran90 mpif90 $ mpicc -show icc -I/soft/mpi/openmpi/1.6.5/intel/include -pthread -L/software/mpi/openmpi/1.6.5/intel/lib -lmpi -ldl -lm -lnuma -Wl,--export-dynamic -lrt -lnsl -lutil

65 并行程序的编译运行（OpenMPI） 编译程序：
$ module load compiler/intel/composer_xe_2013_sp $ module load mpi/openmpi/1.6.5/intel $ mpicc -o hello hello.c $ mpif90 -o hello hello.f90 运行程序：OpenMPI 使用自带的 OpenRTE 进程管理器，启动命令为 mpirun/mpiexec/orterun，基本格式如下： $ mpirun -np N -hostfile <filename> <program> 其中 -np N：表示运行N个进程 hostfile：指定计算节点， 文件格式如： node1 slots=8 node2 slots=8

66 并行程序的编译运行（MPICH2） MPICH2 提供的C/C++，Fortran等语言的MPI编译器分别为：
mpicc, mpicxx, mpif77 和 mpif90 编译程序： $ module load compiler/intel/composer_xe_2013_sp $ module load mpi/mpich/3.0.4/intel $ mpicc -o hello hello.c $ mpif90 -o hello hello.f90 MPICH2 默认使用hydra进程管理器，使用mpiexec启动MPI进程 （无mpirun），命令格式如下： $ mpiexec -f hostfile -n 6 ./program hostfile文件格式如下： node1:8 node2:8

67 并行程序的编译运行（MVAPICH2） MVAPICH2 提供的C/C++，Fortran等语言的MPI编译器分别为：
mpicc, mpicxx, mpif77 和 mpif90 编译程序： $ module load compiler/intel/composer_xe_2013_sp $ module load mpi/mvapich2/1.9/intel $ mpicc -o hello hello.c $ mpif90 -o hello hello.f90 MVAPICH2 提供了两种进程管理器：mpirun_rsh/mpispawn方式和 mpiexec/Hydra方式。其中mpirun_rsh/mpispawn方式启动速度更 快，支持集群规模更大，但容易出现任务意外终止后计算节点存在僵 尸进程的情况发生。虽然官方推荐使用mpirun_rsh方式，但曙光HPC 推荐使用mpiexec/Hydra方式。

68 并行程序的编译运行（MVAPICH2） mpirun_rsh/mpispawn方式
-rsh或-ssh：指定使用rsh或ssh通信（默认ssh） -np：进程数，hostfile文件格式与MPICH2相同（-np和-hostfile是必备选项，不可缺少） ENV=value设置运行环境变量，如网络选择，进程绑定等 $ mpirun_rsh -rsh -np 4 -hostfile hosts [ENV=value] ./program mpiexec/Hydra方式 -launcher ssh/rsh：指定启动远程任务的方式，默认ssh -f hosts：格式同MPICH2相同，<node name>:<proc num> -n 4：指定进程数 -env ENV=value：设置运行环境变量 $ mpiexe.hydra -launcher ssh -f hosts -n 4 [-env ENV value]./program

69 并行程序的编译运行（Intel MPI） Intel MPI 提供了C/C++，Fortran等语言的MPI编译器，如下表：
通过-show参数可以查看实际使用的编译器： 语言类型 MPI编译器(gnu) MPI编译器(intel) C mpicc,mpigcc mpiicc C++ mpicxx,mpigxx mpiicpc Fortran77 mpif77 mpiifort Fortran90 mpif90,mpifc $ mpiicc -show icc -ldl -I/public/software/intel/impi/ /intel64/include -L/public/software/intel/impi/ /intel64/lib -Xlinker --enable-new-dtags -Xlinker -rpath -Xlinker /public/software/intel/impi/ /intel64/lib -Xlinker -rpath -Xlinker /opt/intel/mpi-rt/4.1 -lmpi -lmpigf -lmpigi -lrt -lpthread

70 并行程序的编译运行（Intel MPI） 编译程序： $ module load mpi/impi/4.2.039
$ mpiicc -o hello hello.c $ mpiifort -o hello hello.f90 运行程序：mpirun是简化的启动MPI进程方式，相当于执行 mpdboot+mpiexec+mpdallexit $ mpirun -r ssh -f mpd.hosts -machinefile mpd.hosts -np 16 -env I_MPI_DEVICE rdma ./program 选项执行顺序： (1) mpdboot options -r ssh -f mpd.hosts (-n在mpirun中不能用) (2) mpiexec global options -machinefile mpd.hosts (3) mpiexec local options -np 16 -env ...

71 MIC程序编译与运行（Offload模式）
编写程序 在需要使用MIC进行计算部分的代码上面加入编译执导语句，例如 #pragma offload target(mic) #pragma omp parallel for reduction 第一行指示编译器将接下来的代码段同时编译为CPU和MIC上的可执行代码； 第二行指示接下来的代码段使用OPENMP进行并行 编译程序 $ module load mpi/impi/ $ mpiicc -openmp -o cpi-mpi-offload cpi-mpi.c 运行程序 启动两个进程，每个进程可使用一块MIC卡进行计算 $ mpirun -np 2 ./cpi-mpi-offload

72 MIC程序编译与运行（native模式）
编译程序： $ module load mpi/impi/ $ mpiicc -mmic -o hello hello.c $ mpiifort -mmic -o hello hello.f90 运行程序： 1、将Intel MPI mic目录下的文件上传至mic卡上，或者nfs挂载该目录 2、scp ./program 3、登录至mic卡 ssh 4、加载环境变量 5、mpirun -np 240 /tmp/program

73 目录 “河大超算中心”整体概况 基础环境及应用软件信息 常用软件使用介绍 常见问题汇结

74 作业提交失败 提交作业资源限制： 提交作业直接退出无任何报错信息： 新建用户最大作业数10个，可使用最大处理器40个
如需要更多资源，请联系超算管理组申请 提交作业直接退出无任何报错信息： 超算开启了计费功能，会根据使用的核心*时长计费，新建用户的默认机时是1000核小时，如果pbs脚本的walltime设置过大，会造成可用机时不够，作业失败退出。例如用户pbs脚本，使用20核心， walltime设置100小时，超出可用机时。 如需要更多资源，请联系超算管理组申请

75