技术支持部 张新凤(62536383-8384) zhangxf@dawning.com.cn 并行机群系统安装、使用和管理 技术支持部 张新凤(62536383-8384) zhangxf@dawning.com.cn.

Presentation on theme: "技术支持部 张新凤(62536383-8384) zhangxf@dawning.com.cn 并行机群系统安装、使用和管理 技术支持部 张新凤(62536383-8384) zhangxf@dawning.com.cn."— Presentation transcript:

1 技术支持部 张新凤(62536383-8384) zhangxf@dawning.com.cn
并行机群系统安装、使用和管理 技术支持部 张新凤( )

2 讲座主要内容提示 并行系统安装和常用命令 并行机群系统调试 编译环境 并行环境 曙光集群管理系统-Gridview 常用编译器 编译优化
如何编译 并行环境 曙光集群管理系统-Gridview 2004年4月

3 并行系统安装 系统安装启动：

4 并行系统安装 手工分区

5 并行系统安装 手工分区

6 并行系统安装 建boot分区

7 并行系统安装 建swap分区

8 并行系统安装 建根分区

9 并行系统安装 分区列表

10 并行系统安装 IP地址设置

11 并行系统安装 IP地址设置

12 并行系统安装 无防火墙

13 并行系统安装 包的安装

14 并行系统安装 包的安装，选择所有

15 并行系统安装 安装完后启动

16 并行系统安装 许可协议

17 并行系统安装 网络登录设置：正版网络升级使用

18 并行系统安装 注册服务说明

19 并行系统安装 添加用户

20 系统安装完毕

21 系统常用命令 chkconfig ：开启服务chkconfig –level 35 xfs on;chkconfig --list
Rcp:rsh 远程拷贝rcp nodex:/etc/hosts (本地)/etc/ rcp nodex:/etc/hosts nodey:/etc/ Scp:ssh 远程拷贝scp nodex:/etc/hosts (本地)/etc/ Useradd:添加用户 userdel 删除用户 useradd –u(用户ID) 1000 –g(组ID） 1000 –d(用户目录) /home/xx xx Groupadd:添加组 groupdel 删除组 Groupadd –g(组ID） 1000 yy Chmod:设置目录文件权限chmod a(ll)-rwx,u(ser)+rw,g(roup)+r file r(4) w(2) x(1) chmod –R(更改所有目录权限） 777 /public/test Chown：更改目录文件所属组 chown –R(用户目录内所有文件） 用户：组 用户

22 系统常用命令 dd :拷贝 dd if=/dev/sda(源盘） of=/dev/sdb（目标盘） bs=4096
Fsck文件修复 进入单用户，执行 fsck –y /dev/sdax(坏的分区） Rpm :安装*.rpm文件 rpm –ivh *.rpm Tar:安装*.tar/*.tar.gz文件 tar xvf(zxvf) *.tar(*.tar.gz) Top :查看系统CPU、内存使用率 Fdisk:分区工具 fdisk /dev/sdb Mkfs :做文件系统 mkfs –j(-t ext3) /dev/sdb1 Mount:加载介质 U盘 使用 fdisk –l 看U盘盘符假设为/dev/sdb1 mount –t vfat /dev/sdb1 /mnt/floppy 若U盘盘符显示很多分区，则执行mount /dev/sdb /mnt/floppy

23 系统硬件安装 RAID卡驱动安装： 在相应RAID卡驱动网站下载xx.img驱动文件
使用rawwritewin.exe软件将xx.img解压到软盘 系统使用光盘启动，出现boot时输入linux dd #boot linux dd 回车，按默认安装即可

24 系统硬件安装 网卡驱动安装 下载相应压缩包xx.tar.gz 压缩包解压：tar zxvf xx.tar.gz
进入压缩包src目录：cd xx/src 执行make;make install Make install完成后执行insmod xx.ko 编辑/etc/modprobe.conf 添加 alias eth0 xx alias eth1 xx

25 讲座主要内容提示 并行系统安装和常用命令 并行机群系统调试 编译环境 并行环境 曙光集群管理系统-Gridview 常用编译器 编译优化
如何编译 并行环境 曙光集群管理系统-Gridview 2004年4月

26 RSH的配置 配置启动文件 开启rlogin rsh rexec 服务 chkconfig –-level 35 rlogin on
chkconfig –-level 35 rsh on chkconfig –-level 35 rexec on

27 RSH的配置 #vi /etc/hosts 把第一行的主机名删掉并加入曙光服务器的所有节点IP地址和主机名 如：原文件为：
node1 localhost.localdomain localhost …………………………………………………………………… 修改后应为： localhost node1 node2 ………………………………………………… x nodex #vi /root/.rhosts 把机群中所有节点的主机名加入 如：node1 node2 …………… nodeX X：为节点的数量

28 RSH的配置 Cat /root/.rhosts >/etc/hosts.equiv 机群中每台机器需要三个相同的文件
/etc/hosts /etc/hosts.equiv /root/.rhosts 加入 rsh rlogin rexec 到/etc/securetty文件里面 /etc/init.d/xinted restart 执行rsh nodex(x为节点号）进行测试

29 SSH的配置 在系统中执行ssh nodeX，在当前用户目录生成.ssh/目录
执行ssh-keygen，一路默认回车，生成id_rsa.pub文件 cat id_rsa.pub >>authorized_keys 将机群中每个机器生成的id_rsa.pub中内容全部追加到authorized_keys文件中，然后保证每台都有同一个authorized_keys文件，即可互相ssh不用认证（密码）

30 NFS服务 NFS(network file system) NFS 配置： 服务端server配置
1.开启nfs 服务：chkconfig –level 35 nfs on /etc/init.d/nfs start 2.编辑/etc/exports 假设将/public共享给其它节点 /public *<不限制用户>(rw,no_root_squash〈信任客户端〉,async〈先写入内存〉) 3.执行exportfs -a 执行exportfs ，可以看到 /public <world> 客户端配置： 1.建/public目录 mkdir /public 2.添加mount server:/public /public 到/etc/rc.local 3.执行/etc/rc.local 4.df 命令看mount 情况

31 FTP FTP服务开启： #chkconfig --level 35 vsftpd on
#/etc/init.d/vsftpd restart 增加download用户 #useradd download #passwd download (输入用户密码） 设置用户权限为777（权限全部放开） #chmod 777 /home/download 客户端登陆： ftp server 用户名 download ,输入相应密码即可

32 讲座主要内容提示 并行系统安装和常用命令 并行机群系统调试 编译环境 并行环境 曙光集群管理系统-Gridview 常用编译器 编译优化
如何编译 并行环境 曙光集群管理系统-Gridview 2004年4月

33 GNU Compiler GNU Compiler 自由软件，一般操作系统都自带
支持C/C++、Fortran77、Java、COBAL等等许多语言 支持大部分硬件平台 高性能计算中常用的： C/C++：GCC (GNU C/C++ Compiler) Fortran 77：G77 不支持Fortran 90/ 95 不支持OpenMP 是最常用的编译器，性能一般(相对于一些针对特定平台优化的编译器) 由于缺少对Fortran 90/ 95，限制了其在高性能计算中的使用 2004年4月

34 PGI Compiler PGI Compiler 由Portland公司开发的编译器
支持AMD Opteron/Althon处理器、Intel Xeon处理器等，在Opteron上同时支持32-bit和64-bit() 支持Linux、Windows 支持C/C++（pgcc）、Fortran77(pgf77)、Fortran90/95（pgf90)、HPF（High Performance Fortran） 支持多线程和OpenMP 最新版本：10.1 需要购买，但可以从网上得到15天试用版本 2004年4月

35 Intel Compiler Intel Compiler 由Intel公司针对Intel处理器开发（Xeon、Pentium）
支持Linux、Windows 支持C/C++（icc：Intel C/C++ Compiler）、Fortran77/90/95（ifc： Intel Fortran Compiler) 支持多线程和OpenMP 需要购买，但可以从网上得到30天试用版本 2004年4月

36 编译优化 编译优化对于计算密集型程序的性能提高非常帮助 优化消耗CPU资源最多的那部分，即计算密集部分 一般采用-O2、-O3
可以采用SIMD指令集，eg: Intel和AMD处理器的MMX、SSE1、SSE2 具体编译优化的选项和编译器以及CPU相关，参见编译器手册 对于有些应用程序，过分的优化会导致计算结果错误 2004年4月

37 编译优化 在双路Intel Xeon平台上，采用SSE2优化和不采用SSE2优化，所获得的HPL性能。
2004年4月

38 编译简介 在Linux系统中，可执行文件没有统一的后缀，系统从文件的属性来区分可执行文件和不可执行文件
大部分编译器通过后缀来区别输入文件的类别，下面来介绍常用的一些后缀 .c：C语言源代码文件 .f：Fortran 77语言源代码文件 .o：编译后的目标文件 .a：由目标文件构成的档案库文件 .C、.cc、.cxx：C++源代码文件 .f90：Fortran 90语言源代码文件 .h：程序所包含的头文件 2004年4月

39 基本的用法 cc/f77/f90 [options] [filenames] 编译器名 编译参数 编译文件
编译器名 编译参数 编译文件 其中options就是编译器所需要的参数，filenames给出相关的文件名称 2004年4月

40 常用编译参数 -c：只编译，不连接成为可执行文件，编译器只是由输入的.c/.f等源代码文件生成.o为后缀的目标文件，通常用于编译不包含主程序的子程序文件。 -o output_filename：确定输出文件的名称为output_filename，同时这个名称不能和源文件同名。如果不给出这个选项，就给出预设的可执行文件a.out -g：产生符号调试工具所必要的符号资讯，要想对源代码进行调试，我们就必须加入这个选项。 -O：对程序进行优化编译、连接，采用这个选项，整个源代码会在编译、连接过程中进行优化处理，这样产生的可执行文件的执行效率可以提高，但是，编译、连接的速度就相应地要慢一些。 -O2、-O3、-O4：比-O更好的优化编译、连接，当然整个编译、连接过程会更慢。（具体和编译器相关） 2004年4月

41 常用编译参数 -Idirname：将dirname所指出的目录加入到程序头文件目录列表中，是在预编译过程中使用的参数。C程序中的头文件包含两种情况： A)#include <stdio.h> B)#include “myinc.h” 其中，A类使用尖括号(< >)，B类使用双引号(“ ”)。对于A类，预处理程序cpp在系统预设包含文件目录(如/usr/include)中搜寻相应的文件，而对于B类，cpp在当前目录中搜寻头文件，这个选项的作用是告诉cpp，如果在当前目录中没有找到需要的文件，就到指定的dirname目录中去寻找。在程序设计中，如果我们需要的这种包含文件分别分布在不同的目录中，就需要逐个使用-I选项给出搜索路径。 2004年4月

42 常用编译参数 -Ldirname：将dirname所指出的目录加入到程序函数档案库文件的目录列表中，是在连接过程中使用的参数。在预设状态下，连接程序ld在系统的预设路径中(如/usr/lib)寻找所需要的档案库文件，这个选项告诉连接程序，首先到-L指定的目录中去寻找，然后到系统预设路径中寻找，如果函数库存放在多个目录下，就需要依次使用这个选项，给出相应的存放目录。 -lname：在连接时，装载名字为“libname.a”的函数库，该函数库位于系统预设的目录或者由-L选项确定的目录下。例如，-lm表示连接名为“libm.a”的数学函数库。 上面我们简要介绍了编译器最常用的功能和主要参数选项，更为详尽的资料可以参看Linux系统的联机帮助。 2004年4月

43 GCC应用举例 1.gcc hello.c 生成a.out 2. gcc –o hello helo.c 生成hello
3. gcc –O –o hello hello.c 生成hello 4. gcc –O2 –o hello hello.c 生成hello 5. gcc –c hello.c 生成hello.o gcc –o hello hello.o 生成hello 6. gcc –c hello1.c 生成hello1.o gcc –c hello2.c 生成hello2.o gcc –o hello hello1.o hello2.o 生成hello 7. gcc –o test test1.o –lm –I/home/czn/include 2004年4月

44 讲座主要内容提示 并行系统安装和常用命令 并行机群系统调试 编译环境 并行环境 曙光集群管理系统-Gridview 常用编译器 编译优化
如何编译 并行环境 曙光集群管理系统-Gridview 2004年4月

45 MPI的安装 安装： #tar -xzvf mpich-1.2.6.tar.gz #cd mpich-1.2.6
#./configure --with-device=ch_p4 --prefix=/usr/local/mpich-1.2.6 #make #make install 环境变量设置 #vi /etc/profile 加入下面的行 export MPI_ROOT=/usr/local/mpich-1.2.6 export PATH=$MPI_ROOT/bin:$PATH export MANPATH=$MPI_ROOT/man:$MANPATH #source /etc/profile

46 MPI的使用 mpirun的基本格式为: mpirun [mpirun-options…] <progname> [options…] 　　其中 [mpirun-options…], 主要选项如下： 　　　　-np <np> 　　　　 要加载的进程个数,系统读machines.LINUX的内容 　　　　-p4pg <p4file>　　按照p4file文件中的要求加载用户进程 -machinefile 按照machinesfile文件中的节点名个数加载进程 p4file文件 该文件的格式为： 　　 第一行：<结点名> <0> <用户要加载的进程--允许使用绝对路径> 第二行：<结点名> <1> <用户要加载的进程--允许使用绝对路径> 　　　　　　　　　...... 第 n行：<结点名> <1> <用户要加载的进程--允许使用绝对路径> 　　 其中n为用户要加载进程的个数。结点名可以相同，也可以不同。且用户使用此选项后, -np选项无效。 machines.LINUX文件和machinefile文件内容： nodeX:Y . nodeZ:W X-Z:机群节点名（系统名字）比如节点1-20 Y、W节点名对应的CPU个数

47 MPI使用简例 最简单的运行一个MPI应用程序的例子是： #mpirun -np 4 a.out，
#mpirun –machinefile machinefile a.out #mpirun –p4pg ./p4file a.out 它将在并行机上加载４个用户执行程序 一般情况下最好用-p4pg选项，p4file文件包含有关进程在哪些节点上运行的信息。如你已登录到节点node1, 并用4个节点执行你的并行程序 a.out, 执行文件的全路径 /public/user1/example/a.out, 则p4file内容如下: node1 0 /public/user1/example/a.out node2 1 /public/user1/example/a.out node3 1 /public/user1/example/a.out node4 1 /public/user1/example/a.out 执行命令为: 　# mpirun -p4pg ./p4file a.out

48 MPI应用层优化 OMPI /public/openmpi-1.3-pgi/bin/mpirun -np 64
-mca btl openib,self,sm -mca btl_openib_max_btls 20 -mca btl_openib_rd_num 128 -mca btl_openib_rd_low 75 -mca btl_openib_rd_win 50 -mca btl_openib_max_eager_rdma 32 -mca mpool_base_use_mem_hooks 1 -mca mpi_leave_pinned 1 -machinefile ./ma ./vasp.pgi.7

49 MPI for PGI 下载mpich.tar.gz 解压 tar zxvf mpich.tar.gz 进入mpich目录执行：
#export CFLAGS="-fast" #export CXXFLAGS="-fast" #export FFLAGS="-fast" #export F90FLAGS="-fast“ #export LDFLAGS="-fast" #export OPTFLAGS="-fast" #export CC="pgcc" #export CXX="pgCC" #export F90="pgf90" #export FC="pgf77" #export CPP="pgCC -E“ #./configure --prefix=/usr/local/mpich-pgi #make #make install

50 MPI for PGI 设置环境变量 #vi /etc/profile 加入下面的行
export MPI_ROOT=/usr/local/mpich-pgi export PATH=$MPI_ROOT/bin:$PATH export MANPATH=$MPI_ROOT/man:$MANPATH #source /etc/profile

51 MPI for intel Compiler 将mpich解压后，进入mpich目录执行：
#./configure --with-device=ch_p4 --prefix=/usr/local/mpich-intel –cc=icc –fc=ifort –c++=icpc –f90=ifort #make #make install 设置环境变量相关 #vi profile 添加： export MPICH_ROOT=/usr/local/mpich-intel export $PATH=$MPICH_ROOT/bin:$PATH export $MANPATH=$MPICH_ROOT/man:$MANPATH 执行#source /etc/profile即可

52 讲座主要内容提示 并行系统安装和常用命令 并行机群系统调试 编译环境 并行环境 曙光集群管理系统-Gridview 常用编译器 编译优化
如何编译 并行环境 曙光集群管理系统-Gridview

53 曙光Gridview管理系统应用场景分析
领导专家 全局系统评价 决策支撑平台 曙光Gridview v2.0 服务器综合管理系统 研究人员 系统应用分析 系统设计优化 管理人员 系统统一管理 监控系统使用 维护人员 设备实时状态 系统维护配置 使用人员 高效易于使用 应用系统结合

54 曙光Gridview管理系统产品概述 产品名称：曙光Gridview大型机管理系统 产品描述：
可应用于单机、机群和机群之上，实现局域网内部及跨广域网环境对大型机进行集中部署、配置、监控、管理、告警、报表、作业调度的等功能; 系统可对各种监控资源进行告警管理与运行状态等实时监测，可方便通过本系统进行故障关联分析和处理，提供各种统计报表的功能，并进行机群之间、设备之间的比较分析，并支持应用模板作业调度和应用的整合扩展接口。

55 曙光Gridview管理系统产品关键问题
系统兼容及可扩展：整合广域网/局域网环境下机群资源 设备及指标可扩展：采用插件机制、扩展设备类型及指标 监控信息标准化：定义大型机接口规范，统一中心、分中心 监控数据可视化：多层次、多角度监控视图 告警信息管理分析：告警管理、告警关联分析 海量性能数据处理：大规模数据采样、统计、分析、管理 认证授权统一：统一资源描述、身份认证、授权控制 可定制化管理：用户自定义配置管理 应用信息整合：数据库、业务监控整合 系统高可靠性：7×24小时高可靠，远程灾难备份 中间件通信：系统异构性、兼容性、高效安全

56 Gridview v2.0服务器管理系统 部署恢复中心
集群操作系统网络快速部署与配置 基于点对点通信机制，大规模集群部署 对主机名、IP等自动配置 集群操作系统镜像管理 样板机镜像创建、导入、导出 样板机修改、配置、备份 集群操作系统快速恢复 基于配置或Mac地址一键快速恢复 集群操作系统软件包升级与配置 基于脚本或策略升级系统软件包、更新配置文件

57 Gridview v2.0服务器管理系统 部署恢复中心
基于镜像的部署方法 镜像服务器(Image Server) 从样板机取得其配置信息，文件系统镜像等，并对集群中其他所有节点的安装过程进行监控，为其提供镜像。 镜像样板机(Golden Client) 样板机作为集群中其他所有节点的模版，其硬件配置应尽可能与集群中的待安装节点相同，其操作系统由用户根据实际需要用一般的安装方法手动安装,并对样板机进行充分的配置包括设置网络、配置服务、应用软件等。 被部署节点(Install Node) 采用网络启动协议，自动加载引导内核，网络安装操作系统。

58 Gridview v2.0服务器管理系统 部署恢复中心
镜像部署管理中心 点对点快速部署配置 一键恢复

59 Gridview v2.0服务器管理系统 部署恢复中心
系统镜像制作 系统部署配置 部署服务管理 集群部署监控

60 Gridview v2.0服务器管理系统 综合管理门户
集群监控系统 对集群的服务器、网络、存储设备、水冷机柜等资源监控 其他设备（如UPS）插件扩展机制 集群管理系统 对操作系统并发管理 整合其他设备管理软件 多集群/广域网综合监控管理系统 在单集群基础之上，统一进行多套集群的监控 设备资产管理 基于IPMI带外硬件管理 对支持IPMI的设备提供IPMI管理功能（传感器、电源、事件等）

61 Gridview v2.0服务器管理系统 综合管理门户
物理机柜视图 实时性能窗口 状态信息窗口 详细信息面板

62 集群管理(一) 时间同步 IP管理 节点管理

63 集群管理(二) 用户/组管理 服务管理 进程管理

64 集群管理(三) 并行命令管理 开关机管理 文件管理

65 Gridview v2.0服务器管理系统 统一告警平台
基于策略的统一 报警平台 根据多种发送条件（类型、等级、关键字、设备等）定义告警发送策略 多种告警发送方式 声光、邮件、短信及其他方式 告警信息管理 告警信息工作流管理（告警确认、处理意见、手动管理） 告警归并分析 告警重复处理、基于告警原因归并分析 统一告警接收接口 提供统一的告警接口，整合业务系统

66 Gridview v2.0服务器管理系统 统一告警平台
业务人员管理 多种告警方式 发送策略定义 告警引擎 消息模板管理 告警关联管理 统一告警平台 邮件短信控制 声光显示条件

67 Gridview v2.0服务器管理系统 统一告警平台
实时告警管理 历史告警管理 告警关联管理 告警声光显示

68 Gridview v2.0服务器管理系统 统一告警平台
业务人员管理 发送策略管理 消息模板管理 操作日志管理

69 Gridview v2.0服务器管理系统 统计报表系统
性能统计报表 对各种监控的性能指标进行报表分析、关联指标报表 动态报表、定时报表 报表定义方式 设计报表模板 定义报表内容 若整合业务系统监控，用户记账 用户使用使用分析 用户使用记账报表 商业智能统计 趋势分析 决策支撑

70 Gridview v2.0服务器管理系统 统计报表系统
报表定义 自定义报表 报表生成 性能统计报表 报表呈现分析

71 总结 曙光Gridview大型机综合管理实现了对跨区域多机群的统一监控管理，提供了多角度、多视图的状态监控、告警管理、性能分析、系统管理等功能。 曙光Gridview大型机综合管理系统提供了业务资源统一整合机制，可逐步统一监控资源、应用资源、存储资源等。 与硬件系统、节能系统、虚拟化管理、业务系统等进一步结合发展，推出一体化高效能解决方案。

72 谢 谢！