Presentation is loading. Please wait.

Presentation is loading. Please wait.

辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日 Lab3:MPI Programming 辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日.

Similar presentations


Presentation on theme: "辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日 Lab3:MPI Programming 辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日."— Presentation transcript:

1 辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日
Lab3:MPI Programming 辅导老师:隋秀峰 2008年10月22日

2 内容 PC机群的搭建 机群系统概述 硬件的选择与安装 软件的选择与安装 机群系统性能评测

3 机群系统概述 什么是机群? 机群是一组独立的计算机(节点)的集合体,节点间通过高性能的互连网络连接;各节点除了可以作为一个单一的计算资源供交互式用户使用外,还可以协同工作并表现为一个单一的、集中的计算资源供并行计算任务使用。 一种造价低廉、易于构筑、并且具有较好可扩放性的并行机体系结构。

4 机群迅速发展的原因 作为机群节点的工作站系统的处理性能越来越强大,更快的处理器和更高效的多CPU机器将大量进入市场;
随着局域网上新的网络技术和新的通信协议的引入,机群节点间的通信能获得更高的带宽和较小的延迟; 机群系统比传统的并行计算机更易于融合到已有的网络系统中去; 机群上的开发工具更成熟,而传统的并行计算机上缺乏一个统一的标准; 机群价格便宜并且易于构建; 机群的可扩放性良好,节点的性能也很容易通过增加内存或改善处理器性能获得提高。

5 机群的重要特征 机群的各节点都是一个完整的系统,节点可以是工作站,也可以是PC机或SMP机器;
互连网络通常使用商品化网络,如以太网、FDDI、光通道等,部分商用机群也采用专用网络互连; 网络接口与节点的I/O总线松耦合相连; 各节点有一个本地磁盘; 各节点有自己的完整的操作系统。

6 机群的分类 根据不同的标准,可有多种分类方式 针对机群系统的使用目的可将其分为三类: 高性能计算机群 负载均衡机群 高可用性机群

7 Berkeley NOW Beowulf LAMP 典型机群系统 COTS(Commodity off the shelf)
SMP-cluster

8 硬件的选择与安装 节点构建 系统构建 机群系统示例 处理器、内存、总线、 磁盘与I/O 网络适配卡、交换机 天体物理中心64个节点PC机群
1个服务节点(兼作计算节点)和63个计算节点

9 集群系统示例 服务节点配置: 计算节点配置: CPU:Pentium Ⅳ 2.0G(512KB全速二级缓存)
内存:1G(2512M)Rambus 硬盘:80GB IDE 主板:ASUS P4T Socket 423 网卡:3com 905 –TX(两个) 显卡、显示器、键盘、鼠标、光驱、软驱:略 计算节点配置: CPU:Pentium Ⅳ 1.5G(512KB全速二级缓存) 内存:512MB(2256M) Rambus 硬盘:40GB IDE 网卡:3com 905 –TX

10 集群系统示例(续) 交换设备由2个3com 3c16980和1个3com 3c16985的交换机通过一个matrix module堆叠而成,并安装了一个千兆光纤模块,以备服务节点连接内部机群的网卡升级为千兆网卡

11 软件的选择与安装 OS的选择 SSI的构建 编程环境的选择

12 OS的选择 Windows UNIX Linux 机群系统示例 Redhat 7.2版本(内核2.4.10)

13 SSI的构建 单一系统映像SSI(Single System Image)
单一系统:尽管系统中有多个处理器,用户仍然把整个机群视为一个单一的系统来使用 单一控制:逻辑上,最终用户或系统用户使用的服务都来自只有唯一接口的同一个地方 对称性:用户可以从任一个节点上获得机群服务,也就是说,对于所有节点和所有用户,除了那些对一般访问权限作保护的服务和功能外,所有机群服务和功能都是对称的 位置透明:用户不用了解真正执行服务的物理设备的位置

14 SSI提供的三种服务 单一登录(Single Sign On) 单一文件管理(Single File Hierarchy)
单一作业管理系统(Single Job Management System)

15 两种方法 单一登录(Single Sign On) 网络信息系统NIS(Network Information System)
Shell脚本(Shell Script)

16 网络信息系统NIS 服务器端: ①设置NIS域名: 在文件/etc/sysconfig/network中添加如下一行:
NISDOMAIN=PCCluster ②初始化数据库: 运行/usr/lib/yp目录下的ypinit命令初始化系统信息数据库: [node0]# /usr/lib/ypinit –m ③启动守护进程: 在/etc/rc.d/rc3.d目录下增加两个链接,以便系统在启动时自动载入守护进程: [node0]# cd /etc/rc.d/rc3.d [node0]# ln –s ../init.d/ypserv S61ypserv [node0]# ln –s ../init.d/yppasswdd S61yppasswd

17 网络信息系统NIS(续) 客户端: 在客户节点上(node1到node63)运行setup命令,然后在出现的对话框中选择“Authentication Configuration”,选择NIS,填入域名PCCluster以及服务器名node0;并在文件/etc/passwd中加入以下一行: +::0 :0 :::

18 Shell脚本 NIS:设置方便,但是采用客户/服务器模式,在应用启动的时有可能产生瓶颈。
例如,对用户信息的管理,可以创建一个名为cluster_user的脚本,负责在其所在结点上创建新的用户,而后再将相关的配置文件(/etc/passwd、/etc/groups)复制到机群系统中所有其它节点,这里要注意的一点是用户的主目录应该建立在全局共享的分区中(NFS共享)。对其它的一些信息,比如/etc/hosts和/etc/host.equiv等文件可同样处理。

19 单一文件管理 NFS是一种Unix/Linux之间通过网络共享文件的标准方式。使用NFS,就能够透明的安装和访问网络上远程主机的文件系统,将其安装(mount)在本地的文件系统中,类似于Windows下的映射驱动器。 示例机群:节点node0是服务器,把目录/home和/Cluster进行共享;节点node1到node63是客户端,把服务器的/home和/Cluster安装到自己的文件系统当中。

20 单一文件管理(续) 服务器端: (1)启动服务进程:NFS服务器需要使用守护进程nfsd和mountd,通过在目录/etc/rc.d/rc3.d之下增加链接可以使系统在启动时自动载入这两个进程: [node0]# cd /etc/rc.d/rc3.d [node0]# ln –s ../init.d/nfs S60nfs

21 单一文件管理(续) (2) 设置共享目录:首先,在根目录下建立目录/home和/Cluster。
[node0]# mkdir home [node0]# mkdir Cluster 然后,在文件/etc/exports当中增加以下几行。 /home node1 (rw) /Cluster node1 (rw) …… /home node63 (rw) /Cluster node63 (rw) 这几行的意思是将服务器上的/home和/Cluster目录进行共享,设置节点node1到node63可以访问,rw表示允许读和写(缺省为只读)。这里要注意的一点是所有用到的主机名必须在文件/etc/hosts中给出ip地址,例如: node1

22 单一文件管理(续) 客户端: 在文件/etc/fstab当中加入两行:
node0:/home /home nfs node0:/Cluster /Cluster nfs 当然,相应的要在文件/etc/hosts中给出主机node0的ip地址: node0 这样就完成了NFS在机群系统中的设置,以后所有用户的主目录都可以设置在/home中,所有可以共享安装的软件可以放在/Cluster中。

23 单一作业管理系统 用户可以透明地从任一节点提交一项作业,作业可以调度为以批处理、交互或并行的模式运行 用户服务器、任务调度器、资源管理器
典型的作业管理系统 PBS(Portable Batch System) LSF(Load Sharing Facility) Condor JOSS

24 编程环境的选择 流行的编程软件 MPICH的安装及配置 MPI、OpenMP、HPF
示例机群中构建了单一映象系统。64个节点(node0到node63)中node0共享/Cluster目录给所有其它节点。这样只需将MPICH安装在这个共享目录中即可,即整个系统中只需安装一次。

25 MPICH的安装 ①MPICH是一个开放源码的软件,所以可以从网上免费获取它的源代码。用户可以直接从MPICH的主页下载最新的软件包mpich.tar.gz,然后将它置于/Cluster目录下。 ②使用如下命令解压缩源代码: [node0]# tar –zxf mpich.tar.gz 解压缩后会生成一个名字为mpich-1.2.4的目录(目前版本为2.0+)。

26 MPICH的安装(续) ③进入该目录,并执行位于该目录下configure脚本,为下一步编译源代码进行准备。该配置脚本可以接受很多的参数(Options),通过运行命令如下: [node0]# ./configure –help 可以获取更详细的参数信息。这里只列举几个最常用的参数: -prefix:指定mpich的安装目录。 --with-device:指明所使用的通信系统类型。一般情况下我们使用ch_p4,它表示通常的TCP/IP通信系统。 --with-arch:指明所使用的操作系统的类型。 运行如下命令完成前期配置: [node0]# ./configure --prefix=/Cluster/MPICH \ --with-device=ch_p4 \ --with-arch=LINUX

27 MPICH的安装(续) ④最后,先通过运行su命令转变到root用户身份,再运行如下命令完成MPICH的编译和安装:
[node0]# make [node0]# make install 至此就完成了机群系统中MPICH的安装。

28 MPICH的配置 ①第一步要进行rsh的配置,使系统中不同节点之间的rsh操作不需要密码的输入。这首先需要在每个节点的/etc/hosts文件中写入node0到node63的(主机名,IP地址)对;然后在/etc/host.equiv中写入所有的机群节点主机名,下面是node0上的这两个文件内容: [node0]# cat /etc/hosts node0 node1 node2 …… node63 [node0]# cat /etc/host.equiv node0 node1 node2 node63

29 MPICH的配置(续) ②第二步要更改MPICH的节点列表文件,该文件位于/Cluster/MPICH/share目录下。这里我们使用的arch参数是LINUX,相应的列表文件为machines.LINIUX。在这个文件中要写明机群系统中所有的节点的主机名。该文件以一定的方式指明了实际执行MPI程序时进程是如何分配到各个节点上的。 以下是示例机群中的machines文件: [node0]# cat /Cluster/MPICH/share/machines.LINUX node0 node1 node2 …… node63

30 MPICH的运行 MPICH中最常用的两个命令就是mpicc和mpirun。
mpicc是一个MPI编译器,它负责将源程序编译为可执行文件,它最常用的参数是-o用来指明输出文件。 [node0]# cd /Cluster/MPICH/examples [node0]# ../bin/mpicc cpi.c –o cpinew mpirun则是用来执行一个编译好的MPI程序。下面是它最常用的一些参数: -np <np>:用来指明所要生成的进程数。 -machinefile <machinefile name>:缺省时使用的machines文件是前面介绍过的位于share目录下的machines.LINUX;但通过这个参数可以指定一个临时的machines文件,从而使用不同的进程指派方式。 一个标准的mpirun命令如下: [node0]# ../bin/mpirun –np 10 cpinew – machinefile ./new_machine_file

31 MPICH的运行(续) [node0]# ./mpirun –np 10 cpi Process 1 on node1
pi is approximately , Error is wall clock time =

32 机群系统性能评测 基准测试程序(Benchmark) 性能分析工具
LINPACK、LAPACK、BLAS、BLACS、Livermore Loops、Dhrystone、Whetstone、NAS、SPEC、Sim LinPACK:Top500的标准测试程序 性能分析工具 监视程序的执行、产生性能数据、甚至能够作初步的分析,以帮助你更为容易的确定性能瓶颈的所在,从而找到改善的方案 DEEP 、MPE和Jumpshot 、Pablo、Paradyn

33 实验平台 曙光4000A超级计算机 IP:210.45.114.190 用户名:guest 密码:guest
路径:multicore/SA* 登陆工具:ssh、putty 编程环境:MPICH2

34 谢谢!


Download ppt "辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日 Lab3:MPI Programming 辅导老师:隋秀峰 邮箱:sxf@mail.ustc.edu.cn 2008年10月22日."

Similar presentations


Ads by Google