PC机群的搭建.ppt

《PC机群的搭建.ppt》由会员分享，可在线阅读，更多相关《PC机群的搭建.ppt（36页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、分布式系统开发计算机学院计算机科学与技术系计算机学院计算机科学与技术系主讲：陈主讲：陈 蕾蕾E-mail:1第四章第四章 PC机群的搭建机群的搭建 4.1 机群系统概述机群系统概述4.2 硬件的选择与安装硬件的选择与安装4.3 软件的选择与安装软件的选择与安装4.4 机群系统性能评测机群系统性能评测 2机群系统概述机群系统概述什么是机群？什么是机群？机群是一组独立的计算机（节点）的集合体，节点间机群是一组独立的计算机（节点）的集合体，节点间通过高性能的互连网络连接；各节点除了可以作为一通过高性能的互连网络连接；各节点除了可以作为一个单一的计算资源供交互式用户使用外，还可以协同个单一的计算资源供

2、交互式用户使用外，还可以协同工作并表现为一个单一的、集中的计算资源供并行计工作并表现为一个单一的、集中的计算资源供并行计算任务使用。算任务使用。一种造价低廉、易于构筑、并且具有较好可扩放性的一种造价低廉、易于构筑、并且具有较好可扩放性的并行机体系结构并行机体系结构 3发展迅速的原因发展迅速的原因作为机群节点的工作站系统的处理性能越来越强大，作为机群节点的工作站系统的处理性能越来越强大，更快的处理器和更高效的多更快的处理器和更高效的多CPU机器将大量进入市场；机器将大量进入市场；随着局域网上新的网络技术和新的通信协议的引入，随着局域网上新的网络技术和新的通信协议的引入，机群节点间的通信能获得更高

3、的带宽和较小的延迟；机群节点间的通信能获得更高的带宽和较小的延迟；机群系统比传统的并行计算机更易于融合到已有的网机群系统比传统的并行计算机更易于融合到已有的网络系统中去；络系统中去；机群上的开发工具更成熟，而传统的并行计算机上缺机群上的开发工具更成熟，而传统的并行计算机上缺乏一个统一的标准；乏一个统一的标准；机群价格便宜并且易于构建；机群价格便宜并且易于构建；机群的可扩放性良好，节点的性能也很容易通过增加机群的可扩放性良好，节点的性能也很容易通过增加内存或改善处理器性能获得提高。内存或改善处理器性能获得提高。4重要特征重要特征机群的各节点都是一个完整的系统，节点可以是工作机群的各节点都是一个完

4、整的系统，节点可以是工作站，也可以是站，也可以是PC机或机或SMP机器；机器；互连网络通常使用商品化网络，如以太网、互连网络通常使用商品化网络，如以太网、FDDI、光、光通道等，部分商用机群也采用专用网络互连；通道等，部分商用机群也采用专用网络互连；网络接口与节点的网络接口与节点的I/O总线松耦合相连；总线松耦合相连；各节点有一个本地磁盘；各节点有一个本地磁盘；各节点有自己的完整的操作系统。各节点有自己的完整的操作系统。5分类分类根据不同的标准，可有多种分类方式根据不同的标准，可有多种分类方式 针对机群系统的使用目的可将其分为三类：针对机群系统的使用目的可将其分为三类：1.高性能计算机群（高速

5、的商用互联网络高性能计算机群（高速的商用互联网络+大量的大量的PC机，节点同构）机，节点同构）2.负载均衡机群（具有一个中央监控节点，负责控负载均衡机群（具有一个中央监控节点，负责控制其余每个工作点的负载监控以及任务指派）制其余每个工作点的负载监控以及任务指派）3.高可用性机群（采用冗余机制来掩盖硬件以及软高可用性机群（采用冗余机制来掩盖硬件以及软件的易错性，可提供不间断的服务）件的易错性，可提供不间断的服务）6典型机群系统典型机群系统Berkeley NOWNASA Beowulf COTS（Commodity off the shelf）NEC LAMP SMPcluster7PC机群的搭

6、建机群的搭建1.机群系统概述机群系统概述 2.硬件的选择与安装硬件的选择与安装3.软件的选择与安装软件的选择与安装4.机群系统性能评测机群系统性能评测 8硬件的选择与安装硬件的选择与安装节点构建节点构建处理器、内存、总线、处理器、内存、总线、磁盘与磁盘与I/O系统构建系统构建 网络适配卡、交换机网络适配卡、交换机机群系统示例机群系统示例 64个节点个节点PC机群机群1个服务节点（兼作计算节点）和个服务节点（兼作计算节点）和63个计算个计算节点节点9机群系统示例机群系统示例 服务节点配置：CPU：Pentium 2.0G（512KB全速二级缓存）全速二级缓存）内存：内存：1G（2 512M）硬盘

7、：硬盘：80GB IDE主板：主板：ASUS P4T Socket 423 网卡：网卡：3com 905 TX（两个）（两个）显卡、显示器、键盘、鼠标、光驱、软驱：略显卡、显示器、键盘、鼠标、光驱、软驱：略计算节点配置：CPU：Pentium 1.5G（512KB全速二级缓存）全速二级缓存）内存：内存：512MB（2 256M）Rambus 硬盘：硬盘：40GB IDE主板：主板：ASUS P4T Socket 423 网卡网卡：3com 905 TX 10机群系统示例机群系统示例交换设备由交换设备由2个个3com 3c16980和和1个个3com 3c16985的交换机通过一个的交换机通过一

8、个matrix module堆叠而成，堆叠而成，并安装了一个千兆光纤模块，以备服务接点连接内部并安装了一个千兆光纤模块，以备服务接点连接内部机群的网卡升级为千兆网卡。机群的网卡升级为千兆网卡。11PC机群的搭建机群的搭建1.机群系统概述机群系统概述 2.硬件的选择与安装硬件的选择与安装3.软件的选择与安装软件的选择与安装4.机群系统性能评测机群系统性能评测 12软件的选择与安装软件的选择与安装OS的选择的选择SSI的构建的构建 编程环境的选择编程环境的选择13OS的选择的选择WindowsUNIXLinux机群系统示例机群系统示例Redhat 7.2版本（内核版本（内核2.4.10）14SSI

9、的构建的构建 单一系统映像单一系统映像SSI（Single System Image）单一系统：尽管系统中有多个处理器，用户仍然把整个：尽管系统中有多个处理器，用户仍然把整个机群视为一个单一的系统来使用机群视为一个单一的系统来使用单一控制：逻辑上，最终用户或系统用户使用的服务都：逻辑上，最终用户或系统用户使用的服务都来自只有唯一接口的同一个地方来自只有唯一接口的同一个地方对称性：用户可以从任一个节点上获得机群服务，也就：用户可以从任一个节点上获得机群服务，也就是说，对于所有节点和所有用户，除了那些对一般访问是说，对于所有节点和所有用户，除了那些对一般访问权限作保护的服务和功能外，所有机群服务和

10、功能都是权限作保护的服务和功能外，所有机群服务和功能都是对称的对称的位置透明：用户不用了解真正执行服务的物理设备的位：用户不用了解真正执行服务的物理设备的位置置 15SSI提供的三种服务提供的三种服务单一登录（单一登录（Single Sign On）用户可以从机群系统的任何一个节点登陆，而且在整个作用户可以从机群系统的任何一个节点登陆，而且在整个作业执行过程中只需登录一次，不必为将作业指派到机群中业执行过程中只需登录一次，不必为将作业指派到机群中的其他节点而重新登陆。的其他节点而重新登陆。单一文件管理（单一文件管理（Single File Hierarchy）在机群系统中，有一些对整个机群所有

11、节点来说都相同的在机群系统中，有一些对整个机群所有节点来说都相同的软件，对这些软件没有必要在每一个节点上重复安装。软件，对这些软件没有必要在每一个节点上重复安装。单一作业管理系统单一作业管理系统(Single Job Management System)用户可以透明地从任一节点提交一项作业，作业可以调度用户可以透明地从任一节点提交一项作业，作业可以调度为以批处理、交互或并行的模式运行。为以批处理、交互或并行的模式运行。16单一登录（单一登录（Single Sign On）两种实现方法两种实现方法网络信息系统网络信息系统NIS（Network Information System）Shell脚本

12、（脚本（Shell Script）17网络信息系统网络信息系统NIS配置示例配置示例服务器端：设置设置NIS域名：域名：在文件在文件/etc/sysconfig/network中添加如下一行中添加如下一行：NISDOMAIN=PCCluster（该机群所采用的域名）（该机群所采用的域名）初始化数据库：初始化数据库：运行运行/usr/lib/yp目录下的目录下的ypinit命令初始化系统信息数据库：命令初始化系统信息数据库：node0#/usr/lib/ypinit m启动守护进程：启动守护进程：在在/etc/rc.d/rc3.d目录下增加两个链接，以便系统在启动时自动目录下增加两个链接，以便系

13、统在启动时自动载入守护进程：载入守护进程：node0#cd/etc/rc.d/rc3.dnode0#ln s./init.d/ypserv S61ypserv node0#ln s./init.d/yppasswdd S61yppasswd 18网络信息系统网络信息系统NIS客户端：在客户节点上（在客户节点上（node1到到node63）运行）运行setup命令，命令，然后在出现的对话框中选择然后在出现的对话框中选择“Authentication Configuration”，选择，选择NIS，填入域名，填入域名PCCluster以以及服务器名及服务器名node0；并在文件；并在文件/etc/

14、passwd中加入以下中加入以下一行：一行：+：0：0：19Shell脚本脚本NIS：设置方便，但是采用客户服务器模式，在应：设置方便，但是采用客户服务器模式，在应用启动的时有可能产生瓶颈。用启动的时有可能产生瓶颈。为了提高性能，我们可以采用为了提高性能，我们可以采用Shell脚本的方式来完成脚本的方式来完成同样的工作。同样的工作。例如，对用户信息的管理，可以创建一个名为例如，对用户信息的管理，可以创建一个名为cluster_user的脚本，负责在其所在结点上创建新的的脚本，负责在其所在结点上创建新的用户，而后再将相关的配置文件（用户，而后再将相关的配置文件（/etc/passwd、/etc/

15、groups）复制到机群系统中所有其它节点，这里）复制到机群系统中所有其它节点，这里要注意的一点是用户的主目录应该建立在全局共享的要注意的一点是用户的主目录应该建立在全局共享的分区中（分区中（NFS共享）。对其它的一些信息，比如共享）。对其它的一些信息，比如/etc/hosts和和/etc/host.equiv等文件可同样处理。等文件可同样处理。20单一文件管理单一文件管理NFS是一种是一种Unix/Linux之间通过网络共享文件的标准之间通过网络共享文件的标准方式。使用方式。使用NFS，就能够透明的安装和访问网络上远，就能够透明的安装和访问网络上远程主机的文件系统，将其安装（程主机的文件系统

16、，将其安装（mount）在本地的文件）在本地的文件系统中，类似于系统中，类似于Windows下的映射驱动器。下的映射驱动器。示例机群：节点示例机群：节点node0是服务器，把目录是服务器，把目录/home和和/Cluster进行共享；节点进行共享；节点node1到到node63是客户端，是客户端，把服务器的把服务器的/home和和/Cluster安装到自己的文件系统当安装到自己的文件系统当中。中。21单一文件管理单一文件管理服务器端：(1)启动服务进程：启动服务进程：NFS服务器需要使用守护进程服务器需要使用守护进程nfsd和和mountd，通过在目录通过在目录/etc/rc.d/rc3.d之

17、下增加链接可以使系统在启动时自之下增加链接可以使系统在启动时自动载入这两个进程：动载入这两个进程：node0#cd/etc/rc.d/rc3.d node0#ln s./init.d/nfs S60nfs22单一文件管理单一文件管理(2)设置共享目录：首先，在根目录下建立目录设置共享目录：首先，在根目录下建立目录/home和和/Cluster。node0#mkdir homenode0#mkdir Cluster然后，在文件然后，在文件/etc/exports当中增加以下几行。当中增加以下几行。/home node1(rw)/Cluster node1(rw)/home node63(rw)/

18、Cluster node63(rw)这几行的意思是将服务器上的这几行的意思是将服务器上的/home和和/Cluster目录进行共享，设目录进行共享，设置节点置节点node1到到node63可以访问，可以访问，rw表示允许读和写（缺省为表示允许读和写（缺省为只读）。这里要注意的一点是所有用到的主机名必须在文件只读）。这里要注意的一点是所有用到的主机名必须在文件/etc/hosts中给出中给出ip地址，例如：地址，例如：192.168.0.11node123 单一文件管理单一文件管理客户端：在文件在文件/etc/fstab当中加入两行：当中加入两行：node0:/home/homenfsnode0

19、:/Cluster/Clusternfs当然，相应的要在文件当然，相应的要在文件/etc/hosts中给出主机中给出主机node0的的ip地址：地址：192.168.0.10node0这样就完成了这样就完成了NFS在机群系统中的设置，以后所有用户的主目录在机群系统中的设置，以后所有用户的主目录都可以设置在都可以设置在/home中，所有可以共享安装的软件可以放在中，所有可以共享安装的软件可以放在/Cluster中。中。24单一作业管理系统单一作业管理系统 用户可以透明地从任一节点提交一项作业，作业可以用户可以透明地从任一节点提交一项作业，作业可以调度为以批处理、交互或并行的模式运行调度为以批处理

20、、交互或并行的模式运行 典型的作业管理系统典型的作业管理系统 PBS（Portable Batch System）LSF（Load Sharing Facility）CondorJOSS PBS的安装的安装25软件的选择与安装软件的选择与安装OS的选择的选择SSI的构建的构建 编程环境的选择编程环境的选择26编程环境的选择编程环境的选择流行的编程软件流行的编程软件MPI、OpenMP、HPFMPICH的安装及配置的安装及配置示例机群中构建了单一映象系统。示例机群中构建了单一映象系统。64个节个节点（点（node0到到node63）中）中node0共享共享./Cluster目录给所有其它节点。这

21、样只需目录给所有其它节点。这样只需将将MPICH安装在这个共享目录中即可，即安装在这个共享目录中即可，即整个系统中只需安装一次。整个系统中只需安装一次。27MPICH的安装的安装MPICH是一个开放源码的软件，所以可以从网上免费是一个开放源码的软件，所以可以从网上免费获取它的源代码。用户可以直接从获取它的源代码。用户可以直接从MPICH的主页下载的主页下载最新的软件包最新的软件包mpich.tar.gz，然后将它置于，然后将它置于/Cluster目录下。目录下。使用如下命令解压缩源代码：使用如下命令解压缩源代码：node0#tar zxf mpich.tar.gz解压缩后会生成一个名字为解压缩

22、后会生成一个名字为mpich-1.2.4的目录。的目录。28MPICH的安装的安装进入该目录，并执行位于该目录下进入该目录，并执行位于该目录下configure脚本，为下一步编译脚本，为下一步编译源代码进行准备。该配置脚本可以接受很多的参数（源代码进行准备。该配置脚本可以接受很多的参数（Options），），通过运行命令如下：通过运行命令如下：node0#./configure help可以获取更详细的参数信息。这里只列举几个最常用的参数：可以获取更详细的参数信息。这里只列举几个最常用的参数：-prefix：指定：指定mpich的安装目录。的安装目录。-with-device：指明所使用的通信

23、系统类型。一般情况下我们：指明所使用的通信系统类型。一般情况下我们使用使用ch_p4，它表示通常的，它表示通常的TCP/IP通信系统。通信系统。-with-arch：指明所使用的操作系统的类型。：指明所使用的操作系统的类型。运行如下命令完成前期配置：运行如下命令完成前期配置：node0#./configure-prefix=/Cluster/MPICH-with-device=ch_p4-with-arch=LINUX29MPICH的安装的安装最后，先通过运行最后，先通过运行su命令转变到命令转变到root用户身份，再运用户身份，再运行如下命令完成行如下命令完成MPICH的编译和安装的编译和安

24、装:node0#makenode0#make install至此就完成了机群系统中至此就完成了机群系统中MPICH的安装。的安装。30MPICH的配置的配置第一步要进行第一步要进行rsh的配置，使系统中不同节点之间的的配置，使系统中不同节点之间的rsh操作不需操作不需要密码的输入。这首先需要在每个节点的要密码的输入。这首先需要在每个节点的/etc/hosts文件中写入文件中写入node0到到node63的的(主机名主机名,IP地址地址)对；然后在对；然后在/etc/host.equiv中写入所有的机群节点主机名，下面是中写入所有的机群节点主机名，下面是node0上的这两个文件内容：上的这两个文

25、件内容：node0#cat/etc/hosts192.168.0.10node0192.168.0.11node1192.168.0.12node2192.168.0.163node63node0#cat/etc/host.equivnode0node1node2node6331MPICH的配置的配置第二步要更改第二步要更改MPICH的节点列表文件，该文件位于的节点列表文件，该文件位于/Cluster/MPICH/share目录下。这里我们使用的目录下。这里我们使用的arch参数是参数是LINUX，相应的列表文件为，相应的列表文件为machines.LINIUX。在这个文件中要写明机群系统。在

26、这个文件中要写明机群系统中所有的节点的主机名。该文件以一定的方式指明了中所有的节点的主机名。该文件以一定的方式指明了实际执行实际执行MPI程序时进程是如何分配到各个节点上的。程序时进程是如何分配到各个节点上的。以下是示例机群中的以下是示例机群中的machines文件：文件：node0#cat/Cluster/MPICH/share/machines.LINUXnode0node1node2node6332MPICH的运行的运行MPICH中最常用的两个命令就是中最常用的两个命令就是mpicc和和mpirun。mpicc是一个是一个MPI编译器，它负责将源程序编译为可执行文件，编译器，它负责将源程

27、序编译为可执行文件，它最常用的参数是它最常用的参数是-o用来指明输出文件。用来指明输出文件。node0#cd/Cluster/MPICH/examplesnode0#./bin/mpicc cpi.c o cpinewmpirun则是用来执行一个编译好的则是用来执行一个编译好的MPI程序。下面是它最常用程序。下面是它最常用的一些参数：的一些参数：-np：用来指明所要生成的进程数。：用来指明所要生成的进程数。-machinefile：缺省时使用的：缺省时使用的machines文件是前面介绍过的位于文件是前面介绍过的位于share目录下的目录下的machines.LINUX；但通过这个参数可以指定

28、一个临时的；但通过这个参数可以指定一个临时的machines文件，从而使用不同的进程指派方式。文件，从而使用不同的进程指派方式。一个标准的一个标准的mpirun命令如下：命令如下：node0#./bin/mpirun np 10 cpinew machinefile./new_machine_file33MPICH的运行的运行node0#./mpirun np 10 cpiProcess 1 on node1Process 4 on node4Process 3 on node3Process 7 on node7Process 8 on node8Process 9 on node9Proc

29、ess 2 on node2Process 6 on node6Process 5 on node5Process 0 on node0pi is approximately 3.1416009869231249,Error is 0.0000083333333318wall clock time=0.01580634PC机群的搭建机群的搭建1.机群系统概述机群系统概述 2.硬件的选择与安装硬件的选择与安装3.软件的选择与安装软件的选择与安装4.机群系统性能评测机群系统性能评测 35机群系统性能评测机群系统性能评测基准测试程序（基准测试程序（Benchmark）LINPACK、LAPACK、BLAS、BLACS、Livermore Loops、Dhrystone、Whetstone、NAS、SPEC、Sim LinPACK：Top500的标准测试程序的标准测试程序 性能分析工具性能分析工具监视程序的执行、产生性能数据、甚至能够作初步的分析，监视程序的执行、产生性能数据、甚至能够作初步的分析，以帮助你更为容易的确定性能瓶颈的所在，从而找到改善的以帮助你更为容易的确定性能瓶颈的所在，从而找到改善的方案方案 DEEP、MPE和和Jumpshot、Pablo、Paradyn 36