2022年IBMGPFS并行文件系统安装与配置 .pdf

《2022年IBMGPFS并行文件系统安装与配置 .pdf》由会员分享，可在线阅读，更多相关《2022年IBMGPFS并行文件系统安装与配置 .pdf（8页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、IBM GPFS 文件系统安装与配置目录1概述 . .41.1IBM GPFS功能介绍 . 41.2GPFS体系架构介绍. 21.3 GPFS 的优势 . 52GPFS安装配置步骤.62.1GPFS安装准备 . 62.2GPFS的安装软件 . 62.3配置 GPFS 集群 . 6名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 8 页 - - - - - - - - - 概述IBM GPFS功能介绍GPFS (General Parallel File System) 是

2、IBM 公司第一个共享文件系统，起源于IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心，GPFS 是一个并行的磁盘文件系统， 它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。它提供了许多标准的UNIX 文件系统接口， 允许应用不需修改或者重新编辑就可以在其上运行。GPFS 也支持UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于GPFS 的文件系统，唯一不同的在于管理GPFS 文件系统的命令。GPF

3、S 提供的文件系统操作服务可以支持并行应用和串行应用， 它允许任何节点 （这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。GPFS 体系架构介绍GPFS 文件系统基本上由三层架构组成：磁盘 ，网络共享磁盘（NSD） ， GPFS 文件设备 ，如下图所示。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 8 页 - - - - - - - - - 磁盘GPFS 文件系统最底层的是物理磁盘设备。原则上可以采用系统上任何块设备，包括磁盘，磁盘分区， 逻辑卷

4、。从物理连接上来看， GPFS 支持使用所有方式连接的磁盘。包括本地IDE 磁盘，本地SCSI 磁盘，光纤SAN 磁盘， iSCSI 磁盘，等等。网络共享磁盘（NSD: network share disk ）NSD 是由磁盘映射出来的虚拟设备，NSD 与磁盘是一一对应的关系。NSD 被标记了不同属性来区分其用途，我们可以将磁盘标记为4 种用途：Desc Only：只存储GPFS 文件 系统描述信息 的磁盘。Data Only：只存储文件系统中的数据信息 。Meta data only: 只存储文件系统中的目录结构inode 信息。Meta and data: 存储所有信息 （默认）。GPFS

5、 文件设备GPFS 设备是一个可被系统挂载的文件设备，由 NSD 创建而成， 可以并行的同时挂载在多个节点上。GPFS 的优势高性能GPFS 允许在同一节点内的多进程或者应用使用标准文件系统调用，同时访问（并发，读写）同一个文件。 通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。跨平台设计GPFS 支持在一个集群内加入异构的平台。支持异构的硬件环境：System p, System x 。支持异构的操作系统：AIX, Linux 。数据一致性名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - -

6、- - - - - - 名师精心整理 - - - - - - - 第 3 页，共 8 页 - - - - - - - - - GPFS 通过一套复杂的信令管理机制提供数据一致性。通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使节点无法正常工作，GPFS 也可以找到其它的路径。数据安全性GPFS 是一种日志文件系统，为不同节点建立各自独立的日志。日志中记录metadata 的分布，一旦节点发生故障后，可以保证快速恢复数据。GPFS 的 fail-over 功能通过规划，将数据分布到不同failure group 内达到高可用性，减少单点故障的影响。为了保证数据可用性，GPFS 在多

7、个failure group 内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS 也会自动在不同的failure group 内复制恢复日志。系统可扩展性通过GPFS ，系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。可以在不重新启动GPFS 服务情况下添加新节点。管理简单GPFS 自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对 GPFS 的管理可以在任一个节点上进行。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - -

8、 - - 名师精心整理 - - - - - - - 第 4 页，共 8 页 - - - - - - - - - GPFS 安装配置步骤GPFS 安装准备安装 GPFS 之前必须配置：- 存储到 IBM P 系列主机- 并且安装多路径软件包中存储的高可用- 建立主机的信任关系（使用.rhost) GPFS 软件的安装A. GPFS 软件放在目录： /installp B. 对软件解包：例如tar -xvf gpfs.tar C. 通过 SMIT安装命令进行安装#smittyinstallp进入软件安装菜单D. 成功的安装完 GPFS 之后，运行命令#lslpp -l |grepgpfs* 列出如

9、下所示输出：gpfs.base3.2.1.6 COMMITTED GPFS File Manager gpfs.gui3.2.1.0 COMMITTED GPFS GUI gpfs.msg.en_US3.2.1.5 COMMITTED GPFS Server Messages - U.S. gpfs.base3.2.1.6 COMMITTED GPFS File Manager gpfs.docs.data3.2.1.1 COMMITTED GPFS Server Manpages and E. ：/usr/lpp/mmfs/bin 配置 GPFS 集群A.配置节点文件 vi /tmp/gpf

10、s/node_filebfts1:quorum 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 8 页 - - - - - - - - - bfts2:quorumB.建立 GPFS 集群 #mmcrcluster -C itas -N /tmp/gpfs/node_file -p bfts1 -s bfts2 C.确认查看 GPFS集群mmlscluster GPFS cluster information = GPFS cluster name: itas.bfts1

11、 GPFS cluster id: 1588854454401030631 GPFS UID domain: itas.bfts1 Remote shell command: /usr/bin/rsh Remote file copy command: /usr/bin/rcp GPFS cluster configuration servers: - Primary server: bfts1 Secondary server: bfts2 Node Daemon node name IP address Admin node name Designation - 1 bfts1 22.12

12、.190.181 bfts1 quorum 2 bfts2 22.12.190.183 bfts2 quorum D.配置 GPFS 的共享盘建立 NSD （Network Shared Disk）文件:vi /tmp/gpfs/disk_file hdisk9:bfts1:bfts2:dataAndMetadata:itasgpfs1 hdisk15:bfts1:bfts2:dataAndMetadata:itasgpfs2 hdisk15:bfts1:bfts2:dataAndMetadata:itasgpfs3 生成 NSD 盘mmcrnsd -F /tmp/gpfs/disk_file

13、 mcrnsd: Processing disk hdisk9 mcrnsd: Processing disk hdisk15 mcrnsd: Processing disk hdisk16 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 8 页 - - - - - - - - - mcrnsd: 6027-1371 Propagating the cluster configuration data to all affected nodes. This is an a

14、synchronous process. 此时，该文件作了转换 cat disk_file # hdisk9:bfts1:bfts2:dataAndMetadata:itasgpfs1 itasgpfs1:dataAndMetadata:4001: # hdisk15:bfts1:bfts2:dataAndMetadata:itasgpfs2 itasgpfs2:dataAndMetadata:4001: # hdisk16:bfts1:bfts2:dataAndMetadata:itasgpfs3 itasgpfs3:dataAndMetadata:4001: 确认结果lspv |grepg

15、pfs hdisk9 00cf13de83171772 itasgpfs1 hdisk15 none itasgpfs2 hdisk16 00cf095e7289c3f8 itasgpfs3 启动 GPFS 系统mmstartup -a Thu Jun 16 15:52:12 BEIST 2009: 6027-1642 mmstartup: Starting GPFS . bfts1: 6027-2114 The GPFS subsystem is already active. bfts2: 6027-2114 The GPFS subsystem is already active. 确认

16、状态mmgetstate -a Node number Node name GPFS state - 1 bfts1 active 2 bfts2 active E.配置 GPFS 的共享文件系统建立 GPFS 文件系统mmcrfs /itasgpfs_itas -F /tmp/gpfs/disk_file -A yes -B 1M -v no PFS: 6027-531 The following disks of sharelv will be formatted on node bfts1: GPFS: 6027-540 Formatting file system . Creating

17、 Inode File Creating Allocation Maps Clearing Inode Allocation Map Clearing Block Allocation Map GPFS: 6027-572 Completed creation of file system /dev/gpfs_itas mmcrfs: 6027-1371 Propagating the cluster configuration data to all 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - -

18、 - - - 第 7 页，共 8 页 - - - - - - - - - affected nodes. This is an asynchronous process. 参数含义如下：/itas 文件系统 mount 点名gpfs_itas 指定文件系统 lv 名-F 指定 NSD 的文件名-A 自动 mount 选项为 yes -B 块大小为 1024K -v 校验建立磁盘是否已有文件系统为否F.配置 GPFS 的属性在节点开机后自动启动 GPFS mmchconfigautoload=yes mmchconfig: Command successfully completed mmchc

19、onfig: 6027-1371 Propagating the cluster configuration data to all affected nodes. This is an asynchronous process. 采用多个 Tiebreaker quorum 盘mmchconfigTiebreakerdisk=itasgpfs1;itasgpfs2;itasgpfs3 更改 pagepool 大小mmchconfigpagepool=512m 显示 GPFS 属性mmlsconfig Configuration data for cluster itas.bfts1: - c

20、lusterName itas.bfts1 clusterId 1588854454401030631 clusterTypelc autoload yes minReleaseLevel3.2.1.5 dmapiFileHandleSize 32 pagepool512m tiebreakerDisks itasgpfs1;itasgpfs2;itasgpfs3 File systems in cluster itas.bfts1: - /dev/gpfs_itas 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 8 页 - - - - - - - - -