GlusterFS培训 系统实战 中科院高能物理研究所计算中心 李海波 2015-8-17

（一）软件安装 Haibo Li/CC/IHEP 2019/2/5 - 2

安装环境 系统软件 安装方式 操作系统：SL 6.5 x86-64 GlusterFS：3.5.2 辅助工具：atop，iperf，sysstat 安装方式 源码编译：研发，最新版本 RPM包安装：运维，稳定版本 Haibo Li/CC/IHEP 2019/2/5 - 3

软件下载 官方下载地址 http://download.gluster.org/pub/gluster/glusterfs 源码包 3.5/3.5.2/CentOS/epel-6.4/x86_64 RPM安装包 glusterfs-3.5.2-1.el6.x86_64.rpm glusterfs-api-3.5.2-1.el6.x86_64.rpm glusterfs-cli-3.5.2-1.el6.x86_64.rpm glusterfs-fuse-3.5.2-1.el6.x86_64.rpm glusterfs-libs-3.5.2-1.el6.x86_64.rpm glusterfs-server-3.5.2-1.el6.x86_64.rpm Haibo Li/CC/IHEP 2019/2/5 - 4

依赖包安装 依赖包 YUM安装 Rpcbind Libaio Lvm2-devel yum install rpcbind libaio lvm2-devel Haibo Li/CC/IHEP 2019/2/5 - 5

软件安装 源码安装 RPM包安装 安装验证 服务器和客户端同时安装 Glusterfs-3.5.2.tar.gz 安装服务器端软件包 glusterfs-3.5.2-1.el6.x86_64.rpm glusterfs-api-3.5.2-1.el6.x86_64.rpm glusterfs-cli-3.5.2-1.el6.x86_64.rpm glusterfs-fuse-3.5.2-1.el6.x86_64.rpm glusterfs-libs-3.5.2-1.el6.x86_64.rpm glusterfs-server-3.5.2-1.el6.x86_64.rpm 安装客户端软件包 安装验证 Haibo Li/CC/IHEP 2019/2/5 - 6

软件安装 Gluster包安装 Test-tool 安装 Cd /root/gluster Rpm –ivh *.rpm Cd /root/test-tools Rpm –ivh atop-1.27-2.el6.x86_64.rpm Rpm –ivh iozone-3.394-1.el6.rf.x86_64.rpm Rpm –ivh fio-2.1.7-1.el6.rf.x86_64.rpm Rpm –ivh iperf-2.0.5-11.el6.x86_64.rpm Haibo Li/CC/IHEP 2019/2/5 - 7

源码包安装 umount /mnt service glusterd stop rpm –qa|grep gluster|xargs rpm –e tar zxvf glusterfs-3.5.2.tar.gz Configure Make&makeinstall Haibo Li/CC/IHEP 2019/2/5 - 8

（二）Gluster集群规划和配置 Haibo Li/CC/IHEP 2019/2/5 - 9

实验环境 Haibo Li/CC/IHEP 2019/2/5 - 10

配置规划 节点 机器名 管理IP 磁盘 GlusterFS 节点1 server1 192.168.83.13 / server2 192.168.83.14 客户端 Client1 192.168.83.15 Haibo Li/CC/IHEP 2019/2/5 - 11

系统配置 登录机器 主机名设置 NTP设置 关闭防火墙 设置Selinux 每人有三台机器，首先登录vpn，然后ssh连接到机器上 依次登录三台机器，编辑/etc/hosts -> server1,server2,client1 NTP设置 /etc/ntp.conf 关闭防火墙 Service iptables stop; chkconfig iptables off 设置Selinux /etc/selinux/config SELINUX=disabled Haibo Li/CC/IHEP 2019/2/5 - 12

磁盘配置 磁盘分区 分区格式化 EXT4格式化工具目前最大支持16TB 使用parted进行磁盘分区 Mkfs.ext4 –L /brick1 /dev/sdb Haibo Li/CC/IHEP 2019/2/5 - 13

服务配置 分区自动挂载 Gluster服务自启动 /etc/fstab LABEL=/brick1 /dev/sdb ext4 defaults 1 1 Gluster服务自启动 Service glusterd start Chkconfig glusterd on Haibo Li/CC/IHEP 2019/2/5 - 14

组件扩展 Gluster peer probe组件集群 指令：gluster peer probe SERVER SERVER表示存储服务器的hostname Gluster peer probe server2 查看状态：Gluster peer status 注意：在构建GlusterFS集群时，需要在其中任意一台存储服务器上依次将其他存储服务器添加到集群中。 Haibo Li/CC/IHEP 2019/2/5 - 15

（三）Gluster卷创建 Haibo Li/CC/IHEP 2019/2/5 - 16

创建卷 确定创建卷的类型 确定创建卷的brick列表 确定创建卷的网络类型（TCP/RDMA） 指令：gluster volume create test-volume replica 2 transport  tcp server1:/exp1 server2:/exp2 server3:/exp3 test-volume:创建的逻辑卷的名字 replica 2： 冗余数 server1: 服务器名 exp1： brick的路径 Gluster volume create test-vol server1:/data/test_b1 server2:/test_b2 force Haibo Li/CC/IHEP 2019/2/5 - 17

启动卷 查看卷状态 启动卷 查看状态 查看进程 Gluster volume info Gluster volume status Gluster volume start testvol 查看状态 查看进程 Ps –ef|grep gluster Glusterd:管理进程 Glusterfsd：brick进程 Glusterfs：NFS进程 Haibo Li/CC/IHEP 2019/2/5 - 18

创建dht卷 Gluster volume create dht1 server1:/data/dht_b1 server2:/data/dht_b1 Gluster volume info dht1 Gluster volume start dht1 Gluster volume status dht1 Haibo Li/CC/IHEP 2019/2/5 - 19

创建afr卷 Gluster volume create afr1 repilca 2 server1:/data/afr1_b1 server2:/data/afr1_b2 Gluster volume info afr1 Gluster volume start afr1 Gluster volume status afr1 Haibo Li/CC/IHEP 2019/2/5 - 20

创建strip卷 Gluster volume create stp1 stripe 2 server1:/data/stp1_b1 server2:/data/stp1_b2 Gluster volume info stp1 Gluster volume start stp1 Gluster volume status stp1 Haibo Li/CC/IHEP 2019/2/5 - 21

创建复合卷：哈希+复制 Gluster volume create dht_afr_1 repilca 2 server1:/data/dht_afr_1_b1 server2:/data/dht_afr_1_b2 server1:/data/dht_afr_1_b3 server2:/data/dht_afr_1_b4 前两个一对，后两个一对组成复制关系 Gluster volume info dht_afr_1 Gluster volume start dht_afr_1 Gluster volume status dht_afr_1 Haibo Li/CC/IHEP 2019/2/5 - 22

（三）Gluster卷挂载和访问 Haibo Li/CC/IHEP 2019/2/5 - 23

挂载卷 Mount卷 查看mount信息 Mount –t glusterfs 192.168.83.13:/testvol /mnt/ Df -h Haibo Li/CC/IHEP 2019/2/5 - 24

分别挂载 mkdir /mnt/dht1 /mnt/afr1 /mnt/stp1 /mnt/dht_afr_1 Mount –t glusterfs 192.168.83.13:/dht1 /mnt/dht1 Mount –t glusterfs 192.168.83.13:/afr1 /mnt/afr1 Mount –t glusterfs 192.168.83.13:/stp1 /mnt/stp1 Mount –t glusterfs 192.168.83.13:/dht_afr_1 /mnt/dht_afr_1 Ps –ef|grep glusterfs Haibo Li/CC/IHEP 2019/2/5 - 25

访问卷 进入挂载点 基本访问 Cd /mnt 创建目录 mkdir dir1 创建文件 touch file1 编辑内容 vi file1 Cat内容 cat file1 删除文件 rm file1 删除目录rmdir dir1 Haibo Li/CC/IHEP 2019/2/5 - 26

(四)GlusterFS集群管理 Haibo Li/CC/IHEP 2019/2/5 - 27

GlusterFS命令 Gluster peer probe HOSTNAME Gluster volume info Gluster volume create volname [strip COUNT] [replica COUNT] [transport tcp|rdma] BRICK … Gluster volume delete VOLNAME Gluster volume add-brick VOLNMAE NEW_BRICK … Gluster volume rebalance VOLNAME start Haibo Li/CC/IHEP 2019/2/5 - 28

集群扩展 增加节点 删除节点 节点状态 Gluster peer probe IP/主机名 Gluster peer detach IP/主机名 节点状态 Gluster peer status Haibo Li/CC/IHEP 2019/2/5 - 29

（五）GlusterFS卷管理 Haibo Li/CC/IHEP 2019/2/5 - 30

增加brick 增加brick 查看卷信息 查看挂载状态 Gluster volume add-brick testvol server3:/brick3 查看卷信息 Gluster volume info testvol 查看挂载状态 Mount Df查看容量变化 Haibo Li/CC/IHEP 2019/2/5 - 31

删除brick 命令格式 删除sever1：brick1（例子） Gluster volume remove-brick <VOLNAME> [replica <COUNT>] <BRICK>… {start|stop|status|commit|force} 删除sever1：brick1（例子） Haibo Li/CC/IHEP 2019/2/5 - 32

删除卷 处理删除卷上的数据 Umount卷 停止卷 删除卷 Cp /mnt/test-vol/* /tmp/ 登录客户端，执行umount /mnt/test-vol 停止卷 Gluster volume stop test-vol 删除卷 Gluster volume delete test-vol Haibo Li/CC/IHEP 2019/2/5 - 33

卷信息同步 命令格式 删除server3卷信息 同步卷信息 Gluster volume sync <HOSTNAME> [all|<VOLNMAE>] 删除server3卷信息 rm –rf /var/lib/glusterd/vols/* 同步卷信息 Gluster volume sync server1 all Haibo Li/CC/IHEP 2019/2/5 - 34

GlusterFS系统状态监控 存储空间 gluster状态 系统日志 Df –h Service glusterd status /var/log/glusterfs/ Haibo Li/CC/IHEP 2019/2/5 - 35

谢谢！ Haibo Li/CC/IHEP 2019/2/5 - 36