一、实验环境
操作系统 系统IP 主机名 挂载磁盘 挂载目录
Centos 7.3 192.168.180.100 node1 /dev/sdb(3G)/dev/sdc(4G)/dev/sdd(5G)/dev/sde(6G) /b3/c4/d5/e6
Centos 7.3 192.168.180.101 node2 /dev/sdb(3G)/dev/sdc(4G)/dev/sdd(5G)/dev/sde(6G) /b3/c4/d5/e6
Centos 7.3 192.168.180.102 node3 /dev/sdb(3G)/dev/sdc(4G)/dev/sdd(5G) /b3/c4/d5
Centos 7.3 192.168.180.103 node4 /dev/sdb(3G)/dev/sdc(4G)/dev/sdd(5G) /b3/c4/d5
卷名称 卷类型 空间大小 Brick
dis-volume 分布式卷 12G node1(/e6)、node2(/e6)
stripe-volume 条带卷 10G node1(/d5)、node2(/d5)
rep-volume 复制卷 5G node3(/d5)、node4(/d5)
dis-stripe 分布式条带卷 12G node1(/b3)、node2(/b3)、node3(/b3)、node4(/b3)
dis-rep 分布式复制卷 8G node1(/c4)、node2(/c4)、node3(/c4)、node4(/c4)
注：所需软件存放位置：百度云——Linux——glusterfs
二、实验步骤
1.准备环境
开启四台虚拟机，并安装图2添加磁盘，通过fdisk分区，mkfs.ext4格式化， 创建相应的挂载点目录，并挂载，修改/etc/fstab文件使配置永久生效
2.关闭防火墙和selinux
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
3.以node1为例 修改hosts文件和主机名称
vim /etc/hosts
192.168.180.100 node1
192.168.180.101 node2
192.168.180.102 node3
192.168.180.103 node4
hostname node1
bash
vim /etc/hostname
node1
4.安装glusterfs软件
复制gfsrepo仓库到node1的根目录
rm -rf /etc/yum.repo.d/*
vim /etc/yum.repo.d/gfs.repo
[gluster]
name=gluster
baseurl=file:///gfsrepo
enabled=1
gpgcheck=0
yum clean all
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
5.启动glusterfs
systemctl enable glusterd
systemctl start glusterd
6.在node2、node3、node4上重复以上步骤1-5
三、添加glusterfs节点
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
查看群集状态：gluster peer status
四、创建卷
1.创建分布式卷
gluster volume create dis-volume node1:/e6 node2:/e6
查看创建情况 gluster volume info dis-volume
启用分布式卷 gluster volume start dis-volume
2.创建条带卷
gluster volume create stripe-volume stripe 2 node1:/d5 node2:/d5 force
查看创建情况 gluster volume info stripe-volume
启用卷 gluster volume start stripe-volume
3.创建复制卷
gluster volume create rep-volume replica 2 node3:/d5 node4:/d5 force
查看创建情况 gluster volume info rep-volume
启用卷 gluster volume start rep-volume
4.创建分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/b3 node2:/b3 node3:/b3 node4:/b3 force
查看创建情况 gluster volume info dis-stripe
启用卷 gluster volume start dis-stripe
5.创建分布式复制卷
gluster volume create dis-rep replica 2 node1:/c4 node2:/c4 node3:/c4 node4:/c4 force
查看创建情况 gluster volume info dis-rep
启用卷 gluster volume start dis-rep
五、部署gluster客户端
1.安装软件
复制gfsrepo仓库到node1的根目录
rm -rf /etc/yum.repo.d/*
vim /etc/yum.repo.d/gfs.repo
[gluster]
name=gluster
baseurl=file:///gfsrepo
enabled=1
gpgcheck=0
yum clean all
yum install -y glusterfs glusterfs-fuse
2.创建挂载点目录
mkdir -p /test/{dis,stripe,rep,dis_and_stripe,dis_and_rep}
3.修改hosts文件
vim /etc/hosts
192.168.180.100 node1
192.168.180.101 node2
192.168.180.102 node3
192.168.180.103 node4
4.挂载gluster文件系统
mount -t glusterfs node1:dis-volume /test/dis
mount -t glusterfs node1:stripe-volume /test/stripe
mount -t glusterfs node1:rep-volume /test/rep
mount -t glusterfs node1:dis-stripe /test/dis_and_stripe
mount -t glusterfs node1:dis-rep /test/dis_and_rep
5.修改/etc/fstab自动挂载
vim /etc/fstab
node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0
node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0
node1:dis-stripe /test/dis_and_stripe glusterfs defaults,_netdev 0 0
node1:dis-rep /test/dis_and_rep glusterfs defaults,_netdev 0 0
六、测试cluster文件系统
1.卷中写入文件
复制多分大文件 分别存放到几个卷中
2.在个节点服务器上查看存储情况
3.模拟节点2故障
测试个卷所存放数据是否可读
