一、GlusterFS、MFS、Ceph的比较
glusterfs、mfs、Ceph、Luster 相等为分布式文件系统，单纯的优缺点是无法描述的，下列是从它们的 Metadata server 、fuse、冗余、数据可靠性、故障恢复、扩展、适用场景、领域等进行简单比对。
（1.） MFS(moosefs)的特点
Metadata server： 单个MDS，存在单点故障、并发瓶颈
fuse：支持
访问接口：POSIX
冗余：多副本
数据可靠性：由数据的多副本提供可靠性。
故障恢复：手动恢复
扩展性：增加存储服务器，可以提高容量和文件操作性能。但是由于 不能增加MDS，因此元数据操作性能不能提高，是整个系统的瓶颈
适合场景：大量小文件读写
缺点：存在单点故障
（2.）GFS(glusterfs)的特点
metadata server：没有MDS，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。
fuse: 支持
访问接口：POSIX
冗余：通过镜像的方式
数据可靠性：通过镜像提供可靠性
故障恢复：当节点、硬件、磁盘、网络发生故障时，系统会自动处理这些故障，管理员不需介入
扩展性：容量可以扩展
适用场景：适合大文件
缺点：无元数据服务器，堆栈式架构(基本功能模块可以进行堆栈式组合，实现强大功能)。具有线性横向扩展能力。由于没有元数据服务器，因此增加了客户端的负载，占用相当的CPU和内存。但遍历文件目录时，则实现较为复杂和低效，需要搜索所有的存储节点。因此不建议使用较深的路径
（3.）Ceph的特点
metadata server：多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈
fuse: 支持
访问接口：POSIX
冗余：多副本
数据可靠性：由数据的多副本提供可靠性。
故障恢复：当节点失效时，自动迁移数据、重新复制副本。
扩展性：可以增加元数据服务器和存储节点。容量可扩展。文件操作性能可扩展。元数据操作性能可扩展
适用场景：小文件
缺点:略，自行研究，之后会更新
二、GFS集群安装部署
此安装背景是由于k8s的需要进行安装的，也可另为它用。
1.准备环境
由于资源有限，此次采用5台机器进行搭建
注意： GlusterFS6.1版本分布式存储集群（已弃用stripe模式)，即 不再支持 条带卷
本实验以 7.7 版本为例
1台客户机，4台节点设备每台新增4个20G硬盘，实验需要
一台centos7虚拟机，IP地址为：192.168.100.9，主机名为：node1，添加4块20G磁盘
一台centos7虚拟机，IP地址为：192.168.100.10，主机名为：node2，添加4块20G磁盘，
一台centos7虚拟机，IP地址为：192.168.100.11，主机名为：node3，添加4块20G磁盘
一台centos7虚拟机，IP地址为：192.168.100.12，主机名为：node4，添加4块20G磁盘
一台centos7虚拟机，IP地址为：192.168.100.3，当做测试机使用
将要使用的卷名称和信息
卷名称 卷类型 空间大小/GB Brick
dis 分布式卷 40G node1:/data/sdb1 node2:/data/sdb1
rep-volume 复制卷 20G node3:/data/sdb1node4:/data/sdb1
dis-rep 分布式复制卷 40G node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1
关闭防火墙
systemctl stop firewalld
setenforce 0
Iptables -F
2. 设置hosts
每台都需设置hosts
[root@server-9 ~]# vim /etc/hosts
192.168.100.9 node1
192.168.100.10 node2
192.168.100.11 node3
192.168.100.12 node4
将 hosts 文件复制给其他节点
[root@server-9 ~]# scp /etc/hosts root@192.168.100.10:/etc/hosts
[root@server-9 ~]# scp /etc/hosts root@192.168.100.11:/etc/hosts
[root@server-9 ~]# scp /etc/hosts root@192.168.100.12:/etc/hosts
[root@server-9 ~]#
测试节点通信
PING node4 (192.168.100.12) 56(84) bytes of data.
64 bytes from node4 (192.168.100.12): icmp_seq=1 ttl=64 time=0.449 ms
3.对硬盘进行自动分区挂载
编辑脚本，实现自动化对硬盘分区挂载
vim zdfq.sh
#!/bin/bash
echo "the disks exist list:"
fdisk -l | grep '磁盘 /dev/sd[a-z]'
echo "================================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd* | grep -o 'sd[b-z]'|uniq` quit
do
case $VAR in
sda)
fdisk -l /dev/sda
break ;;
sd[b-z])
#create partitions
echo "n
p
w" | fdisk /dev/$VAR
#make filesystem
mkfs.xfs -i size=512 /dev/${
VAR}"1" &> /dev/null
#mount the system
mkdir -p /data/${
VAR}"1" &> /dev/null
echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
mount -a &> /dev/null
break ;;
quit)
break;;
*)
echo "wrong disk,please check again";;
esac
done
[root@server-9 opt]# chmod +x zdfq.sh
./zdfq.sh
执行分区挂载
4. 安装软件 glusterfs （所有设备都要安装）
两种方法
1.挂载本地源，安装软件
mount.cifs //192.168.1.163/linux_soft /opt/abc
/opt/abc/gfsrepo
安装3.10版本
创建本地yum 源
[root@pc-4 gfsrepo]# cd /etc/yum.repos.d/
[root@pc-4 yum.repos.d]# mkdir bak
[root@pc-4 yum.repos.d]# mv Centos-* bak/
Vim gfs.repo
[gfs]
name=glfs
baseurl=file:////opt/abc/gfsrepo
gpgcheck=0
enabled=1
~
有些设备
安装3.10版本时， 有时会因为版本问题产生冲突，可进行如下操作
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma ###安装
//报错解决,把系统自带的包先删掉
yum remove glusterfs -y
yum remove glusterfs-libs.x86_64 -y
再安装
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service
或
安装7.7版本
1、先下载阿里云yum源：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
2、清理yum源：yum clean all
3、获取yum源列表：yum list
4、安装：yum -y install centos-release-gluster
5、安装：yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
6、systemctl start glusterd.service ## 启动glusterfs
或者
直接使用默认的现网源
1、安装：yum -y install centos-release-gluster
2、安装：yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
3、systemctl start glusterd.service ## 启动glusterfs
注意： GlusterFS6.1版本分布式存储集群（已弃用stripe模式)，即 不再支持 条带卷
本实验以 7.7 版本为例
4.1 同步时钟
ntpdate ntp1.aliyun.com
5.添加节点（在任意一台节点上操作）
[root@server-9 yum.repos.d]# gluster peer probe node2
peer probe: success.
[root@server-9 yum.repos.d]# gluster peer probe node3
peer probe: success.
[root@server-9 yum.repos.d]# gluster peer probe node4
peer probe: success.
5.1查看所有节点（在任意节点都可查看）
[root@server-9 yum.repos.d]# gluster peer status
Number of Peers: 3
Hostname: node2
Uuid: 248e4cc1-5697-4b59-8be6-12505b4c1785
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: 97dd09e5-98e4-4842-bb28-4b2af28b932c
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: eb3c47ec-86d1-4ea1-b31f-e0b828f71e4c
State: Peer in Cluster (Connected)
[root@server-9 yum.repos.d]#
5.2创造分布式卷
gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
[root@server-9 yum.repos.d]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data
[root@server-9 yum.repos.d]#
gluster volume info dis-vol
5.3 查看
[root@server-9 yum.repos.d]# gluster volume info dis-vol
Volume Name: dis-vol
Type: Distribute
Volume ID: b6883698-bb50-4b82-9425-7ed78345634d
Status: Created
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
5.4 启动
[root@server-9 yum.repos.d]# gluster volume start dis-vol
volume start: dis-vol: success
[root@server-9 yum.repos.d]# gluster volume info dis-vol
Volume Name: dis-vol
Type: Distribute
Volume ID: b6883698-bb50-4b82-9425-7ed78345634d
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
[root@server-9 yum.repos.d]#
5.5 停止
[root@server-9 yum.repos.d]# gluster volume stop dis-vol
Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y
volume stop: dis-vol: success
[root@server-9 yum.repos.d]# gluster volume info dis-vol
Volume Name: dis-vol
Type: Distribute
Volume ID: b6883698-bb50-4b82-9425-7ed78345634d
Status: Stopped
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
5.6 删除， 查看列表
[root@server-9 yum.repos.d]# gluster volume delete dis-vol
Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y
volume delete: dis-vol: success
[root@server-9 yum.repos.d]# gluster volume info dis-vol
Volume dis-vol does not exist
[root@server-9 yum.repos.d]# gluster volume list
No volumes present in cluster
[root@server-9 yum.repos.d]#
三 . 创建卷组，并挂载查看其存储分布情况
3.1 创建分布式卷
root@server-9 yum.repos.d]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data
[root@server-9 yum.repos.d]# gluster volume list
dis-vol
[root@server-9 yum.repos.d]# gluster volume start dis-vol
volume start: dis-vol: success
3.1.1 挂载卷
[root@pc-4 yum.repos.d]# systemctl start glusterd.service
[root@pc-4 yum.repos.d]# mkdir -p /test/dis
[root@pc-4 yum.repos.d]# mount.glusterfs node2:dis-vol /tet/dis
ERROR: Mount point does not exist
Please specify a mount point
Usage:
man 8 /usr/sbin/mount.glusterfs
[root@pc-4 yum.repos.d]# mount.glusterfs node2:dis-vol /test/dis
[root@pc-4 yum.repos.d]# df -ht
df：选项需要一个参数 -- t
Try 'df --help' for more information.
[root@pc-4 yum.repos.d]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda5 91G 4.1G 87G 5% /
devtmpfs 895M 0 895M 0% /dev
tmpfs 910M 0 910M 0% /dev/shm
tmpfs 910M 11M 900M 2% /run
tmpfs 910M 0 910M 0% /sys/fs/cgroup
/dev/sda2 5.9G 33M 5.9G 1% /home
/dev/sda1 1014M 174M 841M 18% /boot
tmpfs 182M 12K 182M 1% /run/user/42
tmpfs 182M 0 182M 0% /run/user/0
//192.168.1.163/linux_soft 632G 181G 451G 29% /opt/abc
node2:dis-vol 40G 475M 40G 2% /test/dis
[root@pc-4 yum.repos.d]#
dd if=/dev/zero of=/demo1.log bs=1M count=40
dd if=/dev/zero of=/demo2.log bs=1M count=40
dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
dd if=/dev/zero of=/demo5.log bs=1M count=40
3.1.2 向卷组中写入数据，查看存储分布情况
[root@pc-4 opt]# cd /
[root@pc-4 /]# dd if=/dev/zero of=/demo1.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0170802 秒，2.5 GB/秒
[root@pc-4 /]# dd if=/dev/zero of=/demo2.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0174415 秒，2.4 GB/秒
[root@pc-4 /]# dd if=/dev/zero of=/demo3.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0659369 秒，636 MB/秒
[root@pc-4 /]# dd if=/dev/zero of=/demo4.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0867373 秒，484 MB/秒
[root@pc-4 /]# dd if=/dev/zero of=/demo5.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0828524 秒，506 MB/秒
[root@pc-4 /]# ls
bin demo1.log demo3.log demo5.log etc lib media opt root sbin sys tmp var
boot demo2.log demo4.log dev home lib64 mnt proc run srv test usr
[root@pc-4 /]# cp demo* /test/dis/
[root@pc-4 /]# cd /test/dis/
[root@pc-4 dis]# ll -h
总用量 200M
-rw-r--r-- 1 root root 40M 9月 13 22:35 demo1.log
-rw-r--r-- 1 root root 40M 9月 13 22:35 demo2.log
-rw-r--r-- 1 root root 40M 9月 13 22:35 demo3.log
-rw-r--r-- 1 root root 40M 9月 13 22:35 demo4.log
-rw-r--r-- 1 root root 40M 9月 13 22:35 demo5.log
[root@pc-4 dis]#
[root@SERVER 10 sdb1]# ll -h
总用量 40M
-rw-r--r-- 2 root root 40M 9月 13 22:35 demo5.log
3.2 创建复制卷
[root@server 11 yum.repos.d]# gluster volume create rep-vol replica 2 node3:/data/sdb1node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data
[root@server 11 yum.repos.d]# gluster volume start rep-vol
volume start: rep-vol: success
3.2.1 挂载
[root@pc-4 dis]# mount.glusterfs node2:rep-vol /test/rep-vol/
[root@pc-4 dis]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda5 91G 4.3G 86G 5% /
devtmpfs 895M 0 895M 0% /dev
tmpfs 910M 0 910M 0% /dev/shm
tmpfs 910M 11M 900M 2% /run
tmpfs 910M 0 910M 0% /sys/fs/cgroup
/dev/sda2 5.9G 33M 5.9G 1% /home
/dev/sda1 1014M 174M 841M 18% /boot
tmpfs 182M 12K 182M 1% /run/user/42
tmpfs 182M 0 182M 0% /run/user/0
//192.168.1.163/linux_soft 632G 181G 451G 29% /opt/abc
node2:dis-vol 40G 675M 40G 2% /test/dis
node2:rep-vol 20G 238M 20G 2% /test/rep-vol
3.2.2 查看分布情况复制卷
[root@server_12 yum.repos.d]# cd /data/sdb1
[root@server_12 sdb1]# ll -h
总用量 200M
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo1.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo2.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo3.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo4.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo5.log
[root@server 11 sdb1]# ll -h
总用量 200M
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo1.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo2.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo3.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo4.log
-rw-r--r-- 2 root root 40M 9月 13 22:58 demo5.log
3.3 创建分布式复制卷
[root@server 11 sdb1]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
[root@server 11 sdb1]# gluster volume list
dis-rep
dis-vol
rep-vol
[root@server 11 sdb1]# gluster volume start dis-rep
volume start: dis-rep: success
3.3.1 挂载
[root@pc-4 /]# mount.glusterfs node1:dis-rep /test/dis-rep/
[root@pc-4 /]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda5 91G 4.3G 86G 5% /
devtmpfs 895M 0 895M 0% /dev
tmpfs 910M 0 910M 0% /dev/shm
tmpfs 910M 11M 900M 2% /run
tmpfs 910M 0 910M 0% /sys/fs/cgroup
/dev/sda2 5.9G 33M 5.9G 1% /home
/dev/sda1 1014M 174M 841M 18% /boot
tmpfs 182M 12K 182M 1% /run/user/42
tmpfs 182M 0 182M 0% /run/user/0
//192.168.1.163/linux_soft 632G 181G 451G 29% /opt/abc
node2:dis-vol 40G 675M 40G 2% /test/dis
node2:rep-vol 20G 438M 20G 3% /test/rep-vol
node1:dis-rep 40G 475M 40G 2% /test/dis-rep
[root@pc-4 /]#
3.3.2 查看数据分布情况
[root@server-9 sde1]# ll -h
总用量 160M
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo1.log
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo2.log
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo3.log
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo4.log
[root@server-9 sde1]#
[root@SERVER 10 sde1]# ll -h
总用量 160M
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo1.log
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo2.log
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo3.log
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo4.log
[root@server 11 sde1]# ll -h
总用量 40M
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo5.log
[root@server_12 sde1]# ll -h
总用量 40M
-rw-r--r-- 2 root root 40M 9月 13 23:11 demo5.log
[root@server_12 sde1]#
四 . 下面补充一下3.12版本 条带卷的一些操作
4.1 创建条带卷
[root@node1 ~]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
volume create: stripe-vol: success: please start the volume to access data
"创建"
[root@node1 ~]# gluster volume start stripe-vol "启动"
volume start: stripe-vol: success
[root@node1 ~]# gluster volume info stripe-vol "查看信息"
Volume Name: stripe-vol
Type: Stripe
Volume ID: 04e52229-541c-478e-a216-fe9b44f13cff
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
4.1.1挂载条带卷"
[root@client ~]# mkdir -p /text/strip
[root@client ~]# mount.glusterfs node1:stripe-vol /text/strip
[root@client /]# df -Th
//192.168.31.224/redhat7 cifs 227G 42G 185G 19% /opt
node1:dis-vol fuse.glusterfs 40G 265M 40G 1% /text/dis
node1:stripe-vol fuse.glusterfs 40G 65M 40G 1% /text/strip
4.1.2 把测试文件放到条带卷目录下,查看服务端存储分布
[root@client ~]# cp /demo* /text/strip
[root@node1 sdb1]# cd /data/sdc1
[root@node1 sdc1]# ll -h
总用量 100M
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo1.log "每个40M的文件被分成两块进行两个节点分布式存储"
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo4.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo5.log
[root@node2 sdb1]# cd /data/sdc1
[root@node2 sdc1]# ll -h
总用量 100M
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo4.log
-rw-r--r--. 2 root root 20M 9月 14 00:02 demo5.log
4.2 创建分布式条带卷（至少4个节点）
[root@node1 ~]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 ~]#
[root@node1 ~]# gluster volume start dis-stripe
volume start: dis-stripe: success
[root@node1 ~]# gluster volume info dis-stripe
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 3715b2f7-cf52-4a85-97db-5354ed77784b
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
4.2.1 挂载
[root@client ~]# mkdir /text/dis-str
[root@client ~]# mount.glusterfs node2:dis-stripe /text/dis-str/
4.2.2 把测试文件放到分布式条带卷目录下,查看服务端存储分布
[root@client ~]# cp /demo* /text/dis-str
[root@node1 sdc1]# cd /data/sdd1
[root@node1 sdd1]# ll -h
总用量 80M
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo4.log
[root@node2 sdc1]# cd /data/sdd1
[root@node2 sdd1]# ll -h
总用量 80M "1234分布式到node1和node2;再对1234条带分割,每个文件分两半,进行存储"
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo1.log
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo2.log
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo3.log
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo4.log
[root@node3 sdb1]# cd /data/sdd1
[root@node3 sdd1]# ll -h
总用量 20M "5分布式到node3和node4;再对5进行分割存储"
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo5.log
[root@node4 sdb1]# cd /data/sdd1
[root@node4 sdd1]# ll -h
总用量 20M
-rw-r--r--. 2 root root 20M 9月 14 00:15 demo5.log
五.其他维护命令
1、查看GlusterFS卷
[root@node1 ~]# gluster volume list
2、查看所有卷的信息
[root@node1 ~]# gluster volume info
3.查看所有卷状态
[root@node1 ~]# gluster volume status
4. ####停止一个卷
[root@node1 ~]# gluster volume stop dis-stripe
5. 删除一个卷
[root@node1 ~]# gluster volume delete dis-stripe
6.白名单 仅允许
[root@node1 ~]# gluster volume set dis-rep auth.allow 192.168.100.* ##设置192.168.100.0网段的所有IP地址 都能访问dis-rep卷（分布式复制卷）
volume set: success
7.黑名单 仅拒绝
[root@node1 sde1]# gluster volume set dis-rep auth.reject 192.168.100.80
volume set: success
[root@node1 ~]# gluster volume
add-brick heal quota start
barrier help rebalance statedump
clear-locks info remove-brick status
create list replace-brick stop
delete log reset sync
geo-replication profile set top
"reset" 恢复默认