如何搭建MFS分布式文件系统

1什么是分布式文件系统?

是一个具有容错性的网络分布式文件系统,它将数据分散存放在多个物理服务器或单独磁盘或分区上,确保一份数据
有多个备份副本,对于访问MFS的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样,也就是说呈现给用户的是一个统一的资源。

2.MooseFS的特性?

高可靠性 高可扩展性 高可容错性 高数据一致性 通用文件系统 可以在线扩容 部署简单 提供web gui监控接口
可回收在指定时间内删除的文件

  1. MFS分布式文件系统的结构是怎么样的?
    MFS文件系统由四部分组成
0.1 Master Server(管理服务器) 
0.2 Metalogger Server(备份服务器)
0.3 Chunk Server(存储数据的服务器,可以有多台,chunk服务器越多,容量越大,可靠性和性能也就越高)
0.4  mfs client客户端

3.搭建MFS管理服务器
3.001 绑定hosts,关闭防火墙和selinxu

182.48.115.233 master-server
182.48.115.235 metalogger
182.48.115.236 chunkServer1
182.48.115.237 chunkServer1
setenforce 0 && systemctl stop firewalld
3.002 创建mfs用户和组
useradd mfs -s /sbin/nologin
3.003 下载源码安装包
wget http://ppa.moosefs.com/src/moosefs-3.0.100-1.tar.gz
3.004 解压编译 安装
tar -zvxf moosefs-3.0.91-1.tar.gz && cd moosefs-3.0.91
./configure
–prefix=/usr/local/mfs #指定安装路径
–with-default-user=mfs #指定用户
–with-default-group=mfs #指定用户组
make && make install
cd /usr/local/mfs/etc/mfs
mfsmaster.cfg 主文件
mfsexports.cfg mfs挂载权限设置,参考NFS文件系统中的exports.cfg
mfstopology.cfg 机架感知
3.004 修改主配置文件
cp -a mfsmaster.cfg.sample mfsmaster.cfg
cp -a mfstopology.cfg.sample mfstopology.cfg
cp -a mfsexports.cfg.sample mfsexports.cfg
vim mfsexports.cfg
182.48.115.0/24 / rw,alldirs,maproot=0 #alldirs 允许挂载任何指定的子目录,maproot 映射为root,

  •                   .          rw 
    

cd …/…/var/mfs/
cp -a metadata.mfs.empty metadata.mfs
chown -R mfs:mfs /usr/local/mfs
/usr/local/mfs/sbin/mfsmaster start #启动mfs
查看下进程 ps -ef|grep mfs
lsof -i:9420 //防火墙如果开启了,需要开放9420端口访问
ln -s /usr/local/mfs/sbin/mfsmaster /etc/init.d/mfsmaster
/etc/init.d/mfsmaster statrt
3.005 启动和停止Web GUI
/usr/local/mfs/sbin/mfscgiserv start
ps -ef|grep mfscgiserv
root 31352 1 0 11:01 ? 00:00:00 /usr/bin/python /usr/local/mfs/sbin/mfscgiserv
root 31356 24958 0 11:02 pts/0 00:00:00 grep mfscgiserv
到此 Master Server(管理服务器) 配置成功可以访问http://182.48.115.233:9425 查看

metalogger元数据日志服务器操作记录
初始步骤 创建用户,关闭防火墙,编译安装这些都和管理服务器安装方法相同我在这里重点说明下修改配置文件
cd /usr/local/mfs/etc/mfs/
cp mfsmetalogger.cfg.sample mfsmetalogger.cfg
vim mfsmetalogger.cfg
META_DOWNLOAD_FREQ = 1 #META_DOWNLOAD_FREQ 表示源数据备份下载请求频率,这里设置为1小时。默认为24小时,当元数据服务器关闭或者出故障时,matedata.mfs.back 文件将消失,那么要恢复整个mfs,则需从metalogger 服务器取得该文件。请特别注意这个文件,它与日志
文件(即changelog_ml.0.mfs文件)一起,才能够恢复整个被损坏的分布式文件系统。元数据日志服务器的备份数据存放目录是/usr/local/mfs/var/mfs/
MASTER_HOST = 182.48.115.233 #如果是单机环境的话,这个不能为localhost或127.0.0.1,要使用对外IP
MASTER_PORT = 9419
cd …/…/var/mfs/
cp metadata.mfs.empty metadata.mfs
chown -R mfs:mfs /usr/local/mfs
启动metalogger节点服务
ln -s /usr/local/mfs/sbin/mfsmetalogger /etc/init.d/mfsmetalogger
/etc/init.d/mfsmetalogger start
查看进程是否启动
ps -ef|grep mfs

chunkServer数据储存节点上的操作记录
下一章继续

猜你喜欢

转载自blog.csdn.net/weixin_43546282/article/details/83784003