部署MooseFS分布式文件系统

其他 2018-11-12 18:51:23 阅读次数: 0

MooseFS是一个分布式文件系统,其本身具有高可用性,高拓展性,开放源代码,高容错,等在数据的读写性能方面,通过dd测试,MooseFS也就是写入的速度稍微好于NFS,读上没有差别.

MooseFS的文件系统结构体系可分为以下四种角色,分别对应不同的功能:

1.管理服务器managing server (master)
2.元数据日志服务器Metalogger server（Metalogger）
3.数据存储服务器data servers (chunkservers)
4.客户机挂载使用client computers

下面我们分别编译安装MFS的每个组件,实现一个企业环境的分布式文件系统。

实验环境与IP分配

[主机类型]      [主机IP]      [主机作用]

Master-Server       192.168.22.195      主控服务器

MetaLogger-Server   192.168.22.191      备份服务器

Cunk-Server     192.168.22.192      存储节点1
Cunk-Server     192.168.22.193      存储节点2

Client          192.168.22.194      挂载客户端


◆Master-Server配置◆

Master-Server相当于MFS的大脑,用于管理协调服务器之间正常工作,此处也就是主控服务器

1.服务器上的/etc/hosts中添加下面指向,指明主服务器IP

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.22.195 mfsmaster                #在原来的基础上添加这一条即可

2.源码编译安装Master-Server

yum install -y gcc zlib zlib-devel                  #安装依赖

groupadd mfs                                #创建用户组

useradd -M -s /sbin/nologin -g mfs mfs                  #创建用户并将其加入用户组

tar –xzvf moosefs-3.0.99.tar.gz

cd moosefs-3.0.99/

./configure --prefix=/usr --sysconfdir=/etc \
--localstatedir=/var/lib --with-default-user=mfs \
--with-default-group=mfs --disable-mfschunkserver \
--disable-mfsmount

------------------------------------------------------------------------------------------------
[参数解释]

    --prefix=/usr                   #指定主目录存放位置
    --sysconfdir=/etc               #指定配置文件存放位置
    --localstatedir=/var/lib            #存放二进制文件metadata和文本文件changelog
    --with-default-user=mfs             #指定用户
    --with-default-group=mfs            #指定组
    --disable-mfschunkserver            #关闭chunk-server
    --disable-mfsmount              #关闭挂载
------------------------------------------------------------------------------------------------

make && make install

3.成功安装 Master 以后,系统会在/etc/mfs目录自动生成样例配置文件,我们需要将此配置文件修改一下,去掉后缀.sample配置文件才会生效

cd /etc/mfs/
cp -a mfsmaster.cfg.sample mfsmaster.cfg
cp -a mfsmetalogger.cfg.sample mfsmetalogger.cfg
cp -a mfsexports.cfg.sample mfsexports.cfg

cd /var/lib/mfs
cp -a metadata.mfs.empty metadata.mfs

4.启动Master-Server服务和CGI 监控服务

/usr/sbin/mfsmaster start                       #启动Master-Server
/usr/sbin/mfscgiserv                            #启动监控服务

5.设置Mfsmaster和mfscgiserv进程开机自启动,此处将开机命令追加写入/etc/profile系统每次开机都会执行这条指令,从而实现开机自启动

echo "/usr/sbin/mfsmaster start" >> /etc/profile
echo "/usr/sbin/mfscgiserv" >> /etc/profile

6.现在我们来测试一下,使用浏览器访问以下地址,成功的话会看到监控页面

http://192.168.22.195:9425                      #查看是否启动成功


◆MetaLogger-Server配置◆

Metalogger server主要作用是主控服务器的备份,他的作用是起到主控服务器崩溃了它自动顶上,所以Metalogger server 的安装和master server的安装大体是一样的,当然备份服务器不安装照样能使用,但是就失去了备份的功能

1.服务器上的/etc/hosts中添加下面指向,指向主服务器IP(可选/如果不做第1步则要做第3步)

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.22.195 mfsmaster                #在原来的基础上添加这一条即可

2.源码编译安装Masterlog-Server

yum install -y gcc zlib zlib-devel                  #安装依赖

groupadd mfs                                #创建用户组

useradd -M -s /sbin/nologin -g mfs mfs                  #创建用户并将其加入用户组

tar -xzvf moosefs-3.0.99.tar.gz

cd moosefs-3.0.99/

./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib \
--with-default-user=mfs --with-default-group=mfs \
--disable-mfschunkserver --disable-mfsmount

------------------------------------------------------------------------------------------------
[参数解释]

    --prefix=/usr                   #指定主目录存放位置
    --sysconfdir=/etc               #指定配置文件存放位置
    --localstatedir=/var/lib            #存放二进制文件metadata和文本文件changelog
    --with-default-user=mfs             #指定用户
    --with-default-group=mfs            #指定组
    --disable-mfschunkserver            #关闭chunk-server
    --disable-mfsmount              #关闭挂载
------------------------------------------------------------------------------------------------

make && make install

3.Masterlog-Server修改主配置文件,指定主服务器IP

[开启配置文件]
------------------------------------------------------------------------------------------------
cd /etc/mfs

cp -a mfsmetalogger.cfg.sample mfsmetalogger.cfg
------------------------------------------------------------------------------------------------

[配置参数]
------------------------------------------------------------------------------------------------
vim /etc/mfs/mfsmetalogger.cfg

META_DOWNLOAD_FREQ = 2                      #元数据备份文件下载请求频率(默认24小时)
MASTER_HOST = 192.168.22.195                #指定Master-Server地址(主控地址)
------------------------------------------------------------------------------------------------

4.启动Metalogger server备用服务器进程,并设置开机自启动

/usr/sbin/mfsmetalogger start
echo "/usr/sbin/mfsmetalogger start" >> /etc/profile

5.检查从服务器是否启动成功并同步了数据

cd /var/lib/mfs                     #查看是否有文件产生(产生了文件说明成功)
lsof -i :9419                       #检查端口是否开启


◆Cunk-Server配置◆

真正存储数据的节点,扩建它增加容量,可以多台每个文件可能在不同服务器间拷贝

1.Cunk-server服务器上的/etc/hosts中添加下面指向,指明主服务器IP

(可选/如果不做第1步则要做第3步)

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.22.195 mfsmaster                #在原来的基础上添加这一条即可

2.源码编译安装Cunk-Server

yum install -y gcc zlib zlib-devel                  #安装依赖

groupadd mfs                                #创建用户组

useradd -M -s /sbin/nologin -g mfs mfs                  #创建用户并将其加入用户组

tar -xzvf moosefs-3.0.99.tar.gz

cd moosefs-3.0.99/

./configure --prefix=/usr --sysconfdir=/etc \
--localstatedir=/var/lib --with-default-user=mfs \
--with-default-group=mfs --disable-mfsmaster

------------------------------------------------------------------------------------------------
[参数解释]

    --prefix=/usr                   #指定主目录存放位置
    --sysconfdir=/etc               #指定配置文件存放位置
    --localstatedir=/var/lib            #存放二进制文件metadata和文本文件changelog
    --with-default-user=mfs             #指定用户
    --with-default-group=mfs            #指定组
    --disable-mfschunkserver            #关闭chunk-server
    --disable-mfsmount              #关闭挂载
------------------------------------------------------------------------------------------------

make && make install

3.拷贝 Chunk-Server 服务所需的配置文件(开启配置文件),去掉.sample后缀开启

------------------------------------------------------------------------------------------------
cd /etc/mfs

cp -a mfschunkserver.cfg.sample mfschunkserver.cfg
cp -a mfshdd.cfg.sample mfshdd.cfg
------------------------------------------------------------------------------------------------

4.修改Chunk-Server 配置文件,指定服务器地址,端口,和共享的磁盘

vim /etc/mfs/mfschunkserver.cfg 

MASTER_HOST = 192.168.22.195                        #指明Master-Server服务器地址
MASTER_PORT = 9420                              #指明Master-Server端口
HDD_CONF_FILENAME = /etc/mfs/mfshdd.cfg             #指明哪个配置文件来配置共享磁盘的

5.编辑/etc/mfs/mfshdd.cfg,在最后面添加下面的文本行,并创建相应挂载目录

在配置文件 mfshdd.cfg 中我们给出了用于客户端挂接 MooseFS 分布式文件系统根分区所使用的共享空间位置.
建议在Chunk-Server上划分单独的空间给 MooseFS 使用,这样做的好处是便于管理剩余空间.
此处我们假定要使用一个共享点/mnt/mfschunk（如果没有，请先创建共享点）.

------------------------------------------------------------------------------------------------
[写入配置]

vim /etc/mfs/mfshdd.cfg

/mnt/mfschunk                               #Chunk-Server共享的目录
------------------------------------------------------------------------------------------------
[创建共享目录]

mkdir -p /mnt/mfschunk
chown -R mfs:mfs /mnt/mfschunk
------------------------------------------------------------------------------------------------

6.启动 Cunk-Server 服务,并设置开机自启动

/usr/sbin/mfschunkserver start
echo "/usr/sbin/mfschunkserver start" >> /etc/profile

7.现在通过浏览器访问,主控地址

网页中,应该可以看见这个 MooseFS 系统的全部信息（包括主控 master和存储服务 chunkserver）
在Disks上可以看到我们的挂载/ghost目录了

◆Client客户端配置◆

实际的使用节点,例如:每台Apache都挂载上共享目录,即可实现所有Apache服务器全部共享一个目录

1.在/etc/hosts中添加下面指向,指明主服务器IP(可选/不指定则要通过IP挂载)

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.22.195 mfsmaster                #在原来的基础上添加这一条即可

2.为了挂载基于MooseFS的文件系统,需要所有客户端安装FUSE包

tar -xzvf fuse-2.9.3.tar.gz

cd fuse-2.9.3/

./configure

make && make install

3.Linux下执行下面命令,不然编译mfsmount会报Fuse不存在的错

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

4.编译安装客户端软件mfsmount

yum install -y gcc zlib zlib-devel                  #安装依赖

groupadd mfs                                #创建用户组

useradd -M -s /sbin/nologin -g mfs mfs                  #创建用户并将其加入用户组

tar -xzvf moosefs-3.0.99.tar.gz

cd moosefs-3.0.99/

./configure --prefix=/usr --sysconfdir=/etc \
--localstatedir=/var/lib --with-default-user=mfs \
--with-default-group=mfs --disable-mfsmaster \
--disable-mfschunkserver

------------------------------------------------------------------------------------------------
[参数解释]

    --prefix=/usr                   #指定主目录存放位置
    --sysconfdir=/etc               #指定配置文件存放位置
    --localstatedir=/var/lib            #存放二进制文件metadata和文本文件changelog
    --with-default-user=mfs             #指定用户
    --with-default-group=mfs            #指定组
    --disable-mfschunkserver            #关闭chunk-server
    --disable-mfsmount              #关闭挂载
------------------------------------------------------------------------------------------------

make && make install

5.假定客户端的挂接点是 /media,我们将以下面的指令来使用 MooseFS 分布式系统

/usr/bin/mfsmount/mfsmount /media -H mfsmaster          #不指定挂接地址

/usr/bin/mfsmount/mfsmount /media -H 192.168.1.12       #挂接地址挂载(指定主存储IP)

#上面的解释,用/usr/bin/mfsmount将192.168.22.195的资源挂载到本地/media下

#挂载成功后，执行命令 df -h 查看分区情况

6.应该写入配置文件/etc/fstab或者/etc/profile开机自动挂载

echo "/usr/bin/mfsmount /media -H 192.168.22.195" >> /etc/profile


◆MooseFS常用功能◆

1.数据误删除恢复操作,垃圾回收站机制

mfssettrashtime  64800  /ghost/l1.txt               #给1.txt设置一个保存时间
mkdir /back
chown mfs.mfs /back
mfsmount -m /back -H 192.168.22.195             #指定服务器IP

find . -name *1.txt*                        #搜索删除的1.txt
mv 002/00000002\|1.txt  /back/trash/undel/          #拿到undel队列里,就恢复了

2.快照功能（提取数据）

mkdir  /back
chown  mfs.mfs  back/
mfsmakesnapshot  1.txt  back/                   #拷贝1.txt的源信息到back/目录下
cd back/                            #拷贝出来的数据

3.冗余 goal 设置（自定义备份个数）

mfsgetgoal      /ghost/1.txt                #查看1.txt的冗余数
mfsfileinfo         /ghost/1.txt                #查看1.txt的冗余分布在那几台机器上
mfssetgoal  3   /ghost/1.txt                #设置1.txt的冗余个数 （要备份几份）

4.还原 master数据（主服务器的宕机/数据丢失/恢复数据）

我们要去从服务器,将从里的数据拷贝到主上,并重新建立文件索引,即可恢复丢失文件

scp /usr/local/mfs/var/mfs/*  [email protected]:/usr/local/mfs/var/mfs

mfsmaster -a                            #自动恢复重新建立索引

netstat -an |grep "9419"                    #检查是否开启成功

猜你喜欢

转载自www.cnblogs.com/LyShark/p/9948174.html
今日推荐
Apache Doris 2.0.10 版本正式发布！
开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
周排行
阿里云短信服务平台注册
Windows下的字符串处理(1)
sqoop: mysql导入数据到hdfs, hive, hbase
commons.lang中常用的工具类
离线安装PostgreSQL11.6
使用PyTorch简单实现卷积神经网络模型
一文彻底搞定谱聚类
一道面试题引发的血案
One Chat for Mac(聊天工具)
TCP/IP的底层队列是如何实现的？
每日归档
更多
2024-05-17(34)
2024-05-16(6)
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022