MongoDB 高可用集群副本集+分片搭建

其他 2018-07-22 15:50:17 阅读次数: 0

MongoDB 高可用集群搭建

一、架构概况


192.168.150.129
192.168.150.130
192.168.150.131

参考文档：https://www.cnblogs.com/vadim/p/7100683.html

mongos 　　　　 　　　　 mongos 　　　　　　 　　   mongos
Config   server 　　　　     Config server 　　　　 　　 Config server
Shared1 server 1 　　　　 Shared1 server 1 副本 　　 Shared1 server 1 仲裁/隐藏
Shared2 server 2 　　　　 Shared2 server 2 副本 　　 Shared2 server 2 仲裁/隐藏
Shared3 server 3 　　　　 Shared3 server 3 副本 　　 Shared3 server 3 仲裁/隐藏

　　规划5个组件对应的端口号，由于每台机器均需要同时部署 mongos、config server 、shard1、shard2、shard3，所以需要用端口进行区分。端口可以自由定义，本架构中 

mongos : 20000
config server : 21000
shard11 ： 22001
shard2 ： 22002
shard3 ： 22003


二、 系统参数配置

echo "never" > /sys/kernel/mm/transparent_hugepage/enabled
echo "never" > /sys/kernel/mm/transparent_hugepage/defrag

cat >> /etc/rc.local <<"EOF"
echo "never" > /sys/kernel/mm/transparent_hugepage/enabled
echo "never" > /sys/kernel/mm/transparent_hugepage/defrag
EOF

三、 下载解压mongodb

cd /opt/
wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-rhel62-v3.4-latest.tgz
# 注意系统时间同步
/usr/sbin/ntpdate ntp1.aliyun.com
tar -zxf mongodb-linux-x86_64-rhel62-v3.4-latest.tgz
ln -s /opt/mongodb-linux-x86_64-rhel62-3.4.16-9-g2b19fb5e85/ mongodb
chown -R mongodb.mongodb /opt/mongodb

四、防火墙设置

iptables -I INPUT -s 192.168.150.129/32 -i eth0 -p tcp -m tcp --dport 20000 -j ACCEPT
iptables -I INPUT -s 192.168.150.130/32 -i eth0 -p tcp -m tcp --dport 20000 -j ACCEPT
iptables -I INPUT -s 192.168.150.131/32 -i eth0 -p tcp -m tcp --dport 20000 -j ACCEPT

iptables -I INPUT -s 192.168.150.129/32 -i eth0 -p tcp -m tcp --dport 21000 -j ACCEPT
iptables -I INPUT -s 192.168.150.130/32 -i eth0 -p tcp -m tcp --dport 21000 -j ACCEPT
iptables -I INPUT -s 192.168.150.131/32 -i eth0 -p tcp -m tcp --dport 21000 -j ACCEPT

iptables -I INPUT -s 192.168.150.129/32 -i eth0 -p tcp -m tcp --dport 22001 -j ACCEPT
iptables -I INPUT -s 192.168.150.130/32 -i eth0 -p tcp -m tcp --dport 22001 -j ACCEPT
iptables -I INPUT -s 192.168.150.131/32 -i eth0 -p tcp -m tcp --dport 22001 -j ACCEPT

iptables -I INPUT -s 192.168.150.129/32 -i eth0 -p tcp -m tcp --dport 22002 -j ACCEPT
iptables -I INPUT -s 192.168.150.130/32 -i eth0 -p tcp -m tcp --dport 22002 -j ACCEPT
iptables -I INPUT -s 192.168.150.131/32 -i eth0 -p tcp -m tcp --dport 22002 -j ACCEPT

iptables -I INPUT -s 192.168.150.129/32 -i eth0 -p tcp -m tcp --dport 22003 -j ACCEPT
iptables -I INPUT -s 192.168.150.130/32 -i eth0 -p tcp -m tcp --dport 22003 -j ACCEPT
iptables -I INPUT -s 192.168.150.131/32 -i eth0 -p tcp -m tcp --dport 22003 -j ACCEPT

service iptables save
service iptables reload

五、创建相应的目录

#建立mongos及日志目录
mkdir -p /data/mongodb/mongos/log

#建立config server 数据文件存放目录
mkdir -p /data/mongodb/config/data
#建立config server 日志文件存放目录
mkdir -p /data/mongodb/config/log

#建立shard1 数据文件存放目录
mkdir -p /data/mongodb/shard1/data
#建立shard1 日志文件存放目录
mkdir -p /data/mongodb/shard1/log

#建立shard2 数据文件存放目录
mkdir -p /data/mongodb/shard2/data
#建立shard2 日志文件存放目录
mkdir -p /data/mongodb/shard2/log

#建立shard3 数据文件存放目录
mkdir -p /data/mongodb/shard3/data
#建立shard3 日志文件存放目录
mkdir -p /data/mongodb/shard3/log

# 创建用户
useradd mongodb
echo "mongodb" | passwd --stdin mongodb

# 授权
chown -R mongodb.mongodb /data/mongodb

六、Config server配置

su - mongodb
cat >/data/mongodb/config/mongo.conf <<"EOF"
dbpath=/data/mongodb/config/data/
logpath=/data/mongodb/config/log/config.log
logappend=true
port=21000
fork=true
rest=false
httpinterface=true
configsvr=true
replSet=cfgReplSet
EOF


# 启动方式
numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/config/mongo.conf

# 查看日志
cat /data/mongodb/config/log/config.log

# 连接到任意一台配置服务器上
numactl --interleave=all /opt/mongodb/bin/mongo --host 192.168.150.129 --port 21000
创建配置服务器副本集
rs.initiate({_id:"cfgReplSet",configsvr:true,members:[{_id:0,host:"192.168.150.129:21000"},{_id:1,host:"192.168.150.130:21000"},{_id:2,host:"192.168.150.131:21000"}]})

七、Shard server配置

# 需要在 su - mongodb
# shard1
cat > /data/mongodb/shard1/mongo.conf <<"EOF"
dbpath=/data/mongodb/shard1/data
logpath=/data/mongodb/shard1/log/shard1.log
logappend=true
port=22001
fork=true
rest=false
httpinterface=true
replSet=shard1ReplSet
shardsvr=true
journal=false
EOF

# 启动方式
numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/shard1/mongo.conf

# 查看日志
cat /data/mongodb/shard1/log/shard1.log

# 连接任意一台分片服务器
/opt/mongodb/bin/mongo --host 192.168.150.129 --port 22001
# 创建副本集并初始化
rs.initiate({_id:"shard1ReplSet",members:[{_id:0,host:"192.168.150.129:22001"},{_id:1,host:"192.168.150.130:22001"},{_id:2,host:"192.168.150.131:22001"}]})


# shard2
# 需要在 su - mongodb
cat > /data/mongodb/shard2/mongo.conf <<"EOF"
dbpath=/data/mongodb/shard2/data
logpath=/data/mongodb/shard2/log/shard2.log
logappend=true
port=22002
fork=true
rest=false
httpinterface=true
replSet=shard2ReplSet
shardsvr=true
journal=false
EOF

# 启动方式
numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/shard2/mongo.conf

# 查看日志
cat /data/mongodb/shard2/log/shard2.log

# 连接任意一台分片服务器
/opt/mongodb/bin/mongo --host 192.168.150.129 --port 22002
# 创建副本集并初始化
rs.initiate({_id:"shard2ReplSet",members:[{_id:0,host:"192.168.150.129:22002"},{_id:1,host:"192.168.150.130:22002"},{_id:2,host:"192.168.150.131:22002"}]})


# shard3
# 需要在 su - mongodb
cat > /data/mongodb/shard3/mongo.conf <<"EOF"
dbpath=/data/mongodb/shard3/data
logpath=/data/mongodb/shard3/log/shard3.log
logappend=true
port=22003
fork=true
rest=false
httpinterface=true
replSet=shard3ReplSet
shardsvr=true
journal=false
EOF

# 启动方式
numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/shard3/mongo.conf

# 查看日志
cat /data/mongodb/shard3/log/shard3.log

# 连接任意一台分片服务器
/opt/mongodb/bin/mongo --host 192.168.150.129 --port 22003
# 创建副本集并初始化
rs.initiate({_id:"shard3ReplSet",members:[{_id:0,host:"192.168.150.129:22003"},{_id:1,host:"192.168.150.130:22003"},{_id:2,host:"192.168.150.131:22003"}]})

八、Mongos配置

# 需要在 su - mongodb
cat >/data/mongodb/mongos/mongo.conf <<"EOF"
logpath=/data/mongodb/mongos/log/mongos.log
logappend=true
port=20000
fork=true
configdb=cfgReplSet/192.168.150.129:21000,192.168.150.130:21000,192.168.150.131:21000
EOF

# 启动服务
numactl --interleave=all /opt/mongodb/bin/mongos -f /data/mongodb/mongos/mongo.conf

# 查看日志
cat /data/mongodb/mongos/log/mongos.log

九、添加分片到集群

# 登录路由服务客户端
/opt/mongodb/bin/mongo --host 192.168.150.129 --port 20000
#添加分片到集群
mongos> sh.addShard("shard1ReplSet/192.168.150.129:22001,192.168.150.130:22001,192.168.150.131:22001")
# 依次添加shard2 shard3
mongos> sh.addShard("shard2ReplSet/192.168.150.129:22002,192.168.150.130:22002,192.168.150.131:22002")
mongos> sh.addShard("shard3ReplSet/192.168.150.129:22003,192.168.150.130:22003,192.168.150.131:22003")

# Enable Sharding for a Database
sh.enableSharding("test")

# Shard a Collection
sh.shardCollection("test.testdoc", { id: 1})

十、测试

/opt/mongodb/bin/mongo --host 192.168.150.129 --port 20000
# 插入测试数据
mongos> use test
for(var i = 1; i <= 100000; i++){
db.testdoc.save({id:i,"message":"message"+i});
}
mongos> db.testdoc.stats()

十一、快捷使用方式

# 快捷启动方式
cat >>/home/mongodb/.bashrc <<"EOF"
alias mongodb_shard1.start='numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/shard1/mongo.conf'
alias mongodb_shard2.start='numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/shard2/mongo.conf'
alias mongodb_shard3.start='numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/shard3/mongo.conf'
alias mongodb_config.start='numactl --interleave=all /opt/mongodb/bin/mongod -f /data/mongodb/config/mongo.conf'
alias mongodb_mongos.start='numactl --interleave=all /opt/mongodb/bin/mongos -f /data/mongodb/mongos/mongo.conf'
EOF
source /home/mongodb/.bash_profile

# 快捷登陆方式
# /opt/mongodb/bin/mongo --host 127.0.0.1 --port 22001 # shard1
# /opt/mongodb/bin/mongo --host 127.0.0.1 --port 22002 # shard1
# /opt/mongodb/bin/mongo --host 127.0.0.1 --port 22003 # shard1
# /opt/mongodb/bin/mongo --host 127.0.0.1 --port 21000 # config server
# /opt/mongodb/bin/mongo --host 127.0.0.1 --port 20000 # mongos

cat >>/home/mongodb/.bashrc <<"EOF"
alias mongodb_shard1.login='/opt/mongodb/bin/mongo --host 127.0.0.1 --port 22001'
alias mongodb_shard2.login='/opt/mongodb/bin/mongo --host 127.0.0.1 --port 22002'
alias mongodb_shard3.login='/opt/mongodb/bin/mongo --host 127.0.0.1 --port 22003'
alias mongodb_config.login='/opt/mongodb/bin/mongo --host 127.0.0.1 --port 21000'
alias mongodb_mongos.login='/opt/mongodb/bin/mongo --host 127.0.0.1 --port 20000'
EOF
source /home/mongodb/.bash_profile

十二、副本集手工主从切换

# 切换主从方式一
config=rs.conf() //查看当前配置，存入config变量中。
config.members[2].priority = 3 //修改config变量，第三组成员的优先级为3.
rs.reconfig(config) //配置生效 
rs.conf() //查看当前配置
rs.status()

# 切换主从方式二
rs.stepDown()

猜你喜欢

转载自www.cnblogs.com/bjx2020/p/9350232.html
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022