mongodb分片介绍, 分片搭建, 分片测试, 备份与恢复

mongodb分片介绍

• 分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据。
• 通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。
• 虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色的，这样能保证数据的高可用。
• 当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可

• 分片建立后，使用mogos等于使用3个分片，建立一个库会建立在某一个分片里，建立的库会分相对均匀的分布在几个分片里（后面实验测试可以看出；
• 分片不是一台独立的机器，分片是一个副本集（这样才可以保证高可用），而且还加入了仲裁的角色（可能可以更快的分出主从），后面的实验是一个分片包含三台机器，其中两台主从，一台是仲裁；
• mongos之间不是副本集的关系，可以从配置文件里面看出来，在一台mongos里新建库，会把这些库的信息保存在config servers里面，mongos会从config servers里面获取信息，达到同步；
• config servers又是一个副本集，当然配置也会有指示出其config server角色的内容
• 把数据写入mongos, 是不影响config server的；只有定义库，定义集合，定义片键时会影响到config server; 这些记录将用于mongos将请求发到指定的分片上；

mongodb分片相关概念

• mongos: 数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
• config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
• shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集。

分片搭建 - 服务器规划

• 三台机器 A B C
• A搭建：mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点
• B搭建：mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁
• C搭建：mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点
• 端口分配：mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003
• 三台机器全部关闭firewalld服务和selinux，或者增加对应端口的规则
• 三台机器分别都是mongos, config server, 三个分片中的一个角色（主从机器或仲裁；

分片搭建 - 创建目录

 分别在三台机器上创建各个角色所需要的目录
 跟启动单机mongodb相比，改变了data和log的路径   
 mkdir -p /data/mongodb/mongos/log   
 mkdir -p /data/mongodb/config/{data,log}   
 mkdir -p /data/mongodb/shard1/{data,log}   
 mkdir -p /data/mongodb/shard2/{data,log}   
 mkdir -p /data/mongodb/shard3/{data,log}  

分片搭建 - config server 配置

 mongodb3.4版本以后需要对config server创建副本集   
 添加配置文件(三台机器都操作)   
 mkdir /etc/mongod/   
 vim /etc/mongod/config.conf //加入如下内容  
 pidfilepath = /var/run/mongodb/configsrv.pid  
 dbpath = /data/mongodb/config/data  
 logpath = /data/mongodb/config/log/congigsrv.log  
 logappend = true  
 bind_ip = 0.0.0.0  
 port = 21000  
 fork = true  
 configsvr = true #declare this is a config db of a cluster;
 replSet=configs #副本集名称  
 maxConns=20000 #设置最大连接数  

 启动三台机器的config server   
 mongod -f /etc/mongod/config.conf  //三台机器都要操作   
 登录任意一台机器的21000端口，初始化副本集   
 mongo --port 21000   
 config = { _id: "configs", members: [ {_id : 0, host : "192.168.133.130:21000"},{_id : 1, host : "192.168.133.132:21000"},{_id : 2, host : "192.168.133.133:21000"}] }     #副本集的config语句；
 rs.initiate(config)  
 { "ok" : 1 }   #返回值；

分片搭建 - 分片配置

• 分片1

添加配置文件(三台机器都操作) （要据IP地址修改相应配置）
vim /etc/mongod/shard1.conf //加入如下内容  
pidfilepath = /var/run/mongodb/shard1.pid  
dbpath = /data/mongodb/shard1/data  
logpath = /data/mongodb/shard1/log/shard1.log  
logappend = true  
bind_ip = 0.0.0.0  
port = 27001  
fork = true  
httpinterface=true #打开web监控  
rest=true  
replSet=shard1 #副本集名称  
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数  

• 分片2

添加配置文件(三台机器都操作) （要据IP地址修改相应配置）
vim /etc/mongod/shard2.conf //加入如下内容  
pidfilepath = /var/run/mongodb/shard2.pid  
dbpath = /data/mongodb/shard2/data  
logpath = /data/mongodb/shard2/log/shard2.log  
logappend = true  
bind_ip = 0.0.0.0  
port = 27002  
fork = true  
httpinterface=true #打开web监控  
rest=true  
replSet=shard2 #副本集名称  
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数  

• 分片3

添加配置文件(三台机器都操作) （要据IP地址修改相应配置）
vim /etc/mongod/shard3.conf //加入如下内容  
pidfilepath = /var/run/mongodb/shard3.pid  
dbpath = /data/mongodb/shard3/data  
logpath = /data/mongodb/shard3/log/shard3.log  
logappend = true  
bind_ip = 0.0.0.0  
port = 27003  
fork = true  
httpinterface=true #打开web监控  
rest=true  
replSet=shard3 #副本集名称  
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数  

• 分片1 配置

 启动shard1   
 mongod -f /etc/mongod/shard1.conf //三台机器都要操作   
 登录130或者132任何一台机器的27001端口初始化副本集，133之所以不行，是因为shard1我们把133这台机器的27001端口作为了仲裁节点   
 mongo --port 27001   
 use admin   
 config = { _id: "shard1", members: [ {_id : 0, host : "192.168.133.130:27001"}, {_id: 1,host : "192.168.133.132:27001"},{_id : 2, host : "192.168.133.133:27001",arbiterOnly:true}] }   rs.initiate(config)  

• 分片2配置

  启动shard2   
  mongod -f /etc/mongod/shard2.conf //三台机器都要操作   
  登录132或者133任何一台机器的27002端口初始化副本集，130之所以不行，是因为shard2我们把130这台机器的27002端口作为了仲裁节点   
  mongo --port 27002   
  use admin   
  config = { _id: "shard2", members: [ {_id : 0, host : "192.168.133.130:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.133.132:27002"},{_id : 2, host : "192.168.133.133:27002"}] }   
  rs.initiate(config)  

• 分片3配置

 启动shard3   
 mongod -f /etc/mongod/shard3.conf //三台机器都要操作   
 登录130或者133任何一台机器的27003端口初始化副本集，132之所以不行，是因为shard3我们把132这台机器的27003端口作为了仲裁节点   
 mongo --port 27003   
 use admin   
 config = { _id: "shard3", members: [ {_id : 0, host : "192.168.133.130:27003"},  {_id : 1, host : "192.168.133.132:27003", arbiterOnly:true}, {_id : 2, host : "192.168.133.133:27003"}] }   
 rs.initiate(config)  

分片搭建–配置路由服务器

 添加配置文件(三台机器都操作)   
 vim /etc/mongod/mongos.conf //加入如下内容  
 pidfilepath = /var/run/mongodb/mongos.pid 
 logpath = /data/mongodb/mongos/log/mongos.log  
 logappend = true  
 bind_ip = 0.0.0.0  
 port = 20000  
 fork = true  
 configdb = configs/192.168.133.130:21000, 192.168.133.132:21000, 192.168.133.133:21000 #监听的配置服务器,只能有1个或者3个，configs为配置服务器的副本集名字  
 maxConns=20000 #设置最大连接数  
 启动mongos服务，注意命令，前面都是mongod，这里是mongos   
 mongos -f /etc/mongod/mongos.conf  

 登录任何一台20000端口   
 mongo --port 20000     把所有分片和路由器串联  sh.addShard("shard1/192.168.133.130:27001,192.168.133.132:27001,192.168.133.133:27001")  sh.addShard("shard2/192.168.133.130:27002,192.168.133.132:27002,192.168.133.133:27002")  sh.addShard("shard3/192.168.133.130:27003,192.168.133.132:27003,192.168.133.133:27003")   
 查看集群状态   
 sh.status()  

分片搭建 - 测试

 登录任何一台20000端口   
 mongo --port 20000     
 use admin   
 db.runCommand({ enablesharding : "testdb"}) 或者 sh.enableSharding("testdb") //指定要分片的数据库   
 db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } ) 或者 sh.shardCollection("testdb.table1",{"id":1} ) //#指定数据库里需要分片的集合和片键   
 use  testdb   for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"})//插入测试数据   
 db.table1.stats()//查看table1状态  

可以多建立一个库看效果

建立的两个数据库，在不同分片上

mongodb备份与恢复

 备份指定库   
 mongodump --host 127.0.0.1 --port 20000  -d mydb -o /tmp/mongobak   
 它会在/tmp/目录下面生成一个mydb的目录   
 
 备份所有库   
 mongodump --host 127.0.0.1 --port 20000 -o /tmp/mongobak/alldatabase   
 
 指定备份集合   
 mongodump --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mongobak/   
 它依然会生成mydb目录，再在这目录下面生成两个文件   

导出集合为json文件   
mongoexport --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mydb2/1.json  

恢复所有库   
mongorestore -h 127.0.0.1 --port 20000 --drop dir/ //其中dir是备份所有库的目录名字，其中--drop可选，意思是当恢复之前先把之前的数据删除，不建议使用   

恢复指定库   mongorestore -d mydb dir/  //-d跟要恢复的库名字，dir就是该库备份时所在的目录   

恢复集合  mongorestore -d mydb -c testc dir/mydb/testc.bson // -c后面跟要恢复的集合名字，dir是备份mydb库时生成文件所在路径，这里是一个bson文件的路径   

导入集合   mongoimport -d mydb -c testc --file /tmp/testc.json