mongodb分片技术
介绍
分片（sharding）是MongoDB用来将大型集合分割到不同服务器（或者说一个集群）上所采用的方法。尽管分片起源于关系型数据库分区，但MongoDB分片完全又是另一回事。
和MySQL分区方案相比，MongoDB的最大区别在于它几乎能自动完成所有事情，只要告诉MongoDB要分配数据，它就能自动维护数据在不同服务器之间的均衡。
分片的目的
高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的CPU耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘IO上。
为了解决这些问题,有两个基本的方法: 垂直扩展和水平扩展。
垂直扩展：增加更多的CPU和存储资源来扩展容量。
水平扩展：将数据集分布在多个服务器上。水平扩展即分片。
分片设计思想
分片为应对高吞吐量与大数据量提供了方法。使用分片减少了每个分片需要处理的请求数，因此，通过水平扩展，集群可以提高自己的存储容量和吞吐量。举例来说，当插入一条数据时，应用只需要访问存储这条数据的分片.
使用分片减少了每个分片存储的数据。
例如，如果数据库1tb的数据集，并有4个分片，然后每个分片可能仅持有256 GB的数据。如果有40个分片，那么每个切分可能只有25GB的数据。
分片机制的三种优势
1.对集群进行抽象，让集群“不可见”
MongoDB自带了一个叫做mongos的专有路由进程。mongos就是掌握统一路口的路由器，其会将客户端发来的请求准确无误的路由到集群中的一个或者一组服务器上，同时会把接收到的响应拼装起来发回到客户端。
2.保证集群总是可读写
MongoDB通过多种途径来确保集群的可用性和可靠性。将MongoDB的分片和复制功能结合使用，在确保数据分片到多台服务器的同时，也确保了每分数据都有相应的备份，这样就可以确保有服务器换掉时，其他的从库可以立即接替坏掉的部分继续工作。
3.使集群易于扩展
当系统需要更多的空间和资源的时候，MongoDB使我们可以按需方便的扩充系统容量。
分片集群架构节点
| 组件 | 说明 |
|---|---|
| Config Server | 存储集群所有节点、分片数据路由信息。默认需要配置3个Config Server节点。 |
| Mongos | 提供对外应用访问，所有操作均通过mongos执行。一般有多个mongos节点。 |
| Mongod | 存储应用数据记录。一般有多个Mongod节点，达到数据分片目的。 |
集群架构图
mongos
数据路由，和客户端打交道的模块。mongos本身没有任何数据，他也不知道该怎么处理这数据，去找config server
config server
所有shard节点的信息、存取数据的方式，分片功能的一些配置信息。可以理解为真实数据的元数据。
shard
真正的数据存储位置，以chunk为单位存数据。
Chunk是什么？
在一个shard server内部，MongoDB还是会把数据分为chunks，每个chunk代表这个shard server内部一部分数据。chunk的产生，会有以下两个用途：
Splitting：当一个chunk的大小超过配置中的chunk size时，MongoDB的后台进程会把这个chunk切分成更小的chunk，从而避免chunk过大的情况
Balancing：在MongoDB中，balancer是一个后台进程，负责chunk的迁移，从而均衡各个shard server的负载，系统初始1个chunk，chunk size默认值64M,生产库上选择适合业务的chunk size是最好的。mongoDB会自动拆分和迁移chunks。
分片集群节点的数据分布
（1）使用chunk来存储数据
（2）进群搭建完成之后，默认开启一个chunk，大小是64M，
（3）存储需求超过64M，chunk会进行分裂，如果单位时间存储需求很大，设置更大的chunk
（4）chunk会被自动均衡迁移。
如何选择chunksize？
小的chunksize：数据均衡是迁移速度快，数据分布更均匀。数据分裂频繁，路由节点消耗更多资源。
大的chunksize：数据分裂少。数据块移动集中消耗IO资源。通常100-200M
适合业务的chunksize是最好的；
chunk的分裂和迁移非常消耗IO资源；
chunk分裂的时机：在插入和更新，读数据不会分裂；
chunk分裂及迁移
随着数据的增长，其中的数据大小超过了配置的chunk size，默认是64M，则这个chunk就会分裂成两个。
这时候，各个shard 上的chunk数量就会不平衡。这时候，mongos中的一个组件balancer 就会执行自动平衡。把chunk从chunk数量最多的shard节点挪动到数量最少的节点。
chunkSize对分裂及迁移的影响
- MongoDB 默认的 chunkSize 为64MB，如无特殊需求，建议保持默认值；chunkSize 会直接影响到 chunk 分裂、迁移的行为。
- chunkSize 越小，chunk 分裂及迁移越多，数据分布越均衡；反之，chunkSize 越大，chunk 分裂及迁移会更少，但可能导致数据分布不均。
- chunk 自动分裂只会在数据写入时触发，所以如果将 chunkSize 改小，系统需要一定的时间来将 chunk 分裂到指定的大小。
- chunk 只会分裂，不会合并，所以即使将 chunkSize 改大，现有的 chunk 数量不会减少，但 chunk 大小会随着写入不断增长，直到达到目标大小。
shard key 分片键
MongoDB中数据的分片是、以集合为基本单位的，集合中的数据通过片键（Shard key）被分成多部分。其实片键就是在集合中选一个键，用该键的值作为数据拆分的依据。
所以一个好的片键对分片至关重要。片键必须是一个索引。
对集合进行分片时，你需要选择一个片键，片键是每条记录都必须包含的，且建立了索引的单个字段或复合字段，MongoDB按照片键将数据划分到不同的数据块中，并将数据块均衡地分布到所有分片中。
分片建策略
- 一个自增的片键对写入和数据均匀分布就不是很好，因为自增的片键总会在一个分片上写入，后续达到某个阀值可能会写到别的分片。但是按照片键查询会非常高效。
- 随机片键对数据的均匀分布效果很好。注意尽量避免在多个分片上进行查询。在所有分片上查询，mongos会对结果进行归并排序。
- MongoDB使用基于范围的分片方式 或者 基于哈希的分片方式。
- 注意事项
- 分片键是不可变。
- 分片键必须有索引。
- 分片键大小限制512bytes。
- 分片键用于路由查询。
- 键的文档（不支持空值插入）
基于范围的分片方式
Sharded Cluster支持将单个集合的数据分散存储在多shard上，用户可以指定根据集合内文档的某个字段即shard key来进行范围分片（range sharding）。
对于基于范围的分片，MongoDB按照片键的范围把数据分成不同部分。
假设有一个数字的片键：想象一个从负无穷到正无穷的直线，每一个片键的值都在直线上画了一个点。MongoDB把这条直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了片键在一定范围内的数据。在使用片键做范围划分的系统中，拥有“相近”片键的文档很可能存储在同一个数据块中，因此也会存储在同一个分片中。
基于哈希的分片方式
分片过程中利用哈希索引作为分片的单个键，且哈希分片的片键只能使用一个字段，而基于哈希片键最大的好处就是保证数据在各个节点分布基本均匀。
> 对于基于哈希的分片，MongoDB计算一个字段的哈希值，并用这个哈希值来创建数据块。在使用基于哈希分片的系统中，”相近”片键的文档很可能不会存储在同一个数据块中，因此数据的分离性更好一些。
>
> Hash分片与范围分片互补，能将文档随机的分散到各个chunk，充分的扩展写能力，弥补了范围分片的不足，但不能高效的服务范围查询，所有的范围查询，要分发到后端所有的Shard，才能找出满足条件的文档。分片集群部署的常见错误
- 配置可复制集作为分片节点与配置单独使用的可复制集基本一样。但启动参数中需指定—shardsvr参数。否则，在启动数据库分片时报错：{"code" : 193,"ok" : 0, "errmsg" : "Cannot accept sharding commands if not started with --shardsvr“}。
- 分片不会默认生成，需要先在数据库中启动分片（sh.enableSharding(“DBName”)），然后再设置集合分片（sh.shardCollection(“Collection”{片键})）
环境信息
操作系统：centos6.8 mongodb版本：mongodb-linux-x86_64-rhel62-4.0.6.tgz 3台虚拟机 192.168.57.201、192.168.57.202、192.168.57.203 集群环境 2个分片复制集 shard1（192.168.57.201:27017、192.168.57.202:27017、192.168.57.203:27017） shard2（192.168.57.201:27018、192.168.57.202:27018、192.168.57.203:27018） 1个config复制集 （192.168.57.201:28018、192.168.57.202:28018、192.168.57.203:28018） 1个mongos节点搭建mongodb分片复制集
shard1集群步骤
#解压缩 tar xzvf mongodb-linux-x86_64-rhel62-4.0.6.tgz添加（yidian_repl）复制集配置文件：mongo.conf（201/202/203）
fork=true # 数据路径 dbpath=/opt/mongo/data/db port=27017 bind_ip=0.0.0.0 # 日志路径 logpath=/opt/mongo/logs/mongodb.log logappend=true # 复制集的名字 replSet=yidian_repl smallfiles=true #分片集群必须要有的属性 shardsvr=true添加（yidian_repl2）复制集配置文件：mongo2.conf（201/202/203）
fork=true dbpath=/opt/mongo/data/db2 port=27018 bind_ip=0.0.0.0 logpath=/opt/mongo/logs/mongodb2.log logappend=true replSet=yidian_repl2 smallfiles=true shardsvr=true启动副本集
# 根据自己文件的路径去调整 ./mongod -f mongo.conf # 当前视频中的地址，启动（yidian_repl） /opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongod -f /opt/mongo/mongo.conf # 当前视频中的地址，启动（yidian_repl2） /opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongod -f /opt/mongo/mongo2.conf登录复制集，添加初始化配置
# 进入mongo客户端 # 配置（yidian_repl） /opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongo -port 27017 # 配置（yidian_repl2） /opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongo -port 2701827017进入客户端后，执行初始化命令
# 配置复制集 var rsconf = { _id:'yidian_repl', //这里的_id要与配置文件中指定的服务所属的复制集相同 members: //复制集成员 [ { _id:1, //成员的id host:'192.168.57.201:27017' //成员所属节点的ip以及该成员服务启动时所占的端口 }, { _id:2, host:'192.168.57.202:27017' }, { _id:3, host:'192.168.57.203:27017' } ] } #初始化配置(加载rsconf配置文件) rs.initiate(rsconf); #状态查看 rs.status();27018进入客户端后，执行初始化命令
# 配置复制集 var rsconf = { _id:'yidian_repl2', //这里的_id要与配置文件中指定的服务所属的复制集相同 members: //复制集成员 [ { _id:1, //成员的id host:'192.168.57.201:27018' //成员所属节点的ip以及该成员服务启动时所占的端口 }, { _id:2, host:'192.168.57.202:27018' }, { _id:3, host:'192.168.57.203:27018' } ] } #初始化配置(加载rsconf配置文件) rs.initiate(rsconf); #状态查看 rs.status();
搭建config节点复制集
创建config节点配置文件：mongo-cfg.conf （201/202/203）
systemLog: destination: file # 日志存储位置 path: /opt/mongo/mongo-cfg/logs/mongodb.log logAppend: true storage: journal: enabled: true # 数据存储位置 dbPath: /opt/mongo/mongo-cfg/data # 是否一个库一个文件夹 directoryPerDB: true wiredTiger: engineConfig: # 最大使用cache（根据真实情况自行调节） cacheSizeGB: 1 # 是否将索引也按照数据库名单独存储 directoryForIndexes: true collectionConfig: # 表压缩配置 blockCompressor: zlib indexConfig: prefixCompression: true net: # IP地址 bindIp: 192.168.57.201 # 端口 port: 28018 replication: oplogSizeMB: 2048 # 配置节点的复制集名字 replSetName: configReplSet sharding: clusterRole: configsvr processManagement: fork: true启动配置复制集
# 配置文件地址，自行调整 /opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongod -f /opt/mongo/mongo-cfg.conf登录配置节点
#登录 指定IP 和 端口 /opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongo -host 192.168.57.201 -port 28018初始化命令
rs.initiate( { _id: "configReplSet", configsvr: true, members: [ { _id : 0, host : "192.168.57.201:28018" }, { _id : 1, host : "192.168.57.202:28018" }, { _id : 2, host : "192.168.57.203:28018" } ] } )
mongos节点（201）
mongos配置文件
systemLog: destination: file path: /opt/mongo/mongos/log/mongos.log logAppend: true net: bindIp: 192.168.57.201 port: 28017 sharding: configDB: configReplSet/test201:28018,test202:28018,test203:28018 processManagement: fork: truetest201/test202/test203配置了本地host
[root@test201 mongos]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.57.201 test201 192.168.57.202 test202 192.168.57.203 test203启动mongos
/opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongos -config /opt/mongo/mongos/mongos.conf登录mongos节点
/opt/yidian/mongodb-linux-x86_64-rhel62-4.0.6/bin/mongo 192.168.57.201:28017
添加集群中的分片节点
切换admin：use admin
添加shard1复制集
db.runCommand( { addshard : "yidian_repl/192.168.57.201:27017,192.168.57.202:27017,192.168.57.203:27017",name:"shard1"} )添加shard2复制集
db.runCommand( { addshard : "yidian_repl2/192.168.57.201:27018,192.168.57.202:27018,192.168.57.203:27018",name:"shard2"} )查看分片
# mongos db.runCommand( { listshards : 1 } )查看分片状态
# mongos sh.status()
测试分片集群
开启数据库分片配置
db.runCommand( { enablesharding : "testdb" } )创建分片的键（id）
db.runCommand( { shardcollection : "testdb.users",key : {id: 1} } )创建索引（如果不是空集合，不是第一次操作）
use testdb db.users.ensureIndex( { id: 1 } )添加测试数据
var arr=[]; for(var i=0;i<1500000;i++){ var uid = i; var name = "name"+i; arr.push({"id":uid,"name":name}); } db.users.insertMany(arr);
其他分片集群的命令
# 添加分片 db.runCommand( { addshard : "yidian_repl2/192.168.57.201:27018,192.168.57.202:27018,192.168.57.203:27018",name:"shard2"} ) # 删除分片 db.runCommand( { removeShard: "shard2" } )
视频教程：www.yidiankt.com
QQ讨论群组：706564342
关注公众号-免费获取【JAVA核心知识点】！！
