- MongoDB分片
- 在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。
- 当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。
- 分片的优势
分片为应对高吞吐量与大数据量提供了方法。
- 使用分片减少了每个分片需要处理的请求数，因此，通过水平扩展，集群可以提高自己的存储容量和吞吐量。举例来说，当插入一条数据时，应用只需要访问存储这条数据的分片.使用分片减少了每个分片存储的数据。
- 分片的优势在于提供类似线性增长的架构，提高数据可用性，提高大型数据库查询服务器的性能，当MongoDB的单点数据库服务器存储成为瓶颈，单点数据库服务器的性能成为瓶颈或者需要部署大型应用以充分利用内存时，可以使用分片技术。
- MongoDB分片群集的组成：
- Shard：分片服务器，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
- Config Server：配置服务器，mongod实例，存储了整个 ClusterMetadata，其中包括 chunk信息。
- Query Routers：前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。
- 部署MongoDB分片群集
- 安装mongodb3.2
- 创建多实例的数据目录和日志文件
-
修改ulimit -n 和ulimit -u 的值为25000
# yum install openssl-devel -y # tar zxvf mongodb-linux-x86_64-3.2.1.tgz -C /opt/ # mv mongodb-linux-x86_64-3.2.1/ /usr/local/mongodb # mkdir -p /data/mongodb/mongodb{1,2,3,4} # mkdir /data/mongodb/logs # touch /data/mongodb/logs/mongodb{1,2,3,4}.log # chmod -R 777 /data/mongodb/logs/*.log # ulimit -n 25000 # ulimit -u 25000
配置服务器
# cd /usr/local/mongodb/bin/
# vim mongodb1.conf
port=37017
dbpath=/data/mongodb/mongodb1
logpath=/data/mongodb/logs/mongodb1.log
logappend=true
fork=true
maxConns=5000
storageEngine=mmapv1
configsvr=true-
优化：某节点内存不足时，从其他节点分配内存
# sysctl -w vm.zone_reclaim_mode=0 # echo never > /sys/kernel/mm/transparent_hugepage/enabled # echo never > /sys/kernel/mm/transparent_hugepage/defrag # ln -s /usr/local/mongodb/bin/mongo /usr/bin/mongo # ln -s /usr/local/mongodb/bin/mongod /usr/bin/mongod -
启动登录第一个实例确认无误
# mongod -f /usr/local/mongodb/bin/mongodb1.conf # mongo --port 37017 -
分片服务器
# cp -p mongodb1.conf mongodb2.conf # vim mongodb2.conf port=47017 dbpath=/data/mongodb/mongodb2 logpath=/data/mongodb/logs/mongodb2.log logappend=true fork=true maxConns=5000 storageEngine=mmapv1 shardsvr=true # cp -p mongodb1.conf mongodb3.conf # vim mongodb3.conf port=47018 dbpath=/data/mongodb/mongodb3 logpath=/data/mongodb/logs/mongodb3.log logappend=true fork=true maxConns=5000 storageEngine=mmapv1 shardsvr=true # mongod -f mongodb2.conf # mongod -f mongodb3.conf # mongo --port 47017 # mongo --port 47018 # ./mongos --help //查看参数选项 - 启动路由服务器
- --port指定对方连接入口27017
- --fork后台运行
- --logpath指定日志文件存储路径
-
--configdb指定给谁处理
# ./mongos --port 27017 --fork --logpath=/usr/local/mongodb/bin/route.log --configdb 192.168.86.129:37017 --chunkSize 1
-
启用分片服务器
> mongo > mongos> show dbs > mongos> sh.status() #shards下为空，没有分片服务器 > mongos> sh.addShard("192.168.86.129 :47017") //添加分片服务器 > mongos> sh.addShard("192.168.86.129 :47018") > mongos> sh.status() // 查看数据库分片信息
-
分片功能管理
> use kgc > for(var i=1;i<=10000;i++) db.users.insert({"id":i,"name":"tom"+i}) mongos> show dbs mongos> use kgc mongos> show collections //查看集合 mongos> db.users.find().limit(5) mongos> sh.status() //查看数据库分片信息
-
启用数据库分片
mongos> sh.enableSharding("kgc") //启用数据库分片 mongos> sh.status() //再查看数据库分片信息
- 此时数据库分片开启了，但是你的集合没有开发分片
- 下面要开启集合的分片
- 先对users集合创建索引
-
然后对集合的索引进行分片
mongos> use kgc mongos> db.users.createIndex({"id":1}) //对users表创建索引 mongos> sh.shardCollection("kgc.users",{"id":1}) //表分片 mongos> sh.status()
-
- MongoDB分片管理
-
片键的选择、查看片键的状态信息、添加多个分片、查看配置服务器信息以及添加删除分片服务器。
mongos> mongo mongos> use kgc mongos> for(var i=1;i<=50000;i++)db.users2.insert({"id":i,"name":"jerry"+i}) mongos> db.users2.createIndex({"id":1}) mongos> sh.shardCollection("kgc.users2",{"id":1}) mongos> db.users2.stats() -
添加标签
mongos> sh.addShardTag("shard0000","sales00") mongos> sh.addShardTag("shard0001","sales01") -
连接配置服务器
# mongo --port 37017 configsvr> use config //打开配置数据库 configsvr> show collections //查看集合
configsvr> db.chunks.findOne() //记录所有块的信息 configsvr> db.collections.find() //分片集合信息 configsvr> db.databases.find() //分片中所有数据库信息
-
添加分片服务器
# cd /usr/local/mongodb/bin/ # cp -p mongodb2.conf mongodb4.conf # vim mongodb4.conf port=47019 dbpath=/data/mongodb/mongodb4 logpath=/data/mongodb/logs/mongodb4.log logappend=true fork=true maxConns=5000 storageEngine=mmapv1 shardsvr=true # mongod -f mongodb4.conf # mongo -
添加分片节点
mongos> sh.addShard("192.168.86.129:47019") //添加分片服务器
mongos> sh.status()
-
删除分片节点
mongos> use admin mongos> db.runCommand({"removeshard":"192.168.86.129:47019"}) //删除节点
