mongodb基本命令，mongodb集群原理分析
集合：
1、集合没有固定数据格式。
2、
数据：
时间类型：
Date() 当前时间(js时间)
new Date() 格林尼治时间(object)
ISODate() 格林尼治时间(object)
转换：
new Date()/ISODate().toLocaleString() 转为本地时间Date()
new Date()/ISODate().valueOf() 转为时间戳
ID：
mongodb每个文档必须有一个_id键
默认_id = ObjectId()(对象)
命令：
数据库：
use db_n 使用库
db db_n 显示库名
show dbs 查看所有库
use database_name 删除库
->db.dropDatabase()
集合：
show collections 查看全部集合
db.createCollection("name", {options}) 创建集合
options：
capped 布尔 true固定集合，须指定size，默认false
size int 固定长度，超过后自动覆盖最早的文档，优先级大于max
autoIndexId 布尔 true自动在_id创建索引，默认true
max int 固定集合包含文档最大数量
db.c_n/db.getCollection("c_n") 使用集合
db.c_n.drop() 删除集合
固定集合：
db.createCollection("log",{capped: true, size: 10000, max: 5000}) 创建限制集合
db.isCapped() 是否为限制集合
db.runConmand({"convertToCapped": "mycoll", size: 100000}) 将集合转化为限制集
操作符：
$ 代表自己
文档：
pretty() 格式化读取
-------------------------------------------------------------------------------------------------------------------------
查询文档：
db.c_n.find({},{指定字段}) 查询文档 ({}中两个同名键，前面查询会被覆盖)
-----
db.c_n.find({},{aa:1,_id:0}) 指定aa字段，排除_id(_id默认会显示)
-----
aa:{$type:1} aa为数字类型
-----
aa: 1 aa = 1
aa:{$lt:50} aa<50
aa:{$lte:50} aa<=50
bb:{$gt:50} bb>50
bb:{$gte:50} bb>=50
bb:{$ne:50} bb!=50
aa:{$gte:10,$lte:20} 10<=aa<=20
aa:{$eq:20} aa=20
aa:{$in: [0,1,2,3] } aa in[]
aa:{$nin: [0,1,2,3] } aa not in[]
-----
$or:[{aa:1},{aa:2}] or
$and:[{},{}] and
$not:{$gt:2} not in (aa>2)
$nor:[] not or
$where:function(){
if(this.age>18){
return true;
}
return false;
}
/
$where:"this.age > 18" 自定义函数逻辑筛选
分页：
db.c_n.find().limit(2) 只查前2条
db.c_n.find().skip(2) 跳过前2条
排序：
db.c_n.find().sort({aa:1,bb:-1}) 排序,aa升序,bb降序
嵌套：
db.c_n.find({"aa.x":2}) 查询x符合的数据
一个：
db.c_n.findOne({}) 查询一个
正则：
aa:/你/ 包含 你
aa:/^你/ 以 你 开头
aa:/你$/ 以 你 结尾
游标：
var aa = db.c_n.find()
aa.hasNext()
aa.next()
-------------------------------------------------------------------------------------------------------------------------
插入文档：
db.c_n.insert(
[ {}，{}，{} ]/{} ,
{
writeConcern: <document> ,
ordered: <boolean>(是否按顺序插入，默认true顺序添加，出错后面无法添加/false不严格顺序，中间一条错误后面也能添加)
}
) 插入文档
db.c_n.insertOne({}) 插入一个文档
{ "acknowledged" : true, "insertedIds" : [ ObjectId("562a94d381cb9f1cd6eb0e1a"), ] } 返回值
db.c_n.insertMany(
[ {}，{}，{} ] ,
{
writeConcern: <document> ,
ordered: <boolean>(是否按顺序插入，默认true顺序添加，出错后面无法添加/false不严格顺序，中间一条错误后面也能添加)
}
) 批量(数组形式)添加
{
"acknowledged" : true,
"insertedIds" : [
ObjectId("5ccaa77a8467059db6186d23"),
ObjectId("5ccaa77a8467059db6186d24"),
ObjectId("5ccaa77a8467059db6186d25")
]
} 批量(数组形式)返回值
-------------------------------------------------------------------------------------------------------------------------
批量操作：
如果一个执行list 包含添加、更新 、删除操作 ，mongodb 会把操作分成三个组：第一个 执行insert 操作 第二个执行更新操作 第三个执行删除操作。
var bulk = db.test.initializeOrderedBulkOp();
bluk.insert();
bluk.update();
bluk.find({}).remove();
bluk.getOperations();(查看分组情况)
bluk.execute();(提交) 批量操作(指令)
返回： "batchType" : 1, //1 insert 2 update 3 remove
-------------------------------------------------------------------------------------------------------------------------
db.c_n.save({}) 插入(无_id)/修改(全部替换)
-------------------------------------------------------------------------------------------------------------------------
修改文档：
db.c_n.update(
{
<query>
}，
{
<update>
}，
{
upsert: <boolean>(不存在记录是否插入 false(默认)不插入/true插入),
multi: <boolean>(false(默认)更新第一条数据/true更新所有匹配数据),
writeConcern: <document>
}
) 修改文档字段
修改符号：
$inc:{aa: 1} 将aa加1
$set:{aa: 2} 把aa字段改为2
$unset:{cc: 1} 将cc字段删除
$push:{aa: 2} (数组)将2添加到aa数组，若不存在数组则自动创建
$pushAll:{aa:[c]} (数组)将c数组添加到aa数组后
$addToSet:{aa:2} (数组)将2添加到数组，2在数组不存在时才添加
$pop:{aa:-1/1} (数组)删除数组最前面、最后面的一个值
$pull:{aa:2} (数组)删除数组中为2的值
$pullAll:{aa:[1,2]} (数组)删除数组批量值
$rename:{old:new} 重命名键
-------------------------------------------------------------------------------------------------------------------------
删除文档：
db.c_n.remove(
{<query>},
{
justOne:<boolean>(是否删除首个 false(默认)否/true是),
writeConcern:<document>
}
) 删除文档
db.c_n.remove({}) 删除所有文档
-------------------------------------------------------------------------------------------------------------------------
类型筛选：
aa:{$type}
typeof 指定类型
-------------------------------------------------------------------------------------------------------------------------
索引：
db.c_n.createIndex(keys,options) 创建单个索引
db.c_n.createIndex({k1,k2,k3},{op}) 创建复合索引1
// db.c_n.ensureIndex({k1,k2,k3},{op}) 创建复合索引2(mongodb3.0开始废弃)
db.c_n.dropIndexes()/dropIndex("_name") 删除索引
db.c_n.getIndexes()/getIndex("_name") 查看索引
db.c_n.totalIndexSize() 索引大小
稀疏索引：
db.c_n.creatIndex({aaa:1},{name:"index1", sparse: true})
非阻塞建立索引：
db.c_n.creatIndex({},{background: true})
唯一索引：
db.c_n.creatIndex({},{unique: true})
TTL(只对时间类型有效):
db.createIndex({},{expireAfterSeconds: 60})
地理空间索引：
db.createIndex({"_name":"2d"})
数据结构：_name:{k1:120,k2:38} 或 _name:[120,38]
地理最近：
find({_name:{$near:[x,y]}}) (默认返回100个)
db.runCommand({geoNear:"c_n",near:[130,38],num:2}) (返回dis距离,stats状态)
*形状范围：
$within
内嵌文档：
db.c_n.createIndex("aaa.xxx",options)
索引排序：
若未对目标字段建立索引，mongodb将会把所有数据提取到内存进行排序，无索引排序使用个数限制的。
注意：
1、联合索引最左缀匹配原则，多条件查询有效。
2、单列多个索引只用到最左边那个。
-------------------------------------------------------------------------------------------------------------------------
统计函数：
db.runCommand({'distinct':'c_n','key':'fied','query':{}})
db.c_n.find({query}).limit(n).count(true/非0) 条件筛选后的数量
db.c_n.count({query}) 数量
db.c_n.distinct(“fied”,{query}) 去重
db.c_n.group({key,reduce,initial[,keyf][,cond][,finalize]}) 分组(最多返回20000个)
分组统计：https://blog.csdn.net/iteye_19607/article/details/82644559
db.c_n.group({
"key":{"k1":true}
"initial":{}
"$reduce":function(){
}
"condition":{query}
})
注意：
db.collection.group()使用JavaScript，它受到了一些性能上的限制。大多数情况下，$ group在Aggregation Pipeline提供了一种具有较少的限制适用的替代。可以通过指定的键的集合中的文档和执行简单的聚合函数
-------------------------------------------------------------------------------------------------------------------------
聚合查询：https://www.cnblogs.com/zhoujie/p/mongo1.html (结果限制大小16m)
db.c_n.aggregate([{ag1},{ag2}]) 聚合查询
$match:{query} 匹配条件
$sort:{aa:1/-1} 排序
$limit:10 输出条数
$skip:20 跳过条数
$unwind:"$aa" 将数组拆分
$out:"c_n" 将结果集迁移到c_n
$group *分组
$group:{_id:"$name",bbb:{$sum:1}}
_id:"$name" 指定分组字段，并以_id键返回数据
$sum 记录每组数据个数
-------------------------------------------------------------------------------------------------------------------------
结果重塑：
-------------------------------------------------------------------------------------------------------------------------
统计例子：
-------------------------------------------------------------------------------------------------------------------------
查询分析：
1、开启profile功能(慢查询记录)：
db.getProfilingLevel() 返回level 值0关闭/1慢日志/2
db.setProfilingLevel(level，50(ms)) 记录大于50ms的日志
db.system.profile.find() 查询慢日志
-------------------------------------------------------------------------------------------------------------------------
mongo数据导入导出：
备份/恢复：mongodump/mongorestore
内存日志：journal：db文件下的journal目录
journalCommitInterval = 200 启动项配置journal刷新时间
导入/导出集合：mongoimport/mongoexport
-------------------------------------------------------------------------------------------------------------------------
mongodb集群：
0、副本集原理：
a.一个为主节点,其余的都为从节点。
b.主节点上能够完成读写操作,从节点仅能用于读操作。
c.同步：
(1)第一次启动,删除除了local以外的库，数据全量同步。
(2)同步后，各个从节点通过主节点oplog来复制数据并应用于本地。
(3)宕机或者oplog操作大于一轮未同步，数据全量同步。
(4)从节点通过检查本地oplog最新点和主节点最久点作比较，同步操作。
(5)oplogSize设置较大值避免全量同步。
d.主节点需要记录所有曾删改操作,这些记录保存在local库的oplog文件。
e.oplog：包括:ts时间、op操作类型、ns集合、o文档
(1)oplog为固定集合，超过oplogSize旧值会被覆盖。
(2)oplog 具有幂等性,即无论执行几次其结果一致(例如多次增加)。
(3)oplog包含一个递增的序号来记录操作的时效性。
f.集群中的各节点还会通过传递心跳(默认2s)信息来检测各自的健康状况。
g.主节点选举：
(1)投票，优先级最高的(优先级相同时数据最新的)为主节点。
(2)主节点通过心跳判断集群中多少节点对其可见，小于一半时降级。
(4)选举成功后集群以主节点oplog为最新数据，其他节点的操作都会回
滚，所有节点连接新的活跃节点后要重新同步。这些节点会查看自己的
oplog，找出其中活跃节点没有执行过的操作，然后向活跃节点请求这些操
作影响的文档的最新副本。正在执行重新同步的节点被视为恢复中，在完
成这个过程前，不能成为活跃节点候选者。
(3)参与选举节点数必须大于副本总节点数的一半，如果小于一半则所有
节点变成只读状态。
h.推荐MongoDB副本节点最少为3台,建议副本集成员为奇数,最多12个副
本节点,最多7个节点参与选举,过多时会增加复制压力。
i.所有的Secondary都宕机了，只剩下Primary。最后Primary会变Secondary，
不能提供服务。
1、副本集群管理：
rs.:副本命令，是replSet是缩写，代表副本集。
config={"_id":"shard1", "members":[
{"_id":1,"host":"120.77.37.94:27017","priority":1}
,{"_id": 2,"host":"47.107.174.213:27017","priority":2}
,{"_id": 3,"host":"132.232.156.103:27017","arbiterOnly":true(只作为仲裁节点)}] }
rs.initiate(config)
rs.status() //查看成员的运行状态等信息
rs.config() //查看配置信息
*rs.slaveOk() //允许在SECONDARY节点上进行查询操作，默认从节点不具有查询
功能
rs.isMaster() //查询该节点是否是主节点
rs.add({"ip:port"}) //添加新的节点到该副本集中
rs.remove({"ip:port"}) //从副本集中删除节点
2、主从复制：
--only 从节点指定复制某个数据库,默认是复制全部数据库
--slavedelay 从节点设置主数据库同步数据的延迟(单位是秒)
--fastsync 从节点以主数据库的节点快照为节点启动从数据库
--autoresync 从节点如果不同步则从新同步数据库(即选择当通过热添加了一台从服务器之后，从服务器选择是否更新主服务器之间的数据)
--oplogSize 主节点设置oplog的大小(主节点操作记录存储到local的oplog中)
主节点：
master=true #开启主节点
从节点：
slave=true #开启从节点
source 120.77.37.94:27017 #指定主节点
*shell添加主节点：
use local
db.sourse.insert({"host","120.222.222.22"})
*shell删除主节点：
db.sourse.remove({"host","120.222.222.22"})
3、切片集群：http://www.lanceyan.com/tech/arch/mongodb_shard1.html
注：切片权限和副本集权限是分开管理的。
-------------------------------------------------------------------------------------------------------------------------
mongodb引擎：mongod --storageEngine mmapv1
1、wiredTiger引擎：3.0新增，3.2之后默认引擎。官方宣称在read、insert和复杂的
update下具有更高的性能。
(1)所有的write请求都基于“文档级别”的lock。
(2)通过在配置文件中指定“cacheSizeGB”参数设定引擎使用的内存量，此内存用于
缓存工作集数据（索引、namespace，未提交的write，query缓冲等）。
(3)wiredTiger每隔60秒（默认）或者待写入的数据达到2G时，将内存中的数据变更
flush到磁盘中的数据文件中，并做一个标记点。
(4)对于write操作，首先被持久写入journal，然后在内存中保存变更数据。journal日
志默认每个100毫秒同步磁盘一次，每100M数据生成一个新的journal文件，journal
默认使用了snappy压缩，检测点创建后，此前的journal日志即可清除。
2、MMAPv1引擎：
(1)所有的write请求都基于“collection”的lock。
(2)将数据文件映射到内存中。
-------------------------------------------------------------------------------------------------------------------------
mongodb版本：
3.2联合查询 look up / mongoose
4.0多文档事物 http://www.mongoing.com/archives/5560
