MongoDb是NoSQl中目前比较流行的一种分布式存储的解决方案,主从,副本集及分片等都支持的很好,在分布式存储的架构下,自然有分布式的计算,MapReduce是Mongodb的分布式计算支持。
它的MapReduce有点类似GroupBy的效果,首先是Map:遍历集合,把具有相同Value的Key整理成一个Key:Values的键值对,作为参数传递给Reduce函数,由Reduce函数进行进一步的化简处理,最后把结果写到指定的集合中。
mongo内置的count,distinct,group 的功能MapReduce都能够实现
> db.events.count(); 13321 > db.runCommand({"distinct":"events","key":"type"}); { "values" : [ "IPA", "IPI", "REG", "OTDPS", "IPO", "EXO", "IPOP", "ECG", "ASO", "CUR" ], "stats" : { "n" : 13321, "nscanned" : 13321, "nscannedObjects" : 13321, "timems" : 117, "cursor" : "BasicCursor" }, "ok" : 1 } >
看看他的语法:
db.runCommand(
{ mapreduce : 集合名,
map : js函数
reduce : js函数
[, query : 文档,发往map函数前先给过渡文档]
[, sort : 文档,发往map函数前先给文档排序]
[, limit : 整数,发往map函数的文档数量上限]
[, out : 字符串,统计结果保存的集合]
[, keeptemp: 布尔值,链接关闭时临时结果集合是否保存]
[, finalize : 函数,将reduce的结果送给这个函数,做最后的处理]
[, scope : 文档,js代码中要用到的变量]
[, jsMode : 布尔值,是否减少执行过程中BSON和JS的转换,默认
true
]
[, verbose : 布尔值,是否产生更加详细的服务器日志,默认
true
]
}
);
下面做一个简单的例子:比如我要找出性别为”男“的人的姓名和性别为“女”的人的姓名,其实就是一个简单的按照性别来分组的功能,
先准备下测试数据
1 连接到MongoDb先
mongo.exe localhost:27017; use test_his; db.auth("test","test");
2 插入测试数据
db.mrtest.insert({"name" : "李雷","sex" : "M"}); db.mrtest.insert({"name" : "小赵","sex" : "M"}); db.mrtest.insert({"name" : "杨丽","sex" : "F"}); db.mrtest.insert({"name" : "红红","sex" : "F"}); db.mrtest.insert({"name" : "小李","sex" : "M"});3 编写Map函数(调用emit)
var map=function(){ emit(this.sex,this.name); }
emit函数的第一个参数为分组的KEY,第二个参数为需要处理的数据(格式为JSON类型)
4 编写Reduce函数
var reduce=function(key,values){ // var retur={sex:key,names:values}; var retur={names:values}; return retur; }Reduce函数,直接返回了按SEX分组后的姓名列表,这个的返回值可以带上SEX,就是注释的那行
5 测试下
finalize
编写一个finalize 函数
var final=function(key,retur){ if(key=="M"){ retur.msg="is a man"; } return retur; }假如是男人,那么描述是“is a man”
6 使用db.runCommand()调用
db.runCommand({ mapreduce:"mrtest", map:map, reduce:reduce, finalize:final, out:"sextest" });将结果保存在sextest中
执行结果 写道
> db.sextest.find();
{ "_id" : "F", "value" : { "names" : [ "杨丽", "红红" ] } }
{ "_id" : "M", "value" : { "names" : [ "李雷", "小赵", "小李" ], "msg" : "is a m
an" } }
{ "_id" : "F", "value" : { "names" : [ "杨丽", "红红" ] } }
{ "_id" : "M", "value" : { "names" : [ "李雷", "小赵", "小李" ], "msg" : "is a m
an" } }
上面是按性别来分组,找出人,假如要算出男女个多少个,MapReduce还可以这样来实现
var map=function(){ emit(this.sex,{count:1}); } var reduce=function(key,values){ var cou=0; for(var i=0;i<values.length;i++){ cou+=values[i].count; } var retur={sex:key,count:cou}; return retur; }
这个是一个简单MapReduc的示例,自然也可以使用JAVA代码进行调用执行,目前针对MongoDb的编程框架,用到的比较多的就是Spring Data For Mongodb ,但是Spring却并没有对MapReduce功能做过多的封装,需要把Map,Reduce的Function函数使用字符串的形式定义,采用RunCommand来执行,这样代码看起来比较难于维护,所以需要的时候,建议采用Hadoop编程框架来做,代码看起来比较优雅。