MongoDB中MapReduce的使用方法詳解
前言
玩過Hadoop的小伙伴對MapReduce應(yīng)該不陌生，MapReduce的強(qiáng)大且靈活，它可以將一個(gè)大問題拆分為多個(gè)小問題，將各個(gè)小問題發(fā)送到不同的機(jī)器上去處理，所有的機(jī)器都完成計(jì)算后，再將計(jì)算結(jié)果合并為一個(gè)完整的解決方案，這就是所謂的分布式計(jì)算。本文我們就來看看MongoDB中MapReduce的使用。
打算用mongodb mapreduce之前一定要知道的事?。。?/strong>
mapreduce其實(shí)是分批處理數(shù)據(jù)的，每一百次重新reduce處理，所以到reduce里的數(shù)據(jù)如果是101條，那就會分2次進(jìn)入。
這導(dǎo)致的問題就是在reduce中 如果 初始化 var count = 0；在循環(huán)中 count ++，最后輸出的是1？？？
避免都方法是，把數(shù)據(jù)存在返回的value里，這個(gè)value是會在循環(huán)進(jìn)入reduce的時(shí)候重用的。在循環(huán)中 count += value.count就能把之前都100加上了?。?！
還有如果只有一條數(shù)據(jù)，那它不會進(jìn)入reduce，會直接返回。
下面是具體例子：
string map = @"
function() {
var view = this;
emit(view.activity, {pv: 1});
}";
string reduce = @"
function(key, values) {
var result = {pv: 0};
values.forEach(function(value){
result.pv += value.pv;
});
return result;
}";
string finalize = @"
function(key, value){
return value;
}";
mapReduce
MongoDB中的MapReduce可以用來實(shí)現(xiàn)更復(fù)雜的聚合命令，使用MapReduce主要實(shí)現(xiàn)兩個(gè)函數(shù)：map函數(shù)和reduce函數(shù)，map函數(shù)用來生成鍵值對序列，map函數(shù)的結(jié)果作為reduce函數(shù)的參數(shù)，reduce函數(shù)中再做進(jìn)一步的統(tǒng)計(jì)，比如我的數(shù)據(jù)集如下：
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d7"),"name" : "魯迅","book" : "吶喊","price" : 38.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d8"),"name" : "曹雪芹","book" : "紅樓夢","price" : 22.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d9"),"name" : "錢鐘書","book" : "宋詩選注","price" : 99.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908da"),"name" : "錢鐘書","book" : "談藝錄","price" : 66.0,"publisher" : "三聯(lián)書店"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908db"),"name" : "魯迅","book" : "彷徨","price" : 55.0,"publisher" : "花城出版社"}
假如我想查詢每位作者所出的書的總價(jià)，操作如下：
var map=function(){emit(this.name,this.price)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"totalPrice"}
db.sang_books.mapReduce(map,reduce,options);
db.totalPrice.find()
emit函數(shù)主要用來實(shí)現(xiàn)分組，接收兩個(gè)參數(shù)，第一個(gè)參數(shù)表示分組的字段，第二個(gè)參數(shù)表示要統(tǒng)計(jì)的數(shù)據(jù)，reduce來做具體的數(shù)據(jù)處理操作，接收兩個(gè)參數(shù)，對應(yīng)emit方法的兩個(gè)參數(shù)，這里使用了Array中的sum函數(shù)對price字段進(jìn)行自加處理，options中定義了將結(jié)果輸出的集合，屆時(shí)我們將在這個(gè)集合中去查詢數(shù)據(jù)，默認(rèn)情況下，這個(gè)集合即使在數(shù)據(jù)庫重啟后也會保留，并且保留集合中的數(shù)據(jù)。
查詢結(jié)果如下：
{
"_id" : "曹雪芹",
"value" : 22.0
}
{
"_id" : "錢鐘書",
"value" : 165.0
}
{
"_id" : "魯迅",
"value" : 93.0
}
再比如我想查詢每位作者出了幾本書，如下：
var map=function(){emit(this.name,1)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"bookNum"}
db.sang_books.mapReduce(map,reduce,options);
db.bookNum.find()
查詢結(jié)果如下：
{
"_id" : "曹雪芹",
"value" : 1.0
}
{
"_id" : "錢鐘書",
"value" : 2.0
}
{
"_id" : "魯迅",
"value" : 2.0
}
將每位作者的書列出來，如下：
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()
結(jié)果如下：
{
"_id" : "曹雪芹",
"value" : "紅樓夢"
}
{
"_id" : "錢鐘書",
"value" : "宋詩選注,談藝錄"
}
{
"_id" : "魯迅",
"value" : "吶喊,彷徨"
}
比如查詢每個(gè)人售價(jià)在￥40以上的書：
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={query:{price:{$gt:40}},out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()
query表示對查到的集合再進(jìn)行篩選。
結(jié)果如下：
{
"_id" : "錢鐘書",
"value" : "宋詩選注,談藝錄"
}
{
"_id" : "魯迅",
"value" : "彷徨"
}
runCommand實(shí)現(xiàn)
我們也可以利用runCommand命令來執(zhí)行MapReduce。格式如下：
db.runCommand(
{
mapReduce: <collection>,
map: <function>,
reduce: <function>,
finalize: <function>,
out: <output>,
query: <document>,
sort: <document>,
limit: <number>,
scope: <document>,
jsMode: <boolean>,
verbose: <boolean>,
bypassDocumentValidation: <boolean>,
collation: <document>
}
)
含義如下：
| 參數(shù) | 含義 |
|---|---|
| mapReduce | 表示要操作的集合 |
| map | map函數(shù) |
| reduce | reduce函數(shù) |
| finalize | 最終處理函數(shù) |
| out | 輸出的集合 |
| query | 對結(jié)果進(jìn)行過濾 |
| sort | 對結(jié)果排序 |
| limit | 返回的結(jié)果數(shù) |
| scope | 設(shè)置參數(shù)值，在這里設(shè)置的值在map、reduce、finalize函數(shù)中可見 |
| jsMode | 是否將map執(zhí)行的中間數(shù)據(jù)由javascript對象轉(zhuǎn)換成BSON對象，默認(rèn)為false |
| verbose | 是否顯示詳細(xì)的時(shí)間統(tǒng)計(jì)信息 |
| bypassDocumentValidation | 是否繞過文檔驗(yàn)證 |
| collation | 其他一些校對 |
如下操作，表示執(zhí)行MapReduce操作并對統(tǒng)計(jì)的集合限制返回條數(shù)，限制返回條數(shù)之后再進(jìn)行統(tǒng)計(jì)操作，如下：
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",limit:4,verbose:true})
db.books.find()
執(zhí)行結(jié)果如下：
{
"_id" : "曹雪芹",
"value" : "紅樓夢"
}
{
"_id" : "錢鐘書",
"value" : "宋詩選注,談藝錄"
}
{
"_id" : "魯迅",
"value" : "吶喊"
}
小伙伴們看到，魯迅有一本書不見了，就是因?yàn)閘imit是先限制集合返回條數(shù)，然后再執(zhí)行統(tǒng)計(jì)操作。
finalize操作表示最終處理函數(shù)，如下：
var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1})
db.books.find()
f1第一個(gè)參數(shù)key表示emit中的第一個(gè)參數(shù)，第二個(gè)參數(shù)表示reduce的執(zhí)行結(jié)果，我們可以在f1中對這個(gè)結(jié)果進(jìn)行再處理，結(jié)果如下：
{
"_id" : "曹雪芹",
"value" : {
"author" : "曹雪芹",
"books" : "紅樓夢"
}
}
{
"_id" : "錢鐘書",
"value" : {
"author" : "錢鐘書",
"books" : "宋詩選注,談藝錄"
}
}
{
"_id" : "魯迅",
"value" : {
"author" : "魯迅",
"books" : "吶喊,彷徨"
}
}
scope則可以用來定義一個(gè)在map、reduce和finalize中都可見的變量，如下：
var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue;obj.sang=sang; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',--'+sang+'--,')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1,scope:{sang:"haha"}})
db.books.find()
執(zhí)行結(jié)果如下：
{
"_id" : "曹雪芹",
"value" : {
"author" : "曹雪芹",
"books" : "紅樓夢",
"sang" : "haha"
}
}
{
"_id" : "錢鐘書",
"value" : {
"author" : "錢鐘書",
"books" : "宋詩選注,--haha--,談藝錄",
"sang" : "haha"
}
}
{
"_id" : "魯迅",
"value" : {
"author" : "魯迅",
"books" : "吶喊,--haha--,彷徨",
"sang" : "haha"
}
}
好了，MongoDB中的MapReduce我們就先說到這里，小伙伴們有問題歡迎留言討論。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
參考資料：
1.《MongoDB權(quán)威指南第2版》
3.mongoDB--mapreduce用法詳解(未找到原始出處)
- Go語言實(shí)現(xiàn)MapReduce的示例代碼
- 使用golang實(shí)現(xiàn)一個(gè)MapReduce的示例代碼
- golang并發(fā)工具M(jìn)apReduce降低服務(wù)響應(yīng)時(shí)間
- Golang編程并發(fā)工具庫MapReduce使用實(shí)踐
- golang如何實(shí)現(xiàn)mapreduce單進(jìn)程版本詳解
- Mongodb中MapReduce實(shí)現(xiàn)數(shù)據(jù)聚合方法詳解
- MongoDB學(xué)習(xí)筆記之MapReduce使用示例
- MongoDB中的MapReduce簡介
- MongoDB中MapReduce編程模型使用實(shí)例
- Go通用的?MapReduce?工具函數(shù)詳解
相關(guān)文章
本文給大家介紹的教程主要參考資源的官方文檔，當(dāng)然如果你是centos6的，也可以看看其他文章，筆者用的是7，mongodb想用3以上的版本，需要的小伙伴可以參考下2016-11-11
mongodb查看數(shù)據(jù)庫和表的方法比較簡單，在為這里推薦使用stats的方法，直觀并且詳細(xì)。2014-07-07
淺談MySQL和MariaDB區(qū)別(mariadb和mysql的性能比較)
MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能輕松成為MySQL的代替品2018-02-02
對MongoDB部署啟用訪問控制會強(qiáng)制執(zhí)行用戶身份驗(yàn)證，要求在登錄MongoDB系統(tǒng)用戶識別自己。 當(dāng)訪問啟用了訪問控制的MongoDB部署時(shí)，用戶只能執(zhí)行由其角色確定的操作。2017-08-08
這篇文章主要介紹了MongoDB入門教程之分片技術(shù)詳解,分片是mongodb中的另一種集群技術(shù),需要的朋友可以參考下2014-08-08
這篇文章主要介紹了MongoDB簡介,MongoDB五大特色,本文講解了豐富的數(shù)據(jù)模型、容易擴(kuò)展、豐富的功能、高性能、簡便的管理等內(nèi)容,需要的朋友可以參考下2015-05-05
mongodb分片技術(shù)_動力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要介紹了mongodb分片技術(shù)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-08-08
這篇文章主要介紹了springboot如何整合mongodb，mongodb的安裝和使用，感興趣的同學(xué)可以參考閱讀本文2023-03-03
這篇文章主要給大家介紹了關(guān)于mongoDB 4.0事務(wù)回滾的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用MongoDB具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-07-07
MongoDB?是一個(gè)基于分布式文件存儲的數(shù)據(jù)庫，而MySQL?是一款安全、跨平臺、高效的，并與?PHP、Java?等主流編程語言緊密結(jié)合的數(shù)據(jù)庫系統(tǒng)，本文重點(diǎn)給大家介紹MongoDB和mysql的區(qū)別,需要的朋友可以參考下2023-01-01