在Hadoop框架中最著名的就是MapReduce組件，它的處理邏輯來源于谷歌的舊三駕馬車之一——MapReduce。

MapReduce是解決問題并行任務的一種模型，將一個可拆解的任務分散到多個計算節點進行計算，最后合并計算結果。

例如，現在需要解決一個問題：盡可能以比較快的速度統計一個圖書館在書架上一共陳列了多少本書。

圖 統計圖書館的書

一種方法是，找一個在數數方面有超高本領的人，由他一個人來完成;另一種方法是，雇用一大批資質平庸的負責統計圖書數量的人和一個負責分配任務的人，由分配任務的人負責劃分區域，確保每個人都分到一部分要統計的書架，不重不漏。然后對所有的人下發開始統計的指令，統計圖書的人將自己負責的區域統計完成記錄到紙上，所有統計圖書的人上交統計結果后，負責分配任務的人將所有人的統計結果進行累加，得到圖書統計的結果。如果中途有人因為一些意外原因發生計數終止，那么就再派一個人前去重新完成他未完成的工作任務。

不難想象，如果方法得當，后一種方法要比前一種方法靠譜一些。

這個有超高本領的人是不是容易被找到，他一個人會不會有失誤，他的薪水要求是不是太高，這些問題的可控性會變得非常不好。而資質平庸的人通常在市場供應方面不會讓我們那么擔心，只要統計的方法論和調度方式沒有問題，不僅這種方式的風險更小，而且成本更低，速度更快，MapReduce就是這樣一種并行機制。

下面從辯證的角度來看這種機制的優點和缺點。優點如下：

(1)隱藏大量技術細節。開發人員不需要關注容災管理、負載均衡和并行計算實現的代碼部分，只需要調用相關的API，設置參數即可。

(2)可伸縮性好。在Map階段，可以實現每增加一臺服務器就將計算能力接入到集群里，而且能實現在集群運行時添加計算節點(一般用在線擴容這個技術名詞來描述這一特點)。缺點如下

(1)實時性差。和磁盤交互頻繁，中間要多次將計算結果保存到磁盤，使實時計算能力大打折扣。

(2)編程習慣需要適應。需要將在學習《數據結構》或者算法理論中學習到的算法實現方式轉換成為MapReduce方式，編程時需要特意構建這種程序邏輯。而且這種方式的局限性導致并非所有的問題都適合用MapReduce方式進行解決。

雖然有不少缺點，但是Hadoop仍然是目前離線計算的利器。