編程模型

MapReduce采用“分而治之”的思想，把對大規(guī)模數(shù)據(jù)集的操作，分發(fā)給一個主節(jié)點管理下的各個分節(jié)點共同完成，然后通過整合各個節(jié)點的中間結(jié)果，得到最終結(jié)果。簡單地說，MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。

在Hadoop中，用于執(zhí)行MapReduce任務(wù)的機器角色有兩個：一個是JobTracker；另一個是TaskTracker，JobTracker是用于調(diào)度工作的，TaskTracker是用于執(zhí)行工作的。一個Hadoop集群中只有一臺JobTracker。

在分布式計算中，MapReduce框架負責處理了并行編程中分布式存儲、工作調(diào)度、負載均衡、容錯均衡、容錯處理以及網(wǎng)絡(luò)通信等復雜問題，把處理過程高度抽象為兩個函數(shù)：map和reduce，map負責把任務(wù)分解成多個任務(wù)，reduce負責把分解后多任務(wù)處理的結(jié)果匯總起來。

需要注意的是，用MapReduce來處理的數(shù)據(jù)集（或任務(wù)）必須具備這樣的特點：待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行地進行處理。

主要功能

MapReduce提供了以下的主要功能：

1）數(shù)據(jù)劃分和計算任務(wù)調(diào)度：

系統(tǒng)自動將一個作業(yè)（Job）待處理的大數(shù)據(jù)劃分為很多個數(shù)據(jù)塊，每個數(shù)據(jù)塊對應(yīng)于一個計算任務(wù)（Task），并自動 調(diào)度計算節(jié)點來處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負責分配和調(diào)度計算節(jié)點（Map節(jié)點或Reduce節(jié)點），同時負責監(jiān)控這些節(jié)點的執(zhí)行狀態(tài)，并 負責Map節(jié)點執(zhí)行的同步控制

2）數(shù)據(jù)/代碼互定位：

為了減少數(shù)據(jù)通信，一個基本原則是本地化數(shù)據(jù)處理，即一個計算節(jié)點盡可能處理其本地磁盤上所分布存儲的數(shù)據(jù)，這實現(xiàn)了代碼向 數(shù)據(jù)的遷移；當無法進行這種本地化數(shù)據(jù)處理時，再尋找其他可用節(jié)點并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點（數(shù)據(jù)向代碼遷移），但將盡可能從數(shù)據(jù)所在的本地機架上尋 找可用節(jié)點以減少通信延遲。

3）系統(tǒng)優(yōu)化：

為了減少數(shù)據(jù)通信開銷，中間結(jié)果數(shù)據(jù)進入Reduce節(jié)點前會進行一定的合并處理；一個Reduce節(jié)點所處理的數(shù)據(jù)可能會來自多個 Map節(jié)點，為了避免Reduce計算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點輸出的中間結(jié)果需使用一定的策略進行適當?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個 Reduce節(jié)點；此外，系統(tǒng)還進行一些計算性能優(yōu)化處理，如對最慢的計算任務(wù)采用多備份執(zhí)行、選最快完成者作為結(jié)果。

4）出錯檢測和恢復：

以低端商用服務(wù)器構(gòu)成的大規(guī)模MapReduce計算集群中，節(jié)點硬件（主機、磁盤、內(nèi)存等）出錯和軟件出錯是常態(tài)，因此 MapReduce需要能檢測并隔離出錯節(jié)點，并調(diào)度分配新的節(jié)點接管出錯節(jié)點的計算任務(wù)。同時，系統(tǒng)還將維護數(shù)據(jù)存儲的可靠性，用多備份冗余存儲機制提 高數(shù)據(jù)存儲的可靠性，并能及時檢測和恢復出錯的數(shù)據(jù)。