Hadoop教程：Hadoop系統(tǒng)分布式存儲(chǔ)與并行計(jì)算構(gòu)架

圖1-14展示了Hadoop系統(tǒng)的分布式存儲(chǔ)和并行計(jì)算構(gòu)架。從硬件體系結(jié)構(gòu)上看，Hadoop系統(tǒng)是一個(gè)運(yùn)行于普通的商用服務(wù)器集群的分布式存儲(chǔ)和并行計(jì)算系統(tǒng)。集群中將有一個(gè)主控節(jié)點(diǎn)用來(lái)控制和管理整個(gè)集群的正常運(yùn)行，并協(xié)調(diào)管理集群中各個(gè)從節(jié)點(diǎn)完成數(shù)據(jù)存儲(chǔ)和計(jì)算任務(wù)。每個(gè)從節(jié)點(diǎn)將同時(shí)擔(dān)任數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)和數(shù)據(jù)計(jì)算節(jié)點(diǎn)兩種角色，這樣設(shè)計(jì)的目的主要是在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)盡可能的本地化計(jì)算，以此提高系統(tǒng)的處理性能。為了能及時(shí)檢測(cè)和發(fā)現(xiàn)集群中某個(gè)從節(jié)點(diǎn)發(fā)生故障失效，主控節(jié)點(diǎn)采用心跳機(jī)制(Heartbeat)定期檢測(cè)從節(jié)點(diǎn)，如果從節(jié)點(diǎn)不能有效回應(yīng)心跳信息，則系統(tǒng)認(rèn)為這個(gè)從節(jié)點(diǎn)失效。

從軟件系統(tǒng)角度看，Hadoop系統(tǒng)包括分布式存儲(chǔ)和并行計(jì)算兩個(gè)部分。分布式存儲(chǔ)構(gòu)架上，Hadoop基于每個(gè)從節(jié)點(diǎn)上的本地文件系統(tǒng)，構(gòu)建一個(gè)邏輯上整體化的分布式文件系統(tǒng)，以此提供大規(guī)?？蓴U(kuò)展的分布式數(shù)據(jù)存儲(chǔ)功能，這個(gè)分布式文件系統(tǒng)稱為HDFS(Hadoop Distributed File System)，其中，負(fù)責(zé)控制和管理整個(gè)分布式文件系統(tǒng)的主控節(jié)點(diǎn)稱為NameNode，而每個(gè)具體負(fù)責(zé)數(shù)據(jù)存儲(chǔ)的從節(jié)點(diǎn)稱為DataNode。

進(jìn)一步，為了能對(duì)存儲(chǔ)在HDFS中的大規(guī)模數(shù)據(jù)進(jìn)行并行化的計(jì)算處理，Hadoop又提供了一個(gè)稱為MapReduce的并行化計(jì)算框架。該框架能有效管理和調(diào)度整個(gè)集群中的節(jié)點(diǎn)來(lái)完成并行化程序的執(zhí)行和數(shù)據(jù)處理，并能讓每個(gè)從節(jié)點(diǎn)盡可能對(duì)本地節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行本地化計(jì)算，其中，負(fù)責(zé)管理和調(diào)度整個(gè)集群進(jìn)行計(jì)算的主控節(jié)點(diǎn)稱為JobTracker，而每個(gè)負(fù)責(zé)具體的數(shù)據(jù)計(jì)算的從節(jié)點(diǎn)稱為TaskTracker。JobTracker可以與負(fù)責(zé)管理數(shù)據(jù)存儲(chǔ)的主控節(jié)點(diǎn)NameNode設(shè)置在同一個(gè)物理的主控服務(wù)器上，在系統(tǒng)規(guī)模較大、各自負(fù)載較重時(shí)兩者也可以分開(kāi)設(shè)置。但數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)DataNode 與計(jì)算節(jié)點(diǎn)TaskTracker會(huì)配對(duì)地設(shè)置在同一個(gè)物理的從節(jié)點(diǎn)服務(wù)器上。

Hadoop系統(tǒng)中的其他子系統(tǒng)，例如HBase、Hive等，將建立在上述HDFS分布式文件系統(tǒng)和MapReduce并行化計(jì)算框架之上。

來(lái)源：機(jī)械工業(yè)出版社  作者：黃宜華