Hadoop教程：Hadoop數(shù)據(jù)傳輸工具Sqoop

---

ApacheSqoop（SQL-to-Hadoop）項目旨在協(xié)助RDBMS與Hadoop之間進行高效的大數(shù)據(jù)交流。用戶可以在Sqoop的幫助下，輕松地把關系型數(shù)據(jù)庫的數(shù)據(jù)導入到Hadoop與其相關的系統(tǒng)(如HBase和Hive)中；同時也可以把數(shù)據(jù)從Hadoop系統(tǒng)里抽取并導出到關系型數(shù)據(jù)庫里。除了這些主要的功能外，Sqoop也提供了一些諸如查看數(shù)據(jù)庫表等實用的小工具。理論上，Sqoop支持任何一款支持JDBC規(guī)范的數(shù)據(jù)庫，如DB2、MySQL等。Sqoop還能夠將DB2數(shù)據(jù)庫的數(shù)據(jù)導入到HDFS上，并保存為多種文件類型。常見的有定界文本類型，Avro二進制類型以及SequenceFiles類型。在本文里，統(tǒng)一用定界文本類型。

Sqoop中一大亮點就是可以通過hadoop的mapreduce把數(shù)據(jù)從關系型數(shù)據(jù)庫中導入數(shù)據(jù)到HDFS。Sqoop架構非常簡單，其整合了Hive、Hbase和Oozie，通過map-reduce任務來傳輸數(shù)據(jù)，從而提供并發(fā)特性和容錯。

Sqoop在import時，需要制定split-by參數(shù)。Sqoop根據(jù)不同的split-by參數(shù)值來進行切分,然后將切分出來的區(qū)域分配到不同map中。每個map中再處理數(shù)據(jù)庫中獲取的一行一行的值，寫入到HDFS中。同時split-by根據(jù)不同的參數(shù)類型有不同的切分方法，如比較簡單的int型，Sqoop會取最大和最小split-by字段值，然后根據(jù)傳入的num-mappers來確定劃分幾個區(qū)域。比如selectmax(split_by),min(split-by)from得到的max(split-by)和min(split-by)分別為1000和1，而num-mappers為2的話，則會分成兩個區(qū)域(1,500)和(501-100),同時也會分成2個sql給2個map去進行導入操作，分別為selectXXXfromtablewheresplit-by>=1andsplit-by<500和selectXXXfromtablewheresplit-by>=501andsplit-by<=1000。最后每個map各自獲取各自SQL中的數(shù)據(jù)進行導入工作。

Sqoop大概流程

1. 讀取要導入數(shù)據(jù)的表結構，生成運行類，默認是QueryResult，打成jar包，然后提交給Hadoop
2. 設置好job，主要也就是設置好以上第六章中的各個參數(shù)
3. 這里就由Hadoop來執(zhí)行MapReduce來執(zhí)行Import命令

1)  首先要對數(shù)據(jù)進行切分，也就是DataSplit，DataDrivenDBInputFormat.getSplits(JobContext job)

2)  切分好范圍后，寫入范圍，以便讀取DataDrivenDBInputFormat.write(DataOutput output)，這里是lowerBoundQuery and upperBoundQuery

3)  讀取以上2）寫入的范圍DataDrivenDBInputFormat.readFields(DataInput input)

4)  然后創(chuàng)建RecordReader從數(shù)據(jù)庫中讀取數(shù)據(jù)DataDrivenDBInputFormat.createRecordReader(InputSplit split,TaskAttemptContext context)

5)  創(chuàng)建MAP，MapTextImportMapper.setup(Context context)

6)  RecordReader一行一行從關系型數(shù)據(jù)庫中讀取數(shù)據(jù)，設置好Map的Key和Value，交給MapDBRecordReader.nextKeyValue()

7)  運行MAP，mapTextImportMapper.map(LongWritable key, SqoopRecord val, Context context),最后生成的Key是行數(shù)據(jù)，由QueryResult生成，Value是NullWritable.get()

Sqoop1和Sqoop 2架構的變遷

首先這兩個版本是完全不兼容的，其具體的版本號區(qū)別為1.4.x為sqoop1，1.99x為sqoop2。sqoop1和sqoop2在架構和用法上已經(jīng)完全不同。在架構上，sqoop1僅僅使用一個sqoop客戶端，sqoop2引入了sqoopserver，對connector實現(xiàn)了集中的管理。其訪問方式也變得多樣化了，其可以通過RESTAPI、JAVAAPI、WEBUI以及CLI控制臺方式進行訪問。另外，其在安全性能方面也有一定的改善，在sqoop1中我們經(jīng)常用腳本的方式將HDFS中的數(shù)據(jù)導入到mysql中，或者反過來將mysql數(shù)據(jù)導入到HDFS中，其中在腳本里邊都要顯示指定mysql數(shù)據(jù)庫的用戶名和密碼的，安全性做的不是太完善。在sqoop2中，如果是通過CLI方式訪問的話，會有一個交互過程界面，你輸入的密碼信息不被看到，同時Sqoop2引入基于角色的安全機制。下圖是sqoop1和sqoop2簡單架構對比：

Sqoop1架構圖：

Sqoop2架構圖：

• sqoop1優(yōu)點：架構部署簡單
• sqoop1缺點：命令行方式容易出錯，格式緊耦合，無法支持所有數(shù)據(jù)類型，安全機制不夠完善，例如密碼暴漏， 安裝需要root權限，connector必須符合JDBC模型
• sqoop2優(yōu)點：多種交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的鏈接安裝在sqoop server上，完善權限管理機制，connector規(guī)范化，僅僅負責數(shù)據(jù)的讀寫
• sqoop2缺點：架構稍復雜，配置部署更繁瑣

來源：中國大數(shù)據(jù)