特點(diǎn)：

可靠性

當(dāng)節(jié)點(diǎn)出現(xiàn)故障時(shí)，日志能夠被傳送到其他節(jié)點(diǎn)上而不會(huì)丟失。Flume提供了三種級(jí)別的可靠性保障，從強(qiáng)到弱依次分別為：end-to-end（收到數(shù)據(jù)agent首先將event寫到磁盤上，當(dāng)數(shù)據(jù)傳送成功后，再刪除；如果數(shù)據(jù)發(fā)送失敗，可以重新發(fā)送。），Store on failure（這也是scribe采用的策略，當(dāng)數(shù)據(jù)接收方crash時(shí)，將數(shù)據(jù)寫到本地，待恢復(fù)后，繼續(xù)發(fā)送），Best effort（數(shù)據(jù)發(fā)送到接收方后，不會(huì)進(jìn)行確認(rèn)）。

可擴(kuò)展性

Flume采用了三層架構(gòu)，分別為agent，collector和storage，每一層均可以水平擴(kuò)展。其中，所有agent和collector由master統(tǒng)一管理，這使得系統(tǒng)容易監(jiān)控和維護(hù)，且master允許有多個(gè)（使用ZooKeeper進(jìn)行管理和負(fù)載均衡），這就避免了單點(diǎn)故障問題。

可管理性

所有agent和colletor由master統(tǒng)一管理，這使得系統(tǒng)便于維護(hù)。多master情況，F(xiàn)lume利用ZooKeeper和gossip，保證動(dòng)態(tài)配置數(shù)據(jù)的一致性。用戶可以在master上查看各個(gè)數(shù)據(jù)源或者數(shù)據(jù)流執(zhí)行情況，且可以對(duì)各個(gè)數(shù)據(jù)源配置和動(dòng)態(tài)加載。Flume提供了web 和shell script command兩種形式對(duì)數(shù)據(jù)流進(jìn)行管理。

功能可擴(kuò)展性

用戶可以根據(jù)需要添加自己的agent，collector或者storage。此外，F(xiàn)lume自帶了很多組件，包括各種agent（file， syslog等），collector和storage（file，HDFS等）。

架構(gòu)：

Flume采用了分層架構(gòu)：分別為agent，collector和storage。其中，agent和collector均由兩部分組成：source和sink，source是數(shù)據(jù)來源，sink是數(shù)據(jù)去向。

Flume使用了兩個(gè)組件：Master和Node，Node根據(jù)在Master shell或web中動(dòng)態(tài)配置，決定其是作為Agent還是Collector。

agent

agent的作用是將數(shù)據(jù)源的數(shù)據(jù)發(fā)送給collector。Flume自帶了很多直接可用的數(shù)據(jù)源，同時(shí)提供了很多sink。

collector

collector的作用是將多個(gè)agent的數(shù)據(jù)匯總后，加載到storage中。它的source和sink與agent類似。

storage

storage是存儲(chǔ)系統(tǒng)，可以是一個(gè)普通file，也可以是HDFS，HIVE，HBase，分布式存儲(chǔ)等。

Master

Master是管理協(xié)調(diào)agent和collector的配置等信息，是flume集群的控制器。

在Flume中，最重要的抽象是data flow（數(shù)據(jù)流），data flow描述了數(shù)據(jù)從產(chǎn)生，傳輸、處理并最終寫入目標(biāo)的一條路徑。

1. 對(duì)于agent數(shù)據(jù)流配置就是從哪得到數(shù)據(jù)，把數(shù)據(jù)發(fā)送到哪個(gè)collector。

2. 對(duì)于collector是接收agent發(fā)過來的數(shù)據(jù)，把數(shù)據(jù)發(fā)送到指定的目標(biāo)機(jī)器上。