• <menu id="w2i4a"></menu>
  • Flume (產(chǎn)品編號(hào):13784)

    Flume是一個(gè)分布式、可靠、和高可用的海量日志聚合系統(tǒng)

    標(biāo)簽:

    開發(fā)商: Apache

    當(dāng)前版本: v1.6

    產(chǎn)品類型:控件

    產(chǎn)品功能:網(wǎng)絡(luò)通訊

    平臺(tái)語言:

    開源水平:不提供源碼

    本產(chǎn)品的分類與介紹僅供參考,具體以商家網(wǎng)站介紹為準(zhǔn),如有疑問請(qǐng)來電 023-68661681 咨詢。

    Flume是一個(gè)可高效收集、聚合和移動(dòng)大量日志數(shù)據(jù)的可靠的分布式系統(tǒng)。它擁有一個(gè)基于流動(dòng)數(shù)據(jù)流的簡(jiǎn)單而靈活的架構(gòu);它包含了許多故障轉(zhuǎn)移和恢復(fù)機(jī)制,擁有健壯的可靠性和高容錯(cuò)性;它使用的數(shù)據(jù)模型是簡(jiǎn)單和可擴(kuò)展的,可以進(jìn)行應(yīng)用程序的在線分析。

    產(chǎn)品質(zhì)量分析及預(yù)測(cè)

    * 關(guān)于本產(chǎn)品的分類與介紹僅供參考,精準(zhǔn)產(chǎn)品資料以官網(wǎng)介紹為準(zhǔn),如需購買請(qǐng)先行測(cè)試。

    特點(diǎn):

    可靠性

    當(dāng)節(jié)點(diǎn)出現(xiàn)故障時(shí),日志能夠被傳送到其他節(jié)點(diǎn)上而不會(huì)丟失。Flume提供了三種級(jí)別的可靠性保障,從強(qiáng)到弱依次分別為:end-to-end(收到數(shù)據(jù)agent首先將event寫到磁盤上,當(dāng)數(shù)據(jù)傳送成功后,再刪除;如果數(shù)據(jù)發(fā)送失敗,可以重新發(fā)送。),Store on failure(這也是scribe采用的策略,當(dāng)數(shù)據(jù)接收方crash時(shí),將數(shù)據(jù)寫到本地,待恢復(fù)后,繼續(xù)發(fā)送),Best effort(數(shù)據(jù)發(fā)送到接收方后,不會(huì)進(jìn)行確認(rèn))。

    可擴(kuò)展性

    Flume采用了三層架構(gòu),分別為agent,collector和storage,每一層均可以水平擴(kuò)展。其中,所有agent和collector由master統(tǒng)一管理,這使得系統(tǒng)容易監(jiān)控和維護(hù),且master允許有多個(gè)(使用ZooKeeper進(jìn)行管理和負(fù)載均衡),這就避免了單點(diǎn)故障問題。

    可管理性

    所有agent和colletor由master統(tǒng)一管理,這使得系統(tǒng)便于維護(hù)。多master情況,F(xiàn)lume利用ZooKeeper和gossip,保證動(dòng)態(tài)配置數(shù)據(jù)的一致性。用戶可以在master上查看各個(gè)數(shù)據(jù)源或者數(shù)據(jù)流執(zhí)行情況,且可以對(duì)各個(gè)數(shù)據(jù)源配置和動(dòng)態(tài)加載。Flume提供了web 和shell script command兩種形式對(duì)數(shù)據(jù)流進(jìn)行管理。

    功能可擴(kuò)展性

    用戶可以根據(jù)需要添加自己的agent,collector或者storage。此外,F(xiàn)lume自帶了很多組件,包括各種agent(file, syslog等),collector和storage(file,HDFS等)。

    架構(gòu):

    Flume采用了分層架構(gòu):分別為agent,collector和storage。其中,agent和collector均由兩部分組成:source和sink,source是數(shù)據(jù)來源,sink是數(shù)據(jù)去向。

    Flume

    Flume使用了兩個(gè)組件:Master和Node,Node根據(jù)在Master shell或web中動(dòng)態(tài)配置,決定其是作為Agent還是Collector。

    agent

    agent的作用是將數(shù)據(jù)源的數(shù)據(jù)發(fā)送給collector。Flume自帶了很多直接可用的數(shù)據(jù)源,同時(shí)提供了很多sink。

    collector

    collector的作用是將多個(gè)agent的數(shù)據(jù)匯總后,加載到storage中。它的source和sink與agent類似。

    storage

    storage是存儲(chǔ)系統(tǒng),可以是一個(gè)普通file,也可以是HDFS,HIVE,HBase,分布式存儲(chǔ)等。

    Master

    Master是管理協(xié)調(diào)agent和collector的配置等信息,是flume集群的控制器。

    Flume

    在Flume中,最重要的抽象是data flow(數(shù)據(jù)流),data flow描述了數(shù)據(jù)從產(chǎn)生,傳輸、處理并最終寫入目標(biāo)的一條路徑。

    1. 對(duì)于agent數(shù)據(jù)流配置就是從哪得到數(shù)據(jù),把數(shù)據(jù)發(fā)送到哪個(gè)collector。

    2. 對(duì)于collector是接收agent發(fā)過來的數(shù)據(jù),把數(shù)據(jù)發(fā)送到指定的目標(biāo)機(jī)器上。

    更新時(shí)間:2017-06-05 15:08:54.000 | 錄入時(shí)間:2016-02-01 11:56:06.000 | 責(zé)任編輯:陳俊吉

    相關(guān)產(chǎn)品
    控件
  • 產(chǎn)品功能:網(wǎng)絡(luò)通訊
  • 源 碼:非開源
  • 產(chǎn)品編號(hào):14306
  • 當(dāng)前版本:v10.0.1290 [銷售以商家最新版為準(zhǔn),如需其他版本,請(qǐng)來電咨詢]
  • 開 發(fā) 商: Catalyst Development Corporation 正式授權(quán)
  • ">SocketTools ActiveX Edition

    一套使你能夠在你的應(yīng)用程序中添加互聯(lián)網(wǎng)功能的ActiveX控件。

    控件
  • 產(chǎn)品功能:網(wǎng)絡(luò)通訊
  • 源 碼:非開源
  • 產(chǎn)品編號(hào):14307
  • 當(dāng)前版本:v10.0.1290 [銷售以商家最新版為準(zhǔn),如需其他版本,請(qǐng)來電咨詢]
  • 開 發(fā) 商: Catalyst Development Corporation 正式授權(quán)
  • ">SocketTools Library Edition

    SocketTools庫版是一套Windows庫,可簡(jiǎn)化互聯(lián)網(wǎng)應(yīng)用開發(fā)

    控件
  • 產(chǎn)品功能:網(wǎng)絡(luò)通訊
  • 源 碼:非開源
  • 產(chǎn)品編號(hào):14308
  • 當(dāng)前版本:v10.0.1290 [銷售以商家最新版為準(zhǔn),如需其他版本,請(qǐng)來電咨詢]
  • 開 發(fā) 商: Catalyst Development Corporation 正式授權(quán)
  • ">SocketTools Subscription

    一套用于Windows軟件開發(fā)的互聯(lián)網(wǎng)組件和庫

    軟件
  • 產(chǎn)品功能:網(wǎng)絡(luò)通訊
  • 源 碼:非開源
  • 產(chǎn)品編號(hào):12466
  • 當(dāng)前版本:6.13.266.0 [銷售以商家最新版為準(zhǔn),如需其他版本,請(qǐng)來電咨詢]
  • 開 發(fā) 商: Software Toolbox 正式授權(quán)
  • ">TOP Server OPC Server

    工業(yè)4.0工業(yè)控制軟件Software Toolbox's OPC和原生HMI設(shè)備的連接軟件,采用業(yè)界領(lǐng)先的Kepware技術(shù)。

    軟件
  • 產(chǎn)品功能:網(wǎng)絡(luò)通訊
  • 源 碼:非開源
  • 產(chǎn)品編號(hào):14311
  • 當(dāng)前版本:2021 [銷售以商家最新版為準(zhǔn),如需其他版本,請(qǐng)來電咨詢]
  • 開 發(fā) 商: Software Toolbox 正式授權(quán)
  • ">IoT Solutions

    MQTT, Azure, Amazon, Google, Rest, & Edge物聯(lián)網(wǎng)方案

    掃碼咨詢


    添加微信 立即咨詢

    電話咨詢

    客服熱線
    023-68661681

    TOP
    三级成人熟女影院,欧美午夜成人精品视频,亚洲国产成人乱色在线观看,色中色成人论坛 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();