沒有找到合適的產(chǎn)品?
聯(lián)系客服協(xié)助選型:023-68661681
提供3000多款全球軟件/控件產(chǎn)品
針對軟件研發(fā)的各個階段提供專業(yè)培訓與技術(shù)咨詢
根據(jù)客戶需求提供定制化的軟件開發(fā)服務(wù)
全球知名設(shè)計軟件,顯著提升設(shè)計質(zhì)量
打造以經(jīng)營為中心,實現(xiàn)生產(chǎn)過程透明化管理
幫助企業(yè)合理產(chǎn)能分配,提高資源利用率
快速打造數(shù)字化生產(chǎn)線,實現(xiàn)全流程追溯
生產(chǎn)過程精準追溯,滿足企業(yè)合規(guī)要求
以六西格瑪為理論基礎(chǔ),實現(xiàn)產(chǎn)品質(zhì)量全數(shù)字化管理
通過大屏電子看板,實現(xiàn)車間透明化管理
對設(shè)備進行全生命周期管理,提高設(shè)備綜合利用率
實現(xiàn)設(shè)備數(shù)據(jù)的實時采集與監(jiān)控
利用數(shù)字化技術(shù)提升油氣勘探的效率和成功率
鉆井計劃優(yōu)化、實時監(jiān)控和風險評估
提供業(yè)務(wù)洞察與決策支持實現(xiàn)數(shù)據(jù)驅(qū)動決策
打通數(shù)據(jù)孤島 實現(xiàn)生產(chǎn)過程全透明化
實現(xiàn)產(chǎn)品全生命周期的質(zhì)量管理與追溯
精準制定生產(chǎn)計劃 合理配置生產(chǎn)資源
全面可視的生產(chǎn)質(zhì)量統(tǒng)計與追溯
一鍵生成排產(chǎn)計劃,有效提升資源利用率
打通生產(chǎn)過程數(shù)字化全鏈路,提高生產(chǎn)效率
幫助企業(yè)大幅降低因改裝質(zhì)量問題帶來的損失
打造數(shù)字化工廠,全面提升產(chǎn)品質(zhì)量
快速應對訂單變化,大幅減少企業(yè)資源浪費
實現(xiàn)產(chǎn)品報價快速精準,全面實現(xiàn)生產(chǎn)透明化
打造生產(chǎn)計劃自動排產(chǎn)信息化平臺
一個高可用的,高可靠的,分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)
標簽:大數(shù)據(jù)開源數(shù)據(jù)分析開發(fā)商: Apache
當前版本: 1.7.0
產(chǎn)品類型:開源
產(chǎn)品功能:大數(shù)據(jù)分析工具
平臺語言:
開源水平:不提供源碼
本產(chǎn)品的分類與介紹僅供參考,具體以商家網(wǎng)站介紹為準,如有疑問請來電 023-68661681 咨詢。
* 關(guān)于本產(chǎn)品的分類與介紹僅供參考,精準產(chǎn)品資料以官網(wǎng)介紹為準,如需購買請先行測試。
從Hadoop的業(yè)務(wù)開發(fā)流程圖中可以看出,在大數(shù)據(jù)的業(yè)務(wù)處理過程中,對于數(shù)據(jù)的采集是十分重要的一步,也是不可避免的一步,從而引出我們本文的主角—Flume。本文將圍繞Flume的架構(gòu)、Flume的應用(日志采集)進行詳細的介紹。
1、Flume的概念
flume是分布式的日志收集系統(tǒng),它將各個服務(wù)器中的數(shù)據(jù)收集起來并送到指定的地方去,比如說送到圖中的HDFS,簡單來說flume就是收集日志的。
2、Event的概念
在這里有必要先介紹一下flume中event的相關(guān)概念:flume的核心是把數(shù)據(jù)從數(shù)據(jù)源(source)收集過來,在將收集到的數(shù)據(jù)送到指定的目的地(sink)。為了保證輸送的過程一定成功,在送到目的地(sink)之前,會先緩存數(shù)據(jù)(channel),待數(shù)據(jù)真正到達目的地(sink)后,flume在刪除自己緩存的數(shù)據(jù)。
在整個數(shù)據(jù)的傳輸?shù)倪^程中,流動的是event,即事務(wù)保證是在event級別進行的。那么什么是event呢?—–event將傳輸?shù)臄?shù)據(jù)進行封裝,是flume傳輸數(shù)據(jù)的基本單位,如果是文本文件,通常是一行記錄,event也是事務(wù)的基本單位。event從source,流向channel,再到sink,本身為一個字節(jié)數(shù)組,并可攜帶headers(頭信息)信息。event代表著一個數(shù)據(jù)的最小完整單元,從外部數(shù)據(jù)源來,向外部的目的地去。
3、flume架構(gòu)介紹
flume之所以這么神奇,是源于它自身的一個設(shè)計,這個設(shè)計就是agent,agent本身是一個Java進程,運行在日志收集節(jié)點—所謂日志收集節(jié)點就是服務(wù)器節(jié)點。
agent里面包含3個核心的組件:source—->channel—–>sink,類似生產(chǎn)者、倉庫、消費者的架構(gòu)。
source:source組件是專門用來收集數(shù)據(jù)的,可以處理各種類型、各種格式的日志數(shù)據(jù),包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定義。
channel:source組件把數(shù)據(jù)收集來以后,臨時存放在channel中,即channel組件在agent中是專門用來存放臨時數(shù)據(jù)的——對采集到的數(shù)據(jù)進行簡單的緩存,可以存放在memory、jdbc、file等等。
sink:sink組件是用于把數(shù)據(jù)發(fā)送到目的地的組件,目的地包括hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定義。
4、flume的運行機制
flume的核心就是一個agent,這個agent對外有兩個進行交互的地方,一個是接受數(shù)據(jù)的輸入——source,一個是數(shù)據(jù)的輸出sink,sink負責將數(shù)據(jù)發(fā)送到外部指定的目的地。source接收到數(shù)據(jù)之后,將數(shù)據(jù)發(fā)送給channel,chanel作為一個數(shù)據(jù)緩沖區(qū)會臨時存放這些數(shù)據(jù),隨后sink會將channel中的數(shù)據(jù)發(fā)送到指定的地方—-例如HDFS等,注意:只有在sink將channel中的數(shù)據(jù)成功發(fā)送出去之后,channel才會將臨時數(shù)據(jù)進行刪除,這種機制保證了數(shù)據(jù)傳輸?shù)目煽啃耘c安全性。
5、flume的廣義用法
flume之所以這么神奇—-其原因也在于flume可以支持多級flume的agent,即flume可以前后相繼,例如sink可以將數(shù)據(jù)寫到下一個agent的source中,這樣的話就可以連成串了,可以整體處理了。flume還支持扇入(fan-in)、扇出(fan-out)。所謂扇入就是source可以接受多個輸入,所謂扇出就是sink可以將數(shù)據(jù)輸出多個目的地destination中。
對于flume的原理其實很容易理解,我們更應該掌握flume的具體使用方法,flume提供了大量內(nèi)置的Source、Channel和Sink類型。而且不同類型的Source、Channel和Sink可以自由組合—–組合方式基于用戶設(shè)置的配置文件,非常靈活。比如:Channel可以把事件暫存在內(nèi)存里,也可以持久化到本地硬盤上。Sink可以把日志寫入HDFS, HBase,甚至是另外一個Source等等。下面我將用具體的案例詳述flume的具體用法。
其實flume的用法很簡單—-書寫一個配置文件,在配置文件當中描述source、channel與sink的具體實現(xiàn),而后運行一個agent實例,在運行agent實例的過程中會讀取配置文件的內(nèi)容,這樣flume就會采集到數(shù)據(jù)。
更新時間:2017-04-28 14:23:13.000 | 錄入時間:2017-04-28 14:21:24.000 | 責任編輯:陳俊吉
WPF BI商業(yè)智能應用程序的最佳選擇,具有功能強大、運行速度快、靈活性佳的優(yōu)點。
軟件Tableau Prep是一款數(shù)據(jù)準備產(chǎn)品,可幫助您組合,整理和清理數(shù)據(jù)以進行分析。
軟件只需數(shù)分鐘,就可以創(chuàng)建美觀,內(nèi)容豐富的交互式數(shù)據(jù)可視化。
軟件可視化、分析并挖掘數(shù)據(jù)價值的統(tǒng)計軟件,幫助人們掌握數(shù)據(jù)的強大力量
控件Vizlib Library是一個不斷增長的強大可視化集合,它可以在不需要一行代碼的情況下重新定義Q
官方微信
官方微博
服務(wù)電話
重慶/ 023-68661681
華東/ 13452821722
華南/ 18100878085
華北/ 17382392642
客戶支持
技術(shù)支持咨詢服務(wù)
服務(wù)熱線:400-700-1020
郵箱:sales@evget.com
關(guān)注我們
地址 : 重慶市九龍坡區(qū)火炬大道69號6幢
慧都科技 版權(quán)所有 Copyright 2003- 2024 渝ICP備12000582號-13 渝公網(wǎng)安備 50010702500608號