ETL (數(shù)據(jù)轉(zhuǎn)換)就是對(duì)數(shù)據(jù)的合并、清理和整合。通過轉(zhuǎn)換，可以實(shí)現(xiàn)不同的源數(shù)據(jù)在語義上的一致性。拋開大數(shù)據(jù)的概念與基本知識(shí)，進(jìn)入核心。我們從：數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘，四個(gè)方面討論ETL在大數(shù)據(jù)實(shí)際應(yīng)用中涉及的技術(shù)與知識(shí)點(diǎn)。

2016-05-24 10:42:06.000

傳統(tǒng)的數(shù)據(jù)處理程序面對(duì)日益龐大而復(fù)雜的數(shù)據(jù)，已無法再進(jìn)行有效的獲取及優(yōu)化分析。而這正是新一代的大數(shù)據(jù)應(yīng)用程序所要解決的問題。近期Apache軟件基金會(huì)(ASF)又一次將一批有趣的開源大數(shù)據(jù)項(xiàng)目升級(jí)為Apache頂級(jí)項(xiàng)目。這意味著，這些項(xiàng)目將能夠得到積極的發(fā)展和社區(qū)的大力支持。

2016-05-23 10:40:41.000

2016年被稱為一次“互聯(lián)網(wǎng)春節(jié)”。2月13日，基于支付寶使用數(shù)據(jù)的首份互聯(lián)網(wǎng)春節(jié)生活方式報(bào)告《指尖上的新年》發(fā)布，用大數(shù)據(jù)的形式，速寫了一份關(guān)于中國(guó)人過年方式的猴年新春記憶。

2016-02-16 16:52:04.000

一個(gè)企業(yè)該如何選擇一個(gè)適合的平臺(tái)甚至一個(gè)框架?這個(gè)問題不太容易回答。本文致力于介紹整個(gè)大數(shù)據(jù)的生態(tài)圈以及IBM Platform Symphony產(chǎn)品，希望讀者能從中得到這個(gè)問題的線索或答案。

2016-02-16 11:26:43.000

Databricks最近對(duì)1400多家Spark用戶進(jìn)行了一次調(diào)查，結(jié)果顯示這些用戶對(duì)Spark Streaming的使用率與2014年相比增長(zhǎng)了56%，另外，有48%的受訪者將Spark Streaming標(biāo)記為最常用的Spark組件。Uber、Netflix和Pinterest等家喻戶曉的公司赫然在列，那么為什么使用Spark Streaming加速業(yè)務(wù)發(fā)展的公司越來越多呢？我們一起來看看。

2016-01-05 09:49:27.000

Hbase是運(yùn)行在Hadoop上的NoSQL數(shù)據(jù)庫，它是一個(gè)分布式的和可擴(kuò)展的大數(shù)據(jù)倉庫，也就是說HBase能夠利用HDFS的分布式處理模式，并從Hadoop的MapReduce程序模型中獲益。

2015-11-17 10:11:18.000

隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)分析與探勘成為科技顯學(xué)，各行各業(yè)對(duì)于大數(shù)據(jù)的濃厚興趣也直接反映在大數(shù)據(jù)人才的豐厚薪資中。

2015-06-19 09:36:05.000

未來阿里巴巴集團(tuán)要充分運(yùn)用客戶采購數(shù)據(jù)，將集團(tuán)從資通科技業(yè)，轉(zhuǎn)型為大數(shù)據(jù)科技公司，這個(gè)大數(shù)據(jù)革命若以正面態(tài)度加值運(yùn)用，確實(shí)能造福人類;但我們上網(wǎng)時(shí)無形中留下的數(shù)據(jù)足跡是無法消滅的，這些數(shù)據(jù)若被不肖的政府與企業(yè)所利用，形成數(shù)據(jù)監(jiān)控，就容易出現(xiàn)更多的「史諾登事件」。

2015-04-23 13:11:27.000

“大家還沒搞清楚PC的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來了，還沒搞清楚移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)來了?！?/p>

2015-03-26 09:58:27.000