Hadoop和大數(shù)據(jù)是合并還是沖突?
![Hadoop,大數(shù)據(jù)](http://image.evget.com/images/article/2014/hadoop_vs_bigdata.jpg)
在數(shù)據(jù)庫格式領(lǐng)域?qū)?huì)發(fā)生一場戰(zhàn)爭嗎?Hadoop和大數(shù)據(jù)這兩個(gè)世界在企業(yè)界會(huì)合并還是沖突?就在Janath Manohararaj以藍(lán)十字藍(lán)盾協(xié)會(huì)(Blue Cross and Blue Shield Assoc.:美國第一大私人健康保險(xiǎn)公司集團(tuán)----譯者注)數(shù)據(jù)庫服務(wù)團(tuán)隊(duì)負(fù)責(zé)人的身份作客SiliconANGLE的流動(dòng)新聞平臺(tái)CUBE之前,他與CUBE的搭檔主持人John Furrier和Dave Vellante在幕后提及了這些問題。這些熱門話題充分激起了Manohararaj的興趣,也開啟了他在惠普Vertica大會(huì)的現(xiàn)場訪談。
談及數(shù)據(jù)庫以及深入探討Hadoop的現(xiàn)狀時(shí),Manohararaj提醒電視觀眾在發(fā)展初期只存在關(guān)系數(shù)據(jù)庫,大數(shù)據(jù)是如此的新穎以至于它屬于市場中截然不同的陣營。就藍(lán)十字藍(lán)盾協(xié)會(huì)所涉及到的而言,這家健康保險(xiǎn)供應(yīng)商未看到數(shù)據(jù)庫與大數(shù)據(jù)沖突的風(fēng)險(xiǎn)。恰恰相反,它預(yù)感到兩個(gè)事物正在向著數(shù)據(jù)管理的目的而相互融合。
Vellante想探尋這家公司歷史上是如何使用數(shù)據(jù)的。Manohararaj提到以前處理數(shù)據(jù)的老方法是每個(gè)項(xiàng)目都有其自己的數(shù)據(jù)倉庫,由于數(shù)據(jù)的重復(fù)而導(dǎo)致其擁有成本非常高昂。與之相反的是,Hadoop將事情變得更加容易,帶來了成本下降而性能提升。
回憶起他的公司意識(shí)到到Hadoop潛力時(shí)的那個(gè)興奮時(shí)刻,Manohararaj承認(rèn)最初在2008年藍(lán)十字藍(lán)盾協(xié)會(huì)就通過將Vertica引入系統(tǒng)而進(jìn)行預(yù)數(shù)據(jù)庫的配置。Manohararaj的團(tuán)隊(duì)立馬就觀察到性能的提升,比以前的速度快了十倍。
“第一步是從傳統(tǒng)的DBMS(數(shù)據(jù)庫管理系統(tǒng)----譯者注)轉(zhuǎn)移到以列為基礎(chǔ)的數(shù)據(jù)模式?,F(xiàn)在我們正在考慮創(chuàng)建一個(gè)數(shù)據(jù)湖泊(Data Lake)---- 一個(gè)統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)倉庫” Manohararaj確認(rèn)到。
平衡創(chuàng)新與遵循
關(guān)于醫(yī)療保健行業(yè),F(xiàn)urrier想更多的了解藍(lán)十字藍(lán)盾是通過什么樣的方式平衡創(chuàng)新需求與遵循行業(yè)規(guī)則的要求的。“就醫(yī)療保健而言”,Manohararaj解釋到,“信息需要是即刻的,而這在以前是個(gè)問題。Vertica是我們應(yīng)用過的最好的數(shù)據(jù)庫之一。”
“Vertica就是工業(yè)界的法拉利,”Furrier也贊同這一點(diǎn),并追問Manohararaj要其解釋什么造就了Vertica如此的成功。Manohararaj列出了三個(gè)關(guān)鍵因素:
1. 性能;
2. 低成本;
3. 非常棒的支持(主動(dòng)型服務(wù),調(diào)用 (call) 和回調(diào)功能( (call backs) )
開源與供應(yīng)商分布
Manohararaj訪談中討論的最后一個(gè)議題關(guān)注了企業(yè)大數(shù)據(jù)商業(yè)化這個(gè)興起的進(jìn)程,而這也是另外一種沖突正在發(fā)生的領(lǐng)域。
“你是在使用供應(yīng)商分布軟件還是開源的Apache Hadoop”Vellante問到,他很好奇企業(yè)是如何應(yīng)對(duì)這兩種銷售大數(shù)據(jù)解決方案的截然不同的方法的。Manohararaj透漏這項(xiàng)工作正在進(jìn)行當(dāng)中,他們正在逐步向開源靠近:“開源總是一種挑戰(zhàn),學(xué)習(xí)曲線總是很陡峭的,而且你需要培訓(xùn)。而擁有專屬解決方案,就要容易很多。”
來源:大數(shù)據(jù)文摘