Hadoop和大數(shù)據(jù)是合并還是沖突？

---

在數(shù)據(jù)庫格式領(lǐng)域?qū)?huì)發(fā)生一場戰(zhàn)爭嗎?Hadoop和大數(shù)據(jù)這兩個(gè)世界在企業(yè)界會(huì)合并還是沖突?就在Janath Manohararaj以藍(lán)十字藍(lán)盾協(xié)會(huì)(Blue Cross and Blue Shield Assoc.：美國第一大私人健康保險(xiǎn)公司集團(tuán)----譯者注)數(shù)據(jù)庫服務(wù)團(tuán)隊(duì)負(fù)責(zé)人的身份作客SiliconANGLE的流動(dòng)新聞平臺(tái)CUBE之前，他與CUBE的搭檔主持人John Furrier和Dave Vellante在幕后提及了這些問題。這些熱門話題充分激起了Manohararaj的興趣，也開啟了他在惠普Vertica大會(huì)的現(xiàn)場訪談。

談及數(shù)據(jù)庫以及深入探討Hadoop的現(xiàn)狀時(shí)，Manohararaj提醒電視觀眾在發(fā)展初期只存在關(guān)系數(shù)據(jù)庫，大數(shù)據(jù)是如此的新穎以至于它屬于市場中截然不同的陣營。就藍(lán)十字藍(lán)盾協(xié)會(huì)所涉及到的而言，這家健康保險(xiǎn)供應(yīng)商未看到數(shù)據(jù)庫與大數(shù)據(jù)沖突的風(fēng)險(xiǎn)。恰恰相反，它預(yù)感到兩個(gè)事物正在向著數(shù)據(jù)管理的目的而相互融合。

Vellante想探尋這家公司歷史上是如何使用數(shù)據(jù)的。Manohararaj提到以前處理數(shù)據(jù)的老方法是每個(gè)項(xiàng)目都有其自己的數(shù)據(jù)倉庫，由于數(shù)據(jù)的重復(fù)而導(dǎo)致其擁有成本非常高昂。與之相反的是，Hadoop將事情變得更加容易，帶來了成本下降而性能提升。

回憶起他的公司意識(shí)到到Hadoop潛力時(shí)的那個(gè)興奮時(shí)刻，Manohararaj承認(rèn)最初在2008年藍(lán)十字藍(lán)盾協(xié)會(huì)就通過將Vertica引入系統(tǒng)而進(jìn)行預(yù)數(shù)據(jù)庫的配置。Manohararaj的團(tuán)隊(duì)立馬就觀察到性能的提升，比以前的速度快了十倍。

“第一步是從傳統(tǒng)的DBMS(數(shù)據(jù)庫管理系統(tǒng)----譯者注)轉(zhuǎn)移到以列為基礎(chǔ)的數(shù)據(jù)模式?，F(xiàn)在我們正在考慮創(chuàng)建一個(gè)數(shù)據(jù)湖泊(Data Lake)---- 一個(gè)統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)倉庫” Manohararaj確認(rèn)到。

平衡創(chuàng)新與遵循

關(guān)于醫(yī)療保健行業(yè)，F(xiàn)urrier想更多的了解藍(lán)十字藍(lán)盾是通過什么樣的方式平衡創(chuàng)新需求與遵循行業(yè)規(guī)則的要求的。“就醫(yī)療保健而言”，Manohararaj解釋到，“信息需要是即刻的，而這在以前是個(gè)問題。Vertica是我們應(yīng)用過的最好的數(shù)據(jù)庫之一。”

“Vertica就是工業(yè)界的法拉利，”Furrier也贊同這一點(diǎn)，并追問Manohararaj要其解釋什么造就了Vertica如此的成功。Manohararaj列出了三個(gè)關(guān)鍵因素：

1. 性能;

2. 低成本;

3. 非常棒的支持(主動(dòng)型服務(wù)，調(diào)用 (call) 和回調(diào)功能( (call backs) )

開源與供應(yīng)商分布

Manohararaj訪談中討論的最后一個(gè)議題關(guān)注了企業(yè)大數(shù)據(jù)商業(yè)化這個(gè)興起的進(jìn)程，而這也是另外一種沖突正在發(fā)生的領(lǐng)域。

“你是在使用供應(yīng)商分布軟件還是開源的Apache Hadoop”Vellante問到，他很好奇企業(yè)是如何應(yīng)對(duì)這兩種銷售大數(shù)據(jù)解決方案的截然不同的方法的。Manohararaj透漏這項(xiàng)工作正在進(jìn)行當(dāng)中，他們正在逐步向開源靠近：“開源總是一種挑戰(zhàn)，學(xué)習(xí)曲線總是很陡峭的，而且你需要培訓(xùn)。而擁有專屬解決方案，就要容易很多。”

來源：大數(shù)據(jù)文摘