Hadoop創(chuàng)始人展望2017：手把手教你打造成功開源項目

---

在過去的一年中，我們已經(jīng)看到開源技術(shù)強(qiáng)勢的發(fā)展成了企業(yè)的技術(shù)主流。誰會想到十年前Doug在Hadoop所做的工作會影響到那么多的行業(yè)，從制造到電信，再到金融等等。它們都掌握了開源生態(tài)系統(tǒng)的力量，不僅改善了客戶的體驗，變得有創(chuàng)新性并獲得了利潤增長，而且支持對社會有更大利益的工作，比如通過基因組研究、精密醫(yī)學(xué)等項目來阻止人口販賣，這僅僅是一小部分例子。

有人會很好奇如何開始著手進(jìn)行開源工作，以及從不斷變化的生態(tài)系統(tǒng)里期望能得到什么，下面Doug列出5個小貼士：

1. 擁抱開源的不斷改變和演進(jìn)

不斷地變化，這是每一個剛接觸開源技術(shù)的人需要學(xué)習(xí)的第一課，也是開源有別于傳統(tǒng)軟件的最大不同之處。開源的本質(zhì)是易變、靈活，它的新項目常常起源于一些特別的用例。這種動態(tài)的循環(huán)促使產(chǎn)品變得更好、更快。因此，公司如果想從開源獲得完全的好處，他們必須對技術(shù)轉(zhuǎn)變保持開放的心態(tài)。Spark和MapReduce的辯論就完美的體現(xiàn)了這點的重要性：

事實上，人們在構(gòu)建新的應(yīng)用時，MapReduce用得越來越少，而Spark成為他們默認(rèn)的數(shù)據(jù)處理引擎。MapReduce正逐漸成為Hive、Pig的底層引擎，這并不意味著它過時了。它還會為現(xiàn)存應(yīng)用很好地工作很多年，而且對某些大規(guī)模批量加載來說仍然是卓越的工具。這一趨勢遵循開源技術(shù)的自然演進(jìn)：MapReduce是開源數(shù)據(jù)生態(tài)系統(tǒng)的1.0引擎，Spark是2.0，而某一天會出現(xiàn)3.0讓Spark成為歷史。

2. 當(dāng)引入一個新技術(shù)棧時，從小開始、由上而下

先不去考慮要構(gòu)建、部署什么樣的解決方案，我們現(xiàn)在有了很多通用數(shù)據(jù)平臺和很多工具，它們能靈活地組合在一起去做搜索、流處理、機(jī)器學(xué)習(xí)還有更多事情。這些工作需要的不僅僅是一套不同的技能，而且還需要管理方式、組織結(jié)構(gòu)等在文化上的轉(zhuǎn)變。為此，重要的是要獲得組織內(nèi)高層的支持，并讓數(shù)據(jù)管理列入董事會層面的一項重點議題。同時，建議拿一些新的應(yīng)用來逐步建立一個新文化，而不是要取代所有的一切，這樣可以讓大家通過一個個具體的用例來適應(yīng)這個變化。

3. 仔細(xì)挑選開源軟件以避免云供應(yīng)商捆綁

隨著使用云計算的企業(yè)組織和產(chǎn)業(yè)越來越多，應(yīng)該考慮到開源軟件不僅會帶來越來越好的健壯性、可擴(kuò)展性和安全性，而且也可以幫助他們避免被云供應(yīng)商捆綁。通過開源平臺的構(gòu)建，組織可以采用云供應(yīng)商套利以降低成本，可以使用不同地域的不同云，或者基于云和內(nèi)部部署的混合方式。事實上，開源平臺已經(jīng)證明了自己的技術(shù)優(yōu)越性，2017年也許會取得更多的落地。大量的機(jī)構(gòu)通過開源項目進(jìn)行合作，單一的供應(yīng)商要去競爭是很困難的。例如，現(xiàn)在那些開源數(shù)據(jù)系統(tǒng)在性能和靈活性上就處于領(lǐng)先地位，并且改進(jìn)得更加迅速。

4. 對求職者來說，開源生態(tài)環(huán)境里要關(guān)注森林，而不是樹木

IT領(lǐng)域的求職者，不管是編程還是數(shù)據(jù)科學(xué)，不應(yīng)該僅僅專注于掌握個別技術(shù)，而應(yīng)該關(guān)注理解開源數(shù)據(jù)生態(tài)系統(tǒng)各個組成部分的最佳利用，以及如何把它們連接起來解決問題。這種上層建筑的理解是企業(yè)在技術(shù)創(chuàng)新中最有價值的技能。隨著新技術(shù)的到來，至關(guān)重要的是了解它們的適應(yīng)力如何、它們能取代什么、它們能做到什么。

5. 在技能缺口中尋找機(jī)會

大數(shù)據(jù)的技能缺口將在明年保持相對穩(wěn)定，但這不應(yīng)該成為人們采用Hadoop以及其它開源技術(shù)的阻礙。大多數(shù)人都知道，當(dāng)新的技術(shù)被創(chuàng)造出來并爭奪用戶時，它們對外界而言是很陌生的。只有當(dāng)一個特定類型的軟件成為某個規(guī)范的成熟而標(biāo)準(zhǔn)的一部分，才會開始出現(xiàn)大量熟練使用它的人，而即使如此仍然會存在技能缺口。只有當(dāng)我們不再對技術(shù)棧做大的改進(jìn)時，才會消除這種缺口，不過Doug不認(rèn)為我們會希望這樣做。簡而言之，技能缺口是影響平臺變革速度的主要因素之一，也是即將來臨的創(chuàng)新的標(biāo)志。

結(jié)論

在未來的幾年里，隨著下一代互聯(lián)網(wǎng)、人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)的發(fā)展，開源軟件的理念將與軟件服務(wù)化的理念更加契合，開源運(yùn)動將大大推動軟件產(chǎn)業(yè)的創(chuàng)新，開源軟件必將迎一輪的發(fā)展高潮。

慧都控件網(wǎng)2017開年鉅惠，全場6折起，限時讓利，過時不候?。?！>>>

截止時間：2017年1月31日

更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請點擊查看>>>

詳情請咨詢在線客服！

客服熱線：023-66090381