【干貨】數據控使用Hadoop的三種最常用方式

---

Apache Hadoop 2.0正式發(fā)布，這是Hadoop領域巨大的里程碑，因為它開啟了史無前例的數據存儲方式革命。Hadoop保留它典型的“大數據”基礎技術，但它是否適合當下數據庫及數據倉 庫的使用方式？又是否有一種通用模式可以切實降低固有的使用復雜性呢？

Hadoop使用的一般模式

Hadoop最初的構想是為像Yahoo、Google、Facebook等這樣的公司以非常低的成本來解決大量數據的存儲問題?，F在，它正被越來 越多地引入企業(yè)環(huán)境中處理新不同數據類型。機器生成的數據、傳感器數據、社交數據、網絡日志等數據類型呈指數級增長，而且這些數據也常常（但不總是）是非 結構化。正是由于這種類型的數據將人機對話從“數據分析”帶到“大數據分析”：因為挖掘這些數據可以得到商業(yè)優(yōu)勢。

分析應用程序以各種形式流行起來，最重要的是可以定向解決一個垂直行業(yè)的需要。乍一看，他們彼此似乎在行業(yè)和垂直上沒有關系，但是實際上，當在基礎設施層面觀察時，會出現一些非常清晰的模式，也就是以下3種模式：

Pattern 1：數據精煉廠

使用Hadoop的“數據精煉廠”模式使組織能夠將這些新數據源納入他們常用BI和分析應用程序。例如，我可能有一個應用程序，它能夠在ERP和CRM系統(tǒng)中查看客戶建立在上面的數據。但是如何才能從他們的web session（基于我們網站）中發(fā)現他們的興趣所在？“數據精煉廠”，這個使用模式正是顧客期望的。

這里的關鍵概念是Hadoop是被用來提取大量數據以便更容易管理。然后生成的數據被加載到現有數據系統(tǒng)，這些數據可以使用傳統(tǒng)的工具訪問，但是別 忘了，這些操作都是建立在更豐富的數據集上。從某些方面來說，這是最簡單的用例，因為無需對傳統(tǒng)途徑進行大的修改，企業(yè)就可以清晰的從Hadoop上獲 益。無論垂直與否，精煉廠概念仍然適用。在金融服務領域，我們看到組織提煉交易數據以便更好地了解市場，分析和從復雜的組合中尋找價值。

能源公司使用大數據來分析不同地區(qū)的消費水平以便更好地預測生產水平。零售企業(yè)（任何面向消費者組織）經常使用精煉廠來洞察網絡人氣。電信公司使用精煉廠調用電話記錄來提 取有用信息細節(jié)以便優(yōu)化計費方式。最后，在昂貴的，任務關鍵的垂直設備上，我們常常發(fā)現Hadoop被用來預測分析和主動的故障識別。在通信技術中，這可 能是一個網絡的基站。特許經營餐廳中可以用來監(jiān)控冷藏庫的數據。

Pattern 2: 用Apache Hadoop來探索數據

第二個最常見的用例我們稱之為“數據探索”。在這種情況下，組織在Hadoop上獲取和存儲大量的新數據，然后直接探索這些數據。因此不是使用 Hadoop作為暫存區(qū)域進行處理然后將數據轉移到企業(yè)數據倉庫（就像使用精煉廠用例一樣），數據是保存在Hadoop上然后直接探索。

數據探索用例通常是在企業(yè)開始可以探索以前被丟棄的數據（如網絡日志,社交媒體數據等等）并構建全新的分析應用程序然后直接使用這些數據。

幾乎每一個垂直系統(tǒng)都可以享受到探索用例的優(yōu)越性。在金融服務領域，我們可以用探索用例來執(zhí)行取證或識別欺詐。職業(yè)體育團隊將利用數據科學來分析交易和年 度草案，就像我們在電影《Moneyball》看到的?？傊當祿茖W和探索可以用來發(fā)現新的商業(yè)機會或新的見解，這在Hadoop之前是不可能實現的。

Pattern 3: 挖掘應用程序

第三個也是最后一個用例是“挖掘應用程序”。在這種情況下，存儲在Hadoop中的數據決定了應用程序的用途。例如，通過挖掘存儲的所有網 絡會話數據，當用戶重返網站時，我們可以為他們定制個性體驗。通過挖掘Hadoop中存儲的這些數據，我們可以從會話歷史找到很多有用的價值。比如通過用 戶的歷史記錄來提供一個及時反饋。

這個用例是世界上許多大型網站如Yahoo、Facebook等業(yè)務的基礎。通過定制的用戶體驗，他們可以有效與他們的競爭對手區(qū)分。這是雅虎Hadoop的第二個用例，就如當初它意識到Hadoop能夠幫助改善廣告位置一樣。這個概念轉變了大型的網站，同時也正在使傳統(tǒng)的企業(yè)改善銷售，而一些小組織甚至也使用這些概念在零售網點實現動態(tài)定價。

正如你所預料的那樣，隨著組織熟悉在Hadoop上提煉和探索數據，最后的這種最典型的用例正在被普遍采用或接受。但與此同時，這也暗示了今后Hadoop能做什么，并且隨著時間的推移和發(fā)展，傳統(tǒng)的數據庫應用程序將逐漸被Hadoop應用程序取代。

當然任何涉及到新平臺技術，在進入IT企業(yè)環(huán)境時都有一定的復雜性，Hadoop也不例外。無論你是使用Hadoop來改進或是探 索，還是豐富你的數據，與現有IT基礎架構的兼容將是關鍵。這就是為什么目前Hadoop生態(tài)系統(tǒng)和能集成不同供應商之間解決方案得以顯著增長。 Hadoop有潛力在企業(yè)數據領域產生深遠影響，通過理解常見的使用模式，您將可以極大地減少其復雜性。

更多大數據與分析相關行業(yè)資訊、解決方案、案例、教程等請點擊查看>>>

詳情請咨詢在線客服！

客服熱線：023-66090381