傳統(tǒng)行業(yè)如何建立數(shù)據(jù)倉庫？（上）

---

建立數(shù)據(jù)倉庫是一個解決企業(yè)數(shù)據(jù)問題應(yīng)用的過程，是企業(yè)信息化發(fā)展到一定階段必不可少的一步，也是發(fā)展數(shù)據(jù)化管理的重要基礎(chǔ)。數(shù)倉的知識市面上的書籍和文章不少，但是實際實施依據(jù)行業(yè)不同，企業(yè)核心訴求不同，從技術(shù)到方法論各有不同。如何實施數(shù)倉項目，本文先以傳統(tǒng)行業(yè)的數(shù)倉切入，從整體上講下數(shù)據(jù)倉庫的實施方法論。（點擊此處查看下文）

一、需求分析

需求分析是數(shù)據(jù)倉庫項目最重要的一個環(huán)節(jié)，數(shù)倉說到底還是服務(wù)于業(yè)務(wù)，支撐于業(yè)務(wù)，如果需求分析不準(zhǔn)確，做了沒人用，上了不好用，會直接影響業(yè)務(wù)/客戶的使用，最終導(dǎo)致項目的失敗。為了避免最壞的情況，前期一定要重視需求的調(diào)研、挖掘和分析，并采用一些嚴(yán)謹(jǐn)科學(xué)的措施和方法去做需求分析。

在實際調(diào)研過程中分享幾個經(jīng)驗：

1. 盡可能與業(yè)務(wù)方/客戶方一起分析需求，引導(dǎo)對方將項目所要實現(xiàn)的整體框架和業(yè)務(wù)細(xì)節(jié)部分述清楚，最好的方式就是需求人員和設(shè)計人員基于原型來討論，從而正確理解實際的業(yè)務(wù)需求。
2. 必須實事求是地將數(shù)據(jù)倉庫所能實現(xiàn)的目標(biāo)和不容易解決的問題與協(xié)商清楚。這一個環(huán)節(jié)趟過不少坑，IT方急著上線，業(yè)務(wù)方對于項目還處于一知半解，甚至在推動的時候可能避重就輕，比如一期不滿足的需求強行上，長遠(yuǎn)來看項目會產(chǎn)生不少推諉和扯皮，消磨的是對方的信任。
3. 在需求討論的基礎(chǔ)上，需要理解業(yè)務(wù)工作流程，當(dāng)然如果你已經(jīng)具備了這個行業(yè)豐富的業(yè)務(wù)知識，那可以在需求調(diào)研的時候盡可能地讓對方按照自己的思路去完成數(shù)據(jù)倉庫系統(tǒng)的功能設(shè)計。
4. 需求方群體的分類，BI項目最終的使用對象可以分為以下幾類：數(shù)據(jù)查詢者、報表查詢者、企業(yè)決策者。這三類人群的需求特點完全不一樣，溝通的時候需要注意區(qū)分并深刻理解

5. 需求調(diào)研的再完美，也避免不了需求變更?，F(xiàn)實是很多情況下需求是不確定的，業(yè)務(wù)方是提不出有價值的需求的，需求今天是A明天又變成B無法一步做到位的，這都很正常，作為項目實施者要做好心理預(yù)期。

一般情況下，業(yè)務(wù)方能夠提供的都是需求的整體框架部分或者是實際需求的一部分內(nèi)容，不能預(yù)見未來需要增加的需求，這也注定了數(shù)倉項目是一個不斷循環(huán)、反饋，使系統(tǒng)不斷完善增長的過程。

不能規(guī)避風(fēng)險但是可以減少風(fēng)險，所以科學(xué)的調(diào)研尤為重要。以下是調(diào)研模板，當(dāng)需求調(diào)研完成時，需要對采集結(jié)果進行分析、歸納、整理，最終形成完整的需求分析報告。

業(yè)務(wù)需求的實施目的就是真正理解企業(yè)決策者的戰(zhàn)略性目標(biāo)。在理解建立商業(yè)智能系統(tǒng)目標(biāo)的基礎(chǔ)上，建立有效的企業(yè)管理模式，制定出詳細(xì)的企業(yè)數(shù)據(jù)倉庫業(yè)務(wù)管理規(guī)范，設(shè)計出常用的ETL數(shù)據(jù)采集規(guī)范和工作流程，從而明確商業(yè)智能系統(tǒng)的實施范圍和目標(biāo)。為了提高企業(yè)的分析決策能力，可以利用當(dāng)下的局域網(wǎng)技術(shù)和互聯(lián)網(wǎng)技術(shù)實現(xiàn)企業(yè)對各種信息的查詢和分析，通過建立企業(yè)業(yè)務(wù)數(shù)據(jù)模型，分析商業(yè)智能系統(tǒng)的系統(tǒng)架構(gòu)、數(shù)據(jù)源之間的差異、對數(shù)據(jù)質(zhì)量的評估和各種信息的處理方法，有效地提高企業(yè)商業(yè)智能系統(tǒng)的分析和決策能力。

二、數(shù)據(jù)倉庫的邏輯分析

數(shù)據(jù)倉庫在邏輯上可以分成操作型數(shù)據(jù)庫、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層、數(shù)據(jù)分析應(yīng)用層和報表展示層，其架構(gòu)如下圖所示：

三、設(shè)計ODS系統(tǒng)

ODS 可以有兩種形式：ODS 數(shù)據(jù)緩沖區(qū)和ODS統(tǒng)一信息視圖區(qū)。

• ODS數(shù)據(jù)緩沖區(qū)

ODS數(shù)據(jù)緩沖區(qū)是業(yè)務(wù)數(shù)據(jù)流動過程的第一個存儲區(qū)，實現(xiàn)了數(shù)據(jù)倉庫從各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源中將數(shù)據(jù)抽取出來，并且裝載到ODS數(shù)據(jù)緩沖區(qū)的這一過程，從而實現(xiàn)統(tǒng)一的全局的企業(yè)數(shù)據(jù)平臺，為以后的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換過程打下堅實的基礎(chǔ)。對于數(shù)據(jù)的數(shù)據(jù)源可以采用增量的方式進行抽取，對于經(jīng)常變化更新的數(shù)據(jù)一般采用全量的方式進抽取。ODS數(shù)據(jù)緩沖區(qū)具有實時性的特征，ODS系統(tǒng)將各個孤立的業(yè)務(wù)系統(tǒng)的生產(chǎn)運營數(shù)據(jù)集成起來，組成統(tǒng)一的、全局的企業(yè)數(shù)據(jù)交換平臺

• ODS統(tǒng)一信息視圖區(qū)

ODS統(tǒng)一信息視圖區(qū)是指有選擇地集成各類業(yè)務(wù)源數(shù)據(jù)，對數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換操作，以數(shù)據(jù)主題域為數(shù)據(jù)集成的基礎(chǔ)，對數(shù)據(jù)進行分類和組織，使用戶能夠通過統(tǒng)一信心視圖區(qū)獲得跟某個主題域相關(guān)的實時性數(shù)據(jù)。各業(yè)務(wù)系統(tǒng)和ODS統(tǒng)一信息視圖區(qū)可以互相訪問，可以生成具有實時性的操作性報表和查詢某一主題的近期全部信息。

• ODS數(shù)據(jù)緩沖區(qū)和ODS統(tǒng)一信息視圖區(qū)的區(qū)別和共同點

ODS 數(shù)據(jù)緩沖區(qū)主要為業(yè)務(wù)源數(shù)據(jù)抽取到數(shù)據(jù)倉庫中提供中間數(shù)據(jù)緩沖的功能，與ODS 統(tǒng)一信息視圖區(qū)最大的區(qū)別就是數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載的轉(zhuǎn)換規(guī)則和數(shù)據(jù)存儲的方式不同。ODS統(tǒng)一信息視圖區(qū)是完全按照主題的方式進行數(shù)據(jù)存儲，向用戶提供快速的報表展示和數(shù)據(jù)實時查詢的功能。而ODS數(shù)據(jù)緩沖區(qū)的ETL規(guī)則一般只進行簡單的匯總、計算，或者從操作型數(shù)據(jù)庫中直接抽取而中間不進行任何轉(zhuǎn)化。ODS 統(tǒng)一信息視圖區(qū)的數(shù)據(jù)一般都是從ODS數(shù)據(jù)緩沖區(qū)中抽取過來的。

下一期我們將會繼續(xù)介紹數(shù)倉的建模、數(shù)據(jù)集市的建模、數(shù)據(jù)源分析和數(shù)據(jù)的獲取與整合以及數(shù)據(jù)應(yīng)用和報表展現(xiàn)。您可以持續(xù)關(guān)注本教程，獲得更多有關(guān)大數(shù)據(jù)方面的知識。

---

關(guān)于慧都大數(shù)據(jù)分析平臺

慧都大數(shù)據(jù)分析平臺「GetInsight®」升級發(fā)布，將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預(yù)測、設(shè)備分析及預(yù)測等大數(shù)據(jù)模型的構(gòu)建，助力企業(yè)由傳統(tǒng)運營模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級，抓住數(shù)據(jù)經(jīng)濟的發(fā)展勢頭，提供管理效能，精準(zhǔn)布局未來。了解更多，請聯(lián)系在線客服。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺搭建，免費業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團隊，為您提供免費大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！