干貨分享：CDC實時數(shù)據(jù)復(fù)制，大神教你調(diào)性能

---

數(shù)據(jù)實時復(fù)制任務(wù)的成與敗，取決于多方面的因素，例如：被復(fù)制數(shù)據(jù)本身情況，源系統(tǒng)和目標(biāo)系統(tǒng)的自身運行狀況，網(wǎng)絡(luò)通訊方面，系統(tǒng)架構(gòu)設(shè)計和實施人員專業(yè)技術(shù)水平等等。面對復(fù)雜而艱巨的任務(wù)，IBM 公司專業(yè)化實施團隊積累了豐富的經(jīng)驗，以下是我們這次分享的 IBM InfoSphere CDC性能調(diào)優(yōu)的重點內(nèi)容。

1. 明白數(shù)據(jù)復(fù)制的需求和使用場景

改善并提升數(shù)據(jù)復(fù)制作業(yè)性能是雙向互動的操作，以滿足業(yè)務(wù)需求和目標(biāo)為根本出發(fā)點，其原因是：

• 當(dāng)對某個運行進程作了調(diào)優(yōu)，并解決了該方面的性能瓶頸后，可能在該進程的上游或下游地方，又產(chǎn)生了新的性能瓶頸，讓你很難能做到調(diào)整某一部分，就能解決性能上存在的全部問題。
• 數(shù)據(jù)復(fù)制過程中，業(yè)務(wù)運作在不同時間段內(nèi)會有不同的要求，并不是一成不變的。例如：在業(yè)務(wù)交易時間段，數(shù)據(jù)實時變更頻繁，對 CDC 時延（Data Latency）要求較高，才能達致業(yè)務(wù)目標(biāo)；但是，在業(yè)務(wù)日終結(jié)算處理時間段，則更多地聚焦于海量數(shù)據(jù)的后期加工和批量處理，反而對 CDC 時延（Data Latency）要求較低。

因此，我們在優(yōu)化數(shù)據(jù)復(fù)制的作業(yè)運行性能時，一切以業(yè)務(wù)需求為目標(biāo)，采取合適手段來解決問題。否則，難以兩全其美，還影響業(yè)務(wù)運作。

2. 監(jiān)控總體性能情況

在確定調(diào)優(yōu)方案前，需要監(jiān)察 CDC 數(shù)據(jù)復(fù)制作業(yè)的總體性能狀況，其中包括：

CDC DataStore 健康狀況。

CDC進程運行時內(nèi)存的使用情況，占用率最高達 70%左右為最佳

利用 CDC Management Console探測潛在的性能瓶頸

以下例子，其監(jiān)控信息結(jié)果說明了目標(biāo)端系統(tǒng)是性能瓶頸，數(shù)據(jù)從源系統(tǒng)復(fù)制傳送速度快于目標(biāo)系統(tǒng)的處理速度。

3. 收集作業(yè)運行統(tǒng)計信息以進行分析

IBM CDC 提供了全面收集作業(yè)運行過程中性能明細信息的有效手段，以下是以復(fù)制 Oracle 數(shù)據(jù)庫數(shù)據(jù)的作業(yè)為例子，所收集的信息種類和手段。

4. 完成性能調(diào)優(yōu)任務(wù)

根據(jù)上述的復(fù)制Oracle 數(shù)據(jù)庫數(shù)據(jù)的作業(yè)為例子，確定調(diào)優(yōu)的方法如下。

該策略為：

• 在源系統(tǒng)保持捕獲合理的數(shù)據(jù)增量和傳送數(shù)據(jù)量 batch size；
• 在目標(biāo)系統(tǒng)調(diào)整合理的更新數(shù)據(jù)量 batch size，并僅對變化的字段進行更新（缺省是全部字段更新），以發(fā)揮最大處理性能；
• 需要有豐富數(shù)據(jù)庫性能調(diào)優(yōu)經(jīng)驗和 IBM CDC 工具熟練使用技巧。

5. 評估性能優(yōu)化結(jié)果

IBM CDC 作業(yè)調(diào)優(yōu)前，其運行結(jié)果：

從上圖信息可發(fā)現(xiàn)：數(shù)據(jù)從源系統(tǒng)不斷地快速復(fù)制傳送到目標(biāo)系統(tǒng)，但是目標(biāo)系統(tǒng)性能存在瓶頸，時延不斷地增大到最高峰值而沒回落，直到數(shù)據(jù)復(fù)制快結(jié)束時才開始回落。

IBM CDC 作業(yè)調(diào)優(yōu)后，其運行結(jié)果：

從上圖信息可發(fā)現(xiàn)：目標(biāo)系統(tǒng) CPU資源使用率明顯地比源系統(tǒng)高得多，數(shù)據(jù)庫性能得以充分發(fā)揮。數(shù)據(jù)復(fù)制的時延不算高，平均值和峰值差距不大。因此，CDC 作業(yè)調(diào)優(yōu)工作是富有成效的。 相對比其他友商的測試結(jié)果， IBM CDC 綜合能力和主要功能都稍勝一籌。如果有興趣想了解更多的 IBM CDC數(shù)據(jù)復(fù)制技術(shù)及經(jīng)驗，請參閱：http://bigdata.evget.com/

更多大數(shù)據(jù)與分析相關(guān)行業(yè)資訊、解決方案、案例、教程等請點擊查看>>>

詳情請咨詢在線客服！

客服熱線：023-66090381