干貨分享：CDC實時數據復制，大神教你調性能

數據實時復制任務的成與敗，取決于多方面的因素，例如：被復制數據本身情況，源系統和目標系統的自身運行狀況，網絡通訊方面，系統架構設計和實施人員專業技術水平等等。面對復雜而艱巨的任務，IBM 公司專業化實施團隊積累了豐富的經驗，以下是我們這次分享的 IBM InfoSphere CDC性能調優的重點內容。

1. 明白數據復制的需求和使用場景

改善并提升數據復制作業性能是雙向互動的操作，以滿足業務需求和目標為根本出發點，其原因是：

• 當對某個運行進程作了調優，并解決了該方面的性能瓶頸后，可能在該進程的上游或下游地方，又產生了新的性能瓶頸，讓你很難能做到調整某一部分，就能解決性能上存在的全部問題。
• 數據復制過程中，業務運作在不同時間段內會有不同的要求，并不是一成不變的。例如：在業務交易時間段，數據實時變更頻繁，對 CDC 時延（Data Latency）要求較高，才能達致業務目標；但是，在業務日終結算處理時間段，則更多地聚焦于海量數據的后期加工和批量處理，反而對 CDC 時延（Data Latency）要求較低。

因此，我們在優化數據復制的作業運行性能時，一切以業務需求為目標，采取合適手段來解決問題。否則，難以兩全其美，還影響業務運作。

2. 監控總體性能情況

在確定調優方案前，需要監察 CDC 數據復制作業的總體性能狀況，其中包括：

CDC DataStore 健康狀況。

CDC進程運行時內存的使用情況，占用率最高達 70%左右為最佳

利用 CDC Management Console探測潛在的性能瓶頸

以下例子，其監控信息結果說明了目標端系統是性能瓶頸，數據從源系統復制傳送速度快于目標系統的處理速度。

3. 收集作業運行統計信息以進行分析

IBM CDC 提供了全面收集作業運行過程中性能明細信息的有效手段，以下是以復制 Oracle 數據庫數據的作業為例子，所收集的信息種類和手段。

4. 完成性能調優任務

根據上述的復制Oracle 數據庫數據的作業為例子，確定調優的方法如下。

該策略為：

• 在源系統保持捕獲合理的數據增量和傳送數據量 batch size；
• 在目標系統調整合理的更新數據量 batch size，并僅對變化的字段進行更新（缺省是全部字段更新），以發揮最大處理性能；
• 需要有豐富數據庫性能調優經驗和 IBM CDC 工具熟練使用技巧。

5. 評估性能優化結果

IBM CDC 作業調優前，其運行結果：

從上圖信息可發現：數據從源系統不斷地快速復制傳送到目標系統，但是目標系統性能存在瓶頸，時延不斷地增大到最高峰值而沒回落，直到數據復制快結束時才開始回落。

IBM CDC 作業調優后，其運行結果：

從上圖信息可發現：目標系統 CPU資源使用率明顯地比源系統高得多，數據庫性能得以充分發揮。數據復制的時延不算高，平均值和峰值差距不大。因此，CDC 作業調優工作是富有成效的。 相對比其他友商的測試結果， IBM CDC 綜合能力和主要功能都稍勝一籌。