沒有找到合適的產(chǎn)品?
聯(lián)系客服協(xié)助選型:023-68661681
提供3000多款全球軟件/控件產(chǎn)品
針對軟件研發(fā)的各個(gè)階段提供專業(yè)培訓(xùn)與技術(shù)咨詢
根據(jù)客戶需求提供定制化的軟件開發(fā)服務(wù)
全球知名設(shè)計(jì)軟件,顯著提升設(shè)計(jì)質(zhì)量
打造以經(jīng)營為中心,實(shí)現(xiàn)生產(chǎn)過程透明化管理
幫助企業(yè)合理產(chǎn)能分配,提高資源利用率
快速打造數(shù)字化生產(chǎn)線,實(shí)現(xiàn)全流程追溯
生產(chǎn)過程精準(zhǔn)追溯,滿足企業(yè)合規(guī)要求
以六西格瑪為理論基礎(chǔ),實(shí)現(xiàn)產(chǎn)品質(zhì)量全數(shù)字化管理
通過大屏電子看板,實(shí)現(xiàn)車間透明化管理
對設(shè)備進(jìn)行全生命周期管理,提高設(shè)備綜合利用率
實(shí)現(xiàn)設(shè)備數(shù)據(jù)的實(shí)時(shí)采集與監(jiān)控
打通數(shù)據(jù)孤島 實(shí)現(xiàn)生產(chǎn)過程全透明化
實(shí)現(xiàn)產(chǎn)品全生命周期的質(zhì)量管理與追溯
精準(zhǔn)制定生產(chǎn)計(jì)劃 合理配置生產(chǎn)資源
全面可視的生產(chǎn)質(zhì)量統(tǒng)計(jì)與追溯
一鍵生成排產(chǎn)計(jì)劃,有效提升資源利用率
打通生產(chǎn)過程數(shù)字化全鏈路,提高生產(chǎn)效率
幫助企業(yè)大幅降低因改裝質(zhì)量問題帶來的損失
打造數(shù)字化工廠,全面提升產(chǎn)品質(zhì)量
快速應(yīng)對訂單變化,大幅減少企業(yè)資源浪費(fèi)
實(shí)現(xiàn)產(chǎn)品報(bào)價(jià)快速精準(zhǔn),全面實(shí)現(xiàn)生產(chǎn)透明化
打造生產(chǎn)計(jì)劃自動(dòng)排產(chǎn)信息化平臺(tái)
在跨平臺(tái)和異構(gòu)數(shù)據(jù)庫環(huán)境中實(shí)現(xiàn)變化數(shù)據(jù)的實(shí)時(shí)復(fù)制
標(biāo)簽:大數(shù)據(jù)數(shù)據(jù)分析大數(shù)據(jù)處理開發(fā)商: IBM
當(dāng)前版本: 10.2.1
產(chǎn)品類型:軟件
產(chǎn)品功能:工業(yè)數(shù)據(jù)采集軟件
平臺(tái)語言:
開源水平:不提供源碼
本產(chǎn)品的分類與介紹僅供參考,具體以商家網(wǎng)站介紹為準(zhǔn),如有疑問請來電 023-68661681 咨詢。
* 關(guān)于本產(chǎn)品的分類與介紹僅供參考,精準(zhǔn)產(chǎn)品資料以官網(wǎng)介紹為準(zhǔn),如需購買請先行測試。
InfoSphere CDC 復(fù)制原理
InfoSphere CDC 能夠?qū)Π〝?shù)據(jù)倉庫,主數(shù)據(jù)管理,BI,SOA 等在內(nèi)的應(yīng)用整合及升級項(xiàng)目提供高速、可靠、低延遲的數(shù)據(jù)復(fù)制方案,而且對生產(chǎn)系統(tǒng)低影響。由于只復(fù)制變化的數(shù)據(jù),減少了處理的開銷和占用的帶寬。復(fù)制可以是持續(xù)的也可以是周期性的。
圖 1 CDC 架構(gòu)圖:
CDC 的關(guān)鍵組件主要的組成部分包括:
Access Server(AS):用戶配置和監(jiān)控 CDC 引擎的安全管理工具,支持圖形化界面(V6.5 之后集成在 MC 中)及命令行。當(dāng)用戶登錄 Management Console,就會(huì)連接到 AS。在客戶端關(guān)閉 AS,不會(huì)影響源服務(wù)器到目標(biāo)服務(wù)器到數(shù)據(jù)復(fù)制。
Management Console(MC):CDC 的圖形化界面工具,允許用戶配置、監(jiān)控和管理在多個(gè)不同服務(wù)器上到數(shù)據(jù)復(fù)制,可以在客戶端上指定復(fù)制的參數(shù),初始化刷新和鏡像。MC 也允許用戶監(jiān)控復(fù)制操作、延遲、事件消息和其他源和目標(biāo) datastore 支持的統(tǒng)計(jì)數(shù)據(jù)。
源端引擎:讀取源端數(shù)據(jù)庫的日志文件捕獲變更數(shù)據(jù),經(jīng)過行列過濾,字符編碼轉(zhuǎn)換后由 TCP/IP 發(fā)送給目標(biāo)端。
目標(biāo)端引擎:接收源端發(fā)送的變更數(shù)據(jù),經(jīng)過數(shù)值轉(zhuǎn)換,字符編碼轉(zhuǎn)換,沖突檢測后將變更數(shù)據(jù)應(yīng)用到目標(biāo)數(shù)據(jù)庫。
Metadata:存儲(chǔ) CDC 實(shí)例的配置信息,包括數(shù)據(jù)庫連接信息,預(yù)定信息以及表的映射信息等,同時(shí)記錄當(dāng)前的復(fù)制進(jìn)行狀態(tài)
源和目標(biāo) Datastore(數(shù)據(jù)存儲(chǔ)):存儲(chǔ)的是數(shù)據(jù)文件和數(shù)據(jù)復(fù)制需要的 InfoSphere CDC 實(shí)例信息。每個(gè) datastore 代表了一個(gè)用戶要連接的數(shù)據(jù)庫,存儲(chǔ)要復(fù)制的表。
多數(shù)的 CDC 引擎既可作為源端引擎捕獲變化數(shù)據(jù)又可作為目標(biāo)端引擎接收變化數(shù)據(jù)并將其應(yīng)用于指定的數(shù)據(jù)庫;通常,CDC 引擎稱為 CDC 實(shí)例,如果從 AS/MC 的角度,一個(gè) CDC 引擎也被稱作一個(gè) CDC 數(shù)據(jù)存儲(chǔ)。
圖 2 CDC 處理數(shù)據(jù)的流向圖
1、當(dāng) CDC 處于復(fù)制狀態(tài)的時(shí)候,CDC 源端引擎中的 log reader 組件將會(huì)不停的從源端數(shù)據(jù)庫日志中捕獲所有要復(fù)制表的新變化的日志。
2、而 CDC 源端引擎中的 log parser 組件則將這些變化日志中跟 CDC 需要復(fù)制的表相關(guān)的日志找出來并根據(jù)其所屬的 transaction ID 放在不同的 transaction queue 中。Transaction queue 是 log parser 在內(nèi)存在分配的一片區(qū)域,專門存放沒有提交的跟 CDC 復(fù)制表相關(guān)的事務(wù)信息。每個(gè) Transaction queue 會(huì)寫在以“txnq”做前綴的文件里,此文件在“/tmp”下可以找到。如果 txnq 開頭的文件大小大于 0 字節(jié),說明在處理非常大的還沒有提交的事務(wù)。當(dāng)訂閱停止后,transaction queue 里的內(nèi)容會(huì)存放在 pointbase 容器里。
3、當(dāng) CDC 讀到 commit 觸發(fā)一個(gè)事務(wù)結(jié)束時(shí),該 transaction queue 將其內(nèi)容提交給 Staging Store 后會(huì)釋放相應(yīng)的內(nèi)存空間。Staging Store 是 CDC 分配的存放已提交的事務(wù)信息的內(nèi)存區(qū)域,目標(biāo)端引擎會(huì)自動(dòng)從 Staging Store 中抽取出其當(dāng)前要復(fù)制的事務(wù)信息,一旦數(shù)據(jù)復(fù)制到里目標(biāo)端,該記錄就會(huì)從 Staging Store 中刪除。
其中 1, 2, 3 是數(shù)據(jù)在源端引擎的流向。
4、復(fù)制表的事務(wù)信息通過 TCP/IP 傳送至目標(biāo)端。可以利用類似 sniffer 的工具來查看持續(xù)的在網(wǎng)絡(luò)上的數(shù)據(jù)流。也可以通過 MC 的“activity monitor”來監(jiān)控復(fù)制的數(shù)據(jù)情況。
5、目標(biāo)段將抽取過來的事務(wù)信息經(jīng)過必要的轉(zhuǎn)換重新組裝成 SQL 語句。
6、將組裝好的 SQL 語句應(yīng)用于目標(biāo)數(shù)據(jù)庫,并更新 bookmark 信息(這個(gè) bookmark 信息是為了保證數(shù)據(jù)的一致性,當(dāng)由于某種原因復(fù)制中斷后,在下次 CDC 重啟后,目標(biāo)端的 bookmark 信息首先被傳到源端,從而源端從最后一個(gè)成功應(yīng)用到目標(biāo)數(shù)據(jù)庫的日志開始復(fù)制),整個(gè)數(shù)據(jù)復(fù)制過程完成。
其中 5, 6 是數(shù)據(jù)在目標(biāo)引擎的流向。
InfoSphere Change Data Capture 提供:
低影響數(shù)據(jù)捕獲
基于日志的技術(shù)可近乎實(shí)時(shí)地復(fù)制關(guān)鍵業(yè)務(wù)型數(shù)據(jù)事件而不影響系統(tǒng)性能。
僅捕獲變更的數(shù)據(jù)并將其從發(fā)布者傳輸?shù)接啈粝到y(tǒng)。
基于內(nèi)容,動(dòng)態(tài)地將數(shù)據(jù)路由到由一個(gè)或多個(gè)應(yīng)用程序使用的各種消息隊(duì)列。
無需數(shù)據(jù)登臺(tái)或網(wǎng)關(guān)技術(shù)。
在高度安全的環(huán)境中交付敏感數(shù)據(jù),并使其僅由授權(quán)接收方訪問。
靈活簡單的數(shù)據(jù)交付
提供一個(gè) GUI,幫助支持更快速地?cái)?shù)據(jù)集成流程部署。
提供監(jiān)控功能,加速故障診斷與排除。
支持單向、雙向、多到一和一到多的數(shù)據(jù)交付。
使用實(shí)時(shí)審計(jì)功能來提供源表的變更歷史記錄。
與 IBM 和其他系統(tǒng)集成
與 IBM InfoSphere DataStage? 集成,提供數(shù)據(jù)訂閱源,進(jìn)而抽取、變換和裝入 (ETL) 流程并保持事務(wù)完整性?;诙x的數(shù)據(jù)規(guī)則更快地進(jìn)行變更數(shù)據(jù)有效性檢查。
將元數(shù)據(jù)集成到 IBM InfoSphere Metadata Workbench,使諸如影響力分析和數(shù)據(jù)沿襲的功能擴(kuò)展到其余信息管理基礎(chǔ)架構(gòu)。
將數(shù)據(jù)事務(wù)打包到 XML 文檔并交付給 IBM WebSphere? MQ 之類的消息傳遞中間件,進(jìn)而支持面向服務(wù)架構(gòu) (SOA)。
現(xiàn)在作為 IBM InfoSphere Data Replication for DB2 for z/OS? 的組成部分,它與 IBM InfoSphere Change Data Capture for z/OS 和 IBM InfoSphere Replication Server 集成,針對分布式和 IBM System z? 環(huán)境提供廣泛的數(shù)據(jù)庫和操作系統(tǒng)支持。
支持 IBM DB2?、IBM i、IBM Informix?、Oracle、Sybase、Microsoft SQL Server、IBM IMS? 和 Teradata 數(shù)據(jù)庫。
更新時(shí)間:2016-12-30 17:49:10.000 | 錄入時(shí)間:2016-02-29 10:55:38.000 | 責(zé)任編輯:胡濤
終級三維渲染和模擬工具集
軟件面向建筑師和設(shè)計(jì)師的快速且易用的渲染插件。
軟件面向建筑設(shè)計(jì)師,汽車設(shè)計(jì)師,產(chǎn)品設(shè)計(jì)師的強(qiáng)大渲染軟件。
軟件Chaos Cloud 是一鍵式云渲染解決方案,只需點(diǎn)擊按鈕Chaos Cloud 會(huì)處理好一切。
軟件用多臺(tái)計(jì)算機(jī)的能力加快單張圖片的渲染速度。
官方微信
官方微博
服務(wù)電話
重慶/ 023-68661681
華東/ 13452821722
華南/ 18100878085
華北/ 17382392642
客戶支持
技術(shù)支持咨詢服務(wù)
服務(wù)熱線:400-700-1020
郵箱:sales@evget.com
關(guān)注我們
地址 : 重慶市九龍坡區(qū)火炬大道69號6幢
慧都科技 版權(quán)所有 Copyright 2003- 2024 渝ICP備12000582號-13 渝公網(wǎng)安備 50010702500608號