異構數據同步技術內幕（32頁）.pdf

1、異異構構數數據據同同步步技技術術內內幕幕何何革革新新澤澤拓拓科科技技（深深圳圳）有有限限責責任任公公司司目錄CONTENTS數據同步主要技術2常見數據同步方案3案例分析4常見數據同步場景1kunlun Server常見場景一-實時數據倉庫oraclemysqlPostgreSQLMSSQLKunlunstorageKunlunstorageKunlunstorageKunlunstoragekunlun Servershard1shard2shard3shard4Kunlun DB 存儲集群kunlun Serverkunlun ServerKunlunDB 計算層數數據據同同步步數數據據同同

2、步步META SERVERMETA SERVER訂單系統物流系統CRM系統財務系統統計分析常見場景二-數據庫備份容災兩兩個個數數據據庫庫中中心心通通過過數數據據庫庫復復制制的的方方式式實實現現數數據據同同步步當當主主節節點點出出現現故故障障容容災災節節點點就就可可以以接接管管業業務務出出現現故故障障的的情情況況下下，要要求求RPO=0,RTO 30s常見場景三-數據共享&業務解耦通通過過數數據據同同步步解解決決信信息息孤孤島島問問題題，實實現現數數據據共共享享為為了了保保證證整整個個業業務務系系統統的的一一致致性性，要要求求數數據據同同步步在在實實時時性性和和準準確確性性上上面面有有保保障障訂

3、單系統數據庫數據同步結算系統物流系統查詢系統CDC 工具常見場景四-讀寫分離讀讀寫寫分分離離可可以以用用來來解解決決數數據據庫庫的的讀讀性性能能瓶瓶頸頸，讀讀寫寫分分離離通通過過將將數數據據庫庫的的讀讀操操作作路路由由到到數數據據庫庫的的從從節節點點上上，從從而而降降低低數數據據庫庫主主節節點點的的負負載載，提提高高整整個個系系統統的的性性能能數數據據庫庫的的主主從從復復制制采采用用基基于于日日志志的的數數據據庫庫同同步步技技術術，可可以以實實時時的的將將數數據據同同步步到到從從節節點點數數據據庫庫主主從從復復制制可可以以采采用用同同步步模模式式或或異異步步模模式式數據遷移上云、下云數據庫架構

4、遷移常見場景五-數據遷移跨跨平平臺臺遷遷移移跨跨數數據據庫庫遷遷移移表表結結構構遷遷移移變變更更目錄CONTENTS數據同步主要技術2常見數據同步方案3案例分析4常見數據同步場景11，基于時間戳CDC(變更數據捕獲)基基于于表表的的時時間間字字段段create_time和和modify_time識識別別變變更更數數據據缺缺點點：1.無無法法識識別別多多次次更更新新2.無無法法識識別別刪刪除除3.不不具具有有實實時時能能力力 2，基于快照CDC快快照照CDC就就是是一一次次性性抽抽取取源源系系統統中中的的全全部部數數據據，把把這這些些數數據據加加載載到到數數據據倉倉庫庫的的緩緩沖沖區區中中。下下

5、一一次次需需要要同同步步時時，再再從從源源系系統統中中抽抽取取全全部部數數據據，并并把把全全部部數數據據也也放放到到數數據據倉倉庫庫的的緩緩沖沖區區中中，作作為為數數據據的的第第二二個個版版本本，然然后后再再比比較較這這兩兩個個版版本本的的數數據據，找找到到變變化化?；谟诳炜煺照盏牡腃DC可可以以檢檢測測到到插插入入、更更新新和和刪刪除除的的數數據據，這這是是相相對對于于基基于于時時間間戳戳的的CDC方方案案的的優優點點，但但它它的的缺缺點點是是要要大大量量的的存存儲儲空空間間來來保保存存這這些些快快照照。另另外外，在在表表比比較較大大時時，也也會會有有比比較較嚴嚴重重的的性性能能問問題題

6、。因因為為會會有有這這種種性性能能問問題題，所所以以也也可可以以使使用用SQL來來做做比比較較，數數據據庫庫引引擎擎的的性性能能往往往往比比ETL引引擎擎的的性性能能更更好好。支支持持異異構構同同步步3，基于觸發器CDC在在源源數數據據庫庫創創建建觸觸發發器器，將將表表的的變變化化記記錄錄寫寫入入到到變變更更文文件件中中去去，實實現現變變更更數數據據的的捕捕獲獲4，基于交易日志CDC-PostgreSQL 邏輯復制邏邏輯輯復復制制同同步步數數據據的的原原理理是是，在在wal日日志志產產生生的的數數據據庫庫上上，由由邏邏輯輯解解析析模模塊塊對對wal日日志志進進行行初初步步的的解解析析,它它的的

7、解解析析結結果果為為ReorderBufferChange（可可以以簡簡單單理理解解為為HeapTupleData），再再由由pgoutput plugin對對中中間間結結果果進進行行過過濾濾和和消消息息化化拼拼接接后后，然然后后將將其其發發送送到到訂訂閱閱端端，訂訂閱閱端端根根據據接接收收到到的的HeapTupleData重重新新對對其其執執行行insert、delete、update的的操操作作4，基于交易日志CDC-MySQL binlog Master將將數數據據改改變變記記錄錄到到二二進進制制日日志志(binary log)中中，Slave通通過過I/O線線程程讀讀取取Master中

8、中的的binary log events并并寫寫入入到到它它的的中中繼繼日日志志(relay log)Slave重重做做中中繼繼日日志志中中的的事事件件，把把中中繼繼日日志志中中的的事事件件信信息息一一條條一一條條的的在在本本地地執執行行一一次次，完完成成數數據據在在本本地地的的存存儲儲，從從而而實實現現將將改改變變反反映映到到它它自自己己的的數數據據(數數據據重重放放)4，基于交易日志CDC-SQL Server1，源源表表在在插插入入、更更新新和和刪刪除除活活動動時時會會插插入入數數據據到到日日志志表表中中2,捕捕獲獲進進程程將將變變更更數數據據捕捕獲獲到到變變更更表表中中。3，復復制制進

9、進程程通通過過cdc提提供供的的查查詢詢函函數數，捕捕獲獲數數據據的的變變更更信信息息3，數數據據增增量量變變化化被被提提取取，轉轉換換，加加載載到到目目標標數數據據中中。5，基于數據庫日志CDC-Oracle DataGuard同同步步原原理理：1,主主庫庫的的變變化化記記錄錄在在redo log 文文件件中中2，redo log 文文件件通通過過LNS服服務務傳傳送送到到目目標標數數據據庫庫（從從庫庫）2，從從庫庫通通過過直直接接應應用用Primary 數數據據庫庫傳傳送送過過來來的的REDO，基基于于block-for-block的的應應用用來來保保持持與與 Primary 數數據據庫庫

10、的的一一致致優優點點：沒沒有有數數據據類類型型的的限限制制，可可以以保保證證兩兩個個數數據據庫庫完完全全一一致致。效效率率高高，因因為為是是使使用用最最底底層層的的塊塊級級別別上上的的復復制制5，基于數據庫日志CDC:PostgreSQL 流復制（物理復制）4，基于數據庫日志CDC:PostgreSQL 流復制在在目目標標端端將將WAL日日志志的的walrecord直直接接拷拷貝貝到到數數據據頁頁對對比比項項基基于于查查詢詢CDC(Sqoop,kafka jdbc,kettle）基基于于日日志志CDC(Dataguard,ogg,canal,dbz)對比項基于時間戳基于快照基于觸發器基于數據庫

11、日志物理復制基于交易日志邏輯復制源表結構要求有有有無部分數據類型限制有有有無部分實時性差差差好好入侵性有有有無無跨平臺支持支持支持不支持支持跨系統支持支持支持不支持支持數據同步技術總結目錄CONTENTS數據同步主要技術2常見數據同步方案3案例分析4常見數據同步場景1數據倉庫ETL 工具ETL是數據倉庫中的非常重要的一環，是承前啟后的必要的一步。ETL負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。常見的ETL 工具有：Kettle,oracle ODI,Informatic,d

12、atastage 等ETL 工具的共有特性：支持各種數據源，跨平臺，可編程工作原理：基于時間戳，快照，觸發器，對源系統有入侵性Canal 數據同步方案canal是阿里巴巴旗下的一款開源項目?；跀祿煸隽咳罩窘馕?，提供增量數據訂閱&消費，目前主要支持了MySQL（也支持mariaDB,kunlundb)canal的工作原理就是把自己偽裝成MySQL slave，模擬MySQL slave的交互協議向MySQL Master發送 dump請求，MySQL master收到canal發送過來的dump請求，開始推送binary log給canal，然后canal解析binary log，再發送到存

13、儲目的地，比如MySQL，Kafka，Elastic Search等等基基于于交交易易日日志志支支持持異異構構跨跨平平臺臺適適合合：數數據據倉倉庫庫ETL，數數據據共共享享，讀讀寫寫分分離離，備備份份容容災災Debezium 數據同步方案Debezium是捕獲數據實時動態變化的開源的分布式同步平臺。能實時捕獲到數據源（Mysql、Mongo、PostgreSql等各種數據源）的：新增（inserts）、更新(updates)、刪除(deletes)操作，實時同步到Kafka。特點：1）簡單。無需修改應用程序?？蓪ν馓峁┓?。2）穩定。持續跟蹤每一行的每一處變動。3）快速。，Debezium+k

14、afka+Flink 數據同步方案Oracle Goldengate基基于于交交易易日日志志支支持持異異構構跨跨平平臺臺適適合合：數數據據倉倉庫庫ETL,數數據據共共享享 讀讀寫寫分分離離 備備份份容容災災Oracle 數據庫同步到 KunlunDBOraclekunlunDB同步方案技術比較 對對比比項項CANAL DebeziumOGGETL 工工具具MYSQL支支持持支支持持支支持持支支持持SQL SERVER不不支支持持支支持持支支持持支支持持ORACLE不不支支持持支支持持支支持持支支持持POSTGRESQL不不支支持持支支持持支支持持支支持持license免免費費開開源源免免費費開

15、開源源收收費費技技術術棧?；谟诮唤灰滓兹杖罩局净谟诮唤灰滓兹杖罩局净谟诮唤灰滓兹杖罩局净谟跁r時間間戳戳/快快照照對對業業務務有有影影響響目錄CONTENTS數據同步主要技術2常見數據同步方案3案例分析4常見數據同步場景1場景-方案 選型 場場景景、方方案案基基于于交交易易日日志志邏邏輯輯復復制制基基于于數數據據庫庫日日志志物物理理復復制制ETL 工工具具邏邏輯輯導導入入導導出出實實時時數數據據倉倉庫庫OK OK 備備份份容容災災OKOKOK業業務務解解耦耦OKOK讀讀寫寫分分離離OKOK數數據據遷遷移移OKOKOKkunlun Server某電商客戶的數據同步方案oraclem

16、ysqlPostgreSQLMSSQL需需求求：異異構構跨跨平平臺臺實實時時性性方方案案選選擇擇：基基于于交交易易日日志志KunlunstorageKunlunstorageKunlunstorageKunlunstoragekunlun Servershard1shard2shard3shard4Kunlun DB 存儲集群kunlun Serverkunlun ServerKunlunDB 計算層數數據據同同步步數數據據同同步步META SERVERMETA SERVER同步方案技術比較 對對比比項項CANAL DebeziumOGGETL 工工具具MYSQL支支持持支支持持支支持持支支持

17、持SQL SERVER不不支支持持支支持持支支持持支支持持ORACLE不不支支持持支支持持支支持持支支持持POSTGRESQL不不支支持持支支持持支支持持支支持持license免免費費開開源源免免費費開開源源收收費費技技術術棧?；谟诮唤灰滓兹杖罩局净谟诮唤灰滓兹杖罩局净谟诮唤灰滓兹杖罩局净谟跁r時間間戳戳/快快照照對對業業務務有有影影響響，性性能能相相對對差差數據同步方案 KunlunSERVER KunlunSTORAGEKunlunSTORAGEKunlunSTORAGESD1SD2SD3sql file-inputbinlog邏輯導出canal,DebeziumOGG,DebeziumMETA SERVERMETA SERVERMETA SERVER變量日志捕獲傳輸應用加載兼容Mysql 協議的分布式數據庫