oceanbase-周躍躍-分布式數據庫 OceanBase 架構演進與業務場景實踐-.pdf

《oceanbase-周躍躍-分布式數據庫 OceanBase 架構演進與業務場景實踐-.pdf》由會員分享，可在線閱讀，更多相關《oceanbase-周躍躍-分布式數據庫 OceanBase 架構演進與業務場景實踐-.pdf（55頁珍藏版）》請在三個皮匠報告上搜索。

1、分布式數據庫 OceanBase 架構演進與業務場景實踐周躍躍 OceanBase 架構師周躍躍OceanBase 架構師“專注于數據庫特別是分布式數據庫領域多年，熟悉分布式數據庫技術原理與解決方案落地，目前主要從事 OceanBase 數據庫方案落地和技術布道?！敝v師簡介 架構升級以及背后的故事 核心特性以及原理解讀 OceanBase 在企業場景落地實踐 進一步開源開放的 OceanBase 生態目錄架構升級以及背后的故事OceanBaseOceanBase 發展歷程及構架演進發展歷程及構架演進V1.0V1.0分布式事務，多租戶，分布式事務，多租戶，一體化一體化V0.1V0.1分布式分布式

2、，三副本高可用，三副本高可用，松耦松耦合合V2.0V3.0V2.0V3.0高兼容高兼容（+oracle+oracle）高性能高性能（TPCCTPCC、TPCHTPCH）混合負載混合負載V4.0V4.0單機分布式一體化單機分布式一體化OBServerOBServerZoneOBServerOBServerZoneOBServerOBServerZoneSQLSQLSQLChunkServerUpdateServerUpdateServerUpdateServerOBServerOBServerOBServerOBServer20102010201620162018201820222022OB-M

3、ySQLOB-OracleZoneOB-MySQLOB-OracleZoneOB-MySQLOB-OracleZ分布式架構分布式架構多副本：一般部署為三/五個 Zone，每個 Zone 由多個服務器節點（OBServer）組成對等節點：每個節點均有自己的 SQL 引擎和存儲引擎，自主管理各自承載的數據分區，TCP/IP 互通，協同服務無需存儲設備共享：數據分布在各個節點上，不基于任何設備級共享存儲技術，不需要SAN 網絡分區級可用性：分區是可靠性與擴展性的基本單元，自動實現訪問路由、策略驅動負載均衡、自主故障恢復高可用+強一致：多副本+Paxos 分布式協議的高效高可靠工程實現，確保數據（日志

4、）持久化在多數派節點成功無共享架構無共享架構 +PaxosPaxos 協議協議 +分區級高可用分區級高可用P1 P2P4 OBServerZONE_1P5 P6P8 OBServer P7P1 P3P4 OBServerZONE_2P5 P6P8 OBServer P7P1 P3 P2OBServerZONE_3P5 P6P8 OBServer P7OBProxyOBProxyOBProxyAPPAPPAPPP3 P2 P4Paxos GroupOceanBase 三副本架構核心特性以及原理解讀什么是單機分布式一體化數據庫？什么是單機分布式一體化數據庫？單機、主備、分布式架構動態轉換單機、主備

5、、分布式架構動態轉換ZONE_1ZONE_1P5 P6OBServerOBServerZONE_2ZONE_2P5 P6OBServerOBServer P7ZONE_3ZONE_3P5 P6OBServerOBServer P7基于基于PaxosPaxos復制的日志流，復制的日志流，RPORPO =0 0，RTO8sRTO8sP1 P2P4 OBServerP1 P0P4 OBServerP1 P0 P2OBServerP0 P2 P4弱一致性讀寫操作讀操作SQLSQLSQLSQLSQLSQLP8 P8 P7P8 SQLSQL路由路由驅動/OBProxy小業務初創企業大規模業務大型企業OBS

6、erverOBServerSQLSQLStorageStorageOBServerSQLStorage更大規格的單機主備庫 中等規模業務 中等規模企業ZONE_1ZONE_1ZONE_2ZONE_2ZONE_3ZONE_3OBServerSQLStorageOBServerSQLStorageOBServerSQLStorageOBServerSQLStorageOBServerSQLStorage主庫主庫備庫備庫三副本垂直擴展無損容災讀寫分離不為你不需要的特性買單：你為什么需要分布式數據庫？架構升級架構升級-主備模式主備模式像使用 MySQL 一樣使用 OceanBase（租戶主備）典型場景

7、介紹典型場景介紹 單副本高可用架構 高網絡延遲架構方案價值方案價值 不再需要中間介質來實現 租戶級別主備 RTO秒級、RPO秒級 主備獨立，互不感知3.X3.X 架構局限性架構局限性-paxospaxos 選舉開銷選舉開銷極端場景測試3.x 架構下，選舉就會消耗不少的 CPU 資源，小規格資源無法承擔業務測試場景一測試場景二“從 大 到小”，不僅僅是架構變小，更要解決在小規格配置時流暢的使用 OceanB分布式事務分布式事務現象：參與者的數量變多的時候，到 4 個時，性能大概會減半；當參與者到 100 個的時候，性能會再減半；結論：參與者的數量越多，事務的性能就會越差。4.X 4.X 如何解決

8、如何解決降低選舉開銷Paxos group、分區降低分布式事務開銷單機多分區、跨機合并日志流合并日志流核心：日志流數量太多目標：單機單日志流就像 MySQL 一樣架構升級架構升級-單日志流單日志流3.X 分區與日志流高度耦合 4.X 分區與日志流解耦場景1、數據量大造成分區數量巨大（建議5-8w）2、頻繁創建、刪除和 truncate 表和分區等問題1、系統開銷（狀態機）：網絡、CPU、內存等2、性能損失：多分區兩階段提交單個日志流可服務多個分區優化后1、開銷?。ㄈ罩玖鲾盗糠浅Ｐ。?、日志流內一階段提交單機分區達到百萬級別性能、資源、穩定性進一步提升更多優化更多優化存儲層元數據按需加載大數據結

9、構內存按需擴張優化內存優化內存減少不必要的后臺線程數量按需降低后臺線程掃描頻率優化優化 CPUCPU增強自動改寫，生成更好計劃優化執行引擎，提升執行效率優化優化SQLSQL資源占用更小，執行更快性能表現與對比性能表現與對比小規格下性能表現優于 MySQL結論：Insert、update 性能是 MySQL 的 2 倍，其他項與 MySQL 相當甚至更好存儲收益存儲收益結論：OB 4.0 存儲成本只有 MySQL/Cockroach DB 1/4 左右；另外一個是 rocksDB，OB 的成本也只有它的一半左右。功能特性功能特性完全自主研發的數據庫，才能做到核心替代的真正落地自研一體化架構兼容經

10、典模式，實現單機和分布式、TP 和 AP 的融合 原生分布式原生分布式全量數據校驗真正實現數據強一致，數據不丟失，高可用，平滑擴展單機分布式一體化單機分布式一體化自研一體化架構突破高性能和高可用，實現應用無限擴展和服務永遠在線 HTAPHTAP一份數據既能做事務處理又能實時分析，通過 HTAP 助力拓展更多可能 MySQLMySQL 平滑遷移平滑遷移業務少量修改甚至不改即可遷移到OB，自動評估和遷移工具 低成本低成本基于 LSM-Tree 的高壓縮引擎平衡了“性能”和“壓縮”的瓶頸，有效降低存儲成本 70%-90%多租戶多租戶資源隔離按需使用，靈活管理，適合微服務架構和 SaaS 行業應用原生

11、多租戶架構原生多租戶架構Oracle 兼容MySQL 兼容 HTAP HTAP 引擎引擎 （TPTP +APAP )SQL 優化引擎集中式集中式 /分布式一體化架構分布式一體化架構并行執行引擎存儲過程基于基于 PaxosPaxos+數據同步的靈活的容災架構數據同步的靈活的容災架構分布式存儲分布式事務分布式調度單機房三副本同城三機房雙機房主備兩地三中心三地五中心靈活的部署模式靈活的部署模式物理部署專有云/混合云公有云/多云OceanBase 在企業場景落地實踐六大典型場景解決方案六大典型場景解決方案歷史庫歷史庫通過OceanBase智能化的歷史庫遷移平臺，幫助用戶快速、安全的完成冷數據歸檔，一次

12、配置即可自動管低成本|生命周期自動管理|超大容量多租戶多租戶過OceanBase的分布式多租戶架 構，實 現 基 于 面 向 服 務（SOA）的多數據庫資源整合。資源池化|降低成本7x247x24 不停機高可不停機高可用用OceanBase通過強大的異地部署能力和靈活的副本變換 以及負載均衡能力，幫助企業在關鍵核心場景中構建異地多活|單元化丨極致彈性高并發高并發基于OceanBase的在線擴縮容能力和高并發低延遲特性，快速應對業務負載變化，支撐業務高速發展分庫分表聚合庫|極速擴展|彈性擴所容實時數倉實時數倉集數據加工處理以及數據即時查詢于一體的OceanBase原生分布式HTAP據庫解決方案，

13、為業務提供實時數倉支撐極低延遲|極簡架構|海量存儲OBKVOBKV平滑替代HBase 業務,大幅提升性能,節省大量HBase 相關組件,統一技術棧,降低運維成本.低成本|平滑替代|更高性能典型場景一典型場景一:歷史庫（高級壓縮技術）歷史庫（高級壓縮技術）基于數據日志分離的低成本存儲技術基于數據日志分離的低成本存儲技術數據壓縮是降低海量數據存儲空間占用的關鍵手段。OceanBase 高壓縮比的分布式存儲引擎，摒棄了傳統數據庫的定長數據塊存儲，采用基于 LSM-Tree 的存儲架構和自適應壓縮技術，創造性的解決了傳統數據庫無法平衡“性能”和“壓縮比”的難題，并基于數據日志分離方法的分布式存儲技術，

14、進一步降低存儲成本，實現了高性能和低存儲成本?；?LSM-Tree 的存儲引擎，利用編碼壓縮大大降低存儲成本?；跀祿冮L基于數據變長 -定長的存儲壓縮技術定長的存儲壓縮技術通過使用壓縮率較高且解壓縮較快的壓縮算法對數據進行壓縮，提高數據壓縮倍率，減少數據的存儲成本。同時由于 LSM-Tree 的結構特性，采用讀寫分離設計和行級細粒度記錄更新，變更數據保存在內存中，并批量寫入到磁盤上。因此能達到內存數據庫級寫入性能和磁盤數據庫的存儲成本，并消除了傳統 B+Tree 的磁盤隨機寫瓶頸和存儲空間碎片化問題，使得數據寫入性能比傳統的實時更新數據塊的方式更高?；跀祿幋a的存儲壓縮技術基于數據編碼的

15、存儲壓縮技術采用行列混合存儲格式，磁盤數據塊按列組織，自研一套對數據庫進行行列混存編碼的壓縮方法（encoding），使用行列的字典、差值、前綴等編碼算法，在通用壓縮算法之前對數據做了編碼壓縮，從而帶來更大的壓縮率。傳統的 Paxos 協議中，系統需要三個副本（五副本），OceanBase 數據庫將用戶數據和日志數據分離，比如日志數據基于 Paxos 協議使用三副本（五副本）存儲，而用戶數據本身可以使用兩副本（三副本/四副本）進行存儲。在保障相同可用性的前提下，數據日志分離可節省 20%-40%的用戶數據存儲成本。同一業務的數據存儲量OceanBase 僅為 MySQL數據庫的1/1/8 8-

16、1/1/1010顯著提升業務系統穩定性、安全性有效降低存儲成本70%-70%-90%90%多級轉儲提升寫性能熱點緩存基線數據CLog 落盤 Paxos 同步OLTP 應用 讀數據合并時統一壓縮轉儲數據OLTP 應用寫數據MemTable支撐支撐 OLTPOLTP 業務在線高壓縮業務在線高壓縮比比內存硬盤顯著降低存儲成本顯著降低存儲成本LSM-Tree 架構、動態修改寫內存、靜態數據無修改；批量寫高壓縮支持、強數據校驗、對 SSD 友好無隨機寫。典型場景一典型場景一:歷史庫歷史庫300+300+套 MySQL 平滑遷移200200運維更便捷75%存儲成本降低擴展性不足：隨著訂單業務量的增加，業務

17、數據迅猛增長，傳統數據庫的存儲瓶頸以及性能不佳問題越來越明顯；數據量大：業務數據量在 OceanBase 單集群達到百 T 級別，同時單表大小達到 10 T 級別以上，同時存在大量數據進行聚合，有復雜的 AP 請求業務特征極端：數據量百 T 級別，讀寫請求峰值 QPS 百萬級別穩定性要求高：業務要求返回延遲為 ms 級，如無法在規定時間內完成，影響核對結果，同時系統出現故障或者請求異常抖動時，會產生資損，與錢掛鉤業務挑戰業務挑戰OceanBase 同城三機房部署架構，實現 RPO=0，RTO 30秒 的容災能力；同時又可以在異地增加一個只讀 Zone 提供本地的讀服務，提升查詢效率。同城容災以

18、及本地讀等功能為業務提供穩定性和性能雙重保障。OceanBase 具備靈活的資源擴展能力，根據業務實際發展情況可以動態的進行計算和存儲能力的線性擴展，支撐海量數據的存儲和計算，同時很好地應對未來的業務增長要求。相比傳統的集中式數據庫 MySQL，OceanBase 在存儲層面極致的壓縮能力，有效降低企業使用數據庫的硬件成本。解決方案解決方案運維更加高效與便捷：單集群替換 300+套 MySQL 環境，運維管理成本大大降低，同時管理更加方便。低成本：支撐上百 TB 數據存儲場景且性能和穩定性有保證，同時相比較之前的方案，OceanBase 方案的存儲成本降低 75%，降本效果明顯。架構收益明顯：

19、使用 OceanBase 替換掉 ES+MySQL 方案之后，替換掉 ES 服務，同時 MySQL 機器成本縮減一半，整體節省 50 臺機器一套 OCP 管理 OceanBase 集群 8 套，OBServer 節點數超過 200 個 收益收益insertqueryOceanBaseMySQLMySQLMySQL典型場景二：多租戶（對碎片化資源進行整合）典型場景二：多租戶（對碎片化資源進行整合）大集群：將長尾應用的多實例 MySQL、多業務統一進行管理，有效提高資源密度，消除存儲碎片。多租戶：實現數據庫內核級虛擬化（CPU、IO、內存），滿足數據安全隔離的同時，提供基于業務畫像的可伸縮計算資源

20、，同時通過 Leader 打散實現混部。通過提升資源密度的方式，實現滿足相同業務需求的情況下，降低資源成本大集群&多租戶典型場景二：典型場景二：SaasSaas 服務服務原生多租戶架構，一個集群中同時運行多個數據庫租戶，每個租戶可以視為一個獨立的數據庫服務。租戶間數據和資源互相隔離，并且在集群內統一調度。支持在創建租戶時選擇不同的兼容模式，每個租戶可單獨配置數據副本數量、副本類型、存儲位置及計算資源等。每個應用租戶擁有專屬的資源池8c32g8c32g4c16g4c16gCPU內 存存 儲2c8g2c8gCPU內 存存 儲資源隔離、數據隔離、彈性調整OceanBase 集群資源隔離、靈活管理資源

21、隔離、靈活管理適合微服務架構適合微服務架構隨著企業內業務系統越來越復雜，原來的單體服務在工程和管理上變的越來越不堪重負。使用微服務架構，新增和調整功能只需要增加新的微服務節點。但是每個微服務需要使用不同的數據庫，數據庫的數量大大增加，可靠性和運維管理都帶來了挑戰。使用 OceanBase 多租戶特性，管理員只需要運維少量集群，既能保證租戶之間數據和資源互相隔離，又提升了數據庫的穩定性。適合多適合多租戶租戶 SaaS SaaS 服務服務云上的 SaaS 服務商，往往提供的是多租戶的服務。多個業務租戶的數據庫如果在一個單機數據庫中做邏輯名字空間隔離，大小租戶之間互相影響。如果每個業務租戶使用一個獨

22、立的數據庫，成本高，幾十到上百套分散數據庫環境，運維工作復雜，同時擴展性受限。使用 OceanBase數據庫內原生多租戶，能更好地平衡隔離性和成本，而且大小租戶可以獨立擴縮容。零售Saas 場景CPU內 存存 儲一套應用需要支撐上百不同規模商家一套應用需要支撐上百不同規模商家 大型中型小型典型場景二：錯峰超賣典型場景二：錯峰超賣考勤系統3個1C，8G 租戶6:306:45制造系統7:0012:0013:0019:00食堂系統12:0013:00從硬件方面考慮，OceanBase 的優勢降本在于超賣，各系統錯峰使用超分資源。不同租戶之間的彈性可以分時復用，提升資源利用率適合多租戶錯峰服務適合多租

23、戶錯峰服務假設對應以上三個系統，高峰期使用的資源都需要 4C，8G，如果使用 MySQL，需要為三個業務系統都分配 3個4C 8G規格的資源；如果使用 OceanBase，只需要分配三個1C，8G的租戶，余3個CPU資源可以共享；另外，如果開啟 OceanBase 的讀寫分離特性，CPU資源還能進一步充分利用。典型場景典型場景3:3:極致高可用極致高可用-基于基于 paxospaxos 的多副本架構的多副本架構Paxos多數派投票協議，包含 leader、follower 等角色每個事務成功寫入需要滿足超過大多數節點RPO=0；RTO8s強主模式，leader 讀/寫，可開啟弱一致性讀Raft

24、：順序同步，不允許出現空洞，實現簡單DB1DB2DB3Paxos：亂序同步，允許出現空洞，實現復雜DB1DB2DB3PaxosPaxos or Raft?or Raft?是否允許日志空洞？應對復雜網絡環境，更為魯棒并發寫入性能更佳！典型場景典型場景3:3:極致高可用極致高可用-數據校驗（物理數據校驗（物理&邏輯）保證底層數據正確邏輯）保證底層數據正確讀取最小單位是微塊,寫最小單位是宏塊；讀取時,會校驗 微塊校驗和遷移/備份時,會校驗 宏塊校驗和；后臺周期性巡檢宏塊校驗和SSTable 累計行校驗和SSTable 列校驗和合并時:索引列 列校驗和和主表列的列校驗和 進行比較副本之間的行校驗和 和

25、 列校驗和 進行比較內置多種強校驗機制，能夠自動發現多副本數據的不一致、網絡數據錯誤、磁盤靜默錯誤、索引與主表的不一致錯誤等，保證數據可靠。典型場景典型場景3:3:極致高可用極致高可用-基于架構的高可用解決方案基于架構的高可用解決方案兩地三中心混合云三地五中心主備庫雙主典型場景典型場景3:3:極致高可用極致高可用大幅降低硬件成本7575%服務器資源利用率5 5 級容災金融行業容災標準容災標準高：理財業務支撐著企業客戶萬億級別的資產，需要滿足 7x24 小時持續服務，高可用容災要求達到 5 級。建設成本高：原有業務系統基于傳統大機和 DB2 數據庫的封閉模式運行架構，業務容災系統建設成本高昂。備

26、機房資源浪費：近年來隨著業務并發量的不斷增加，數據庫系統處理能力不足的問題凸顯。冷備機房隨時待命但不提供數據服務，資源利用率低。業務挑戰業務挑戰 解決方案解決方案OceanBase 支持數據多副本，節點間通過 Paxos 協議同步，實現集群高可用和多地災備。結合中國工商銀行實際情況，搭建跨“兩地三中心”的分布式集群，以“五副本+主備”模式進行部署。集群統一管理調度所有服務器資源，實時動態計算，將業務負載調度到最空閑合理的服務器上運行。故障管理服務自動排查故障機器，調度事務到健康機器上執行，保證全局事務強一致性，無需人工干預。數據庫服務器資源利用率達到 75%，在系統處理能力遭遇瓶頸時，可進行便

27、捷的水平擴展，增加集群計算資源來提升處理能力。實現數據庫同城雙活、異地 RPO=0。機房級容災達到 RPO=0，RTO30s，即故障發生后，從IT系統宕機導致業務停頓到系統恢復至可以支持各部門的運作時間，少于30秒。達到工商銀行 5 級容災要求，滿足 7x24 小時服務要求。提升高可用水平，為業務提供強連續性保障，支撐萬億級資金交易，并且在保證系統性能和穩定性的前提下，有效降低了成本。系統從大型主機下移到國產化 ARM 服務器，降低整個系統的投入成本。國產服務器+國產操作系統+完全自研的分布式數據庫，實現核心系統的分布式改造。收益收益 極致高可用支撐7x24無停機典型場景四：高并發訪問典型場景

28、四：高并發訪問-原生分布式原生分布式OceanBase 使用普通服務器和數據中心網絡組成的 Shared-nothing 集群部署，無需基于專用網絡環境的 SAN 存儲設備。集群原生自動管理計算資源和存儲資源的分配和動態資源均衡。支持彈性水平或垂直擴縮容，讀寫性能可線性擴展。所有服務節點都支持 SQL 計算和數據存儲，每個節點自主管理所服務的分區數據。整個集群只有一種數據庫服務進程，無外部服務依賴，運維管理簡單。對外提供統一的數據庫服務，支持 ACID 事務和全局索引，對應用開發來說與單機無異。應用透明的水平擴展，自動負載均衡，集群規?？蛇_數千節點容災能力是關鍵業務系統的重要衡量指標，原生分布

29、式在設計之初就假定硬件是不可靠的，每個模塊的設計和實現都在細節處考慮容災和主動防御。支持多個數據副本分散存儲在不同地域，實現跨地域的容災部署。在強一致事務的保護下，數據修改在多個地域保證成功提交，因此當災難發生時，數據不會丟失，達到國家標準定義的最高級別容災標準。高可用性是系統某些組件故障時持續提供服務的能力。OceanBase 分布式選舉協議在故障發生時進行自主選舉。少數派節點發生宕機時，支持快速無損自動切換，達到 RTO follower 只讀Primary zone 弱一致性讀查詢優化/并行執行框架多副本類型典型場景五：實時數倉典型場景五：實時數倉-SQL 自動設定并行度（AUTO DO

30、P）還提供 fast fail 機制dOceanBase Auto DOP 能有效降低并行執行使用門檻。詳見社區博客 OceanBase v4.2 Auto DOP 功能說明 https:/ 大數據量 AP 分析場景 復雜 SQL，多表，大小不一方案價值方案價值 極大降低 AP 使用門檻，無需用戶根據 CPU 數量來推算并行度 以最小化 SQL 執行時間為目標，CPU 資源利用效率進一步提升AUTO DOP 分配效果示意圖掃描+預聚合最終聚合結果收集SET parallel_degree_policy=AUTO;select sum(c1)from t1 group by c2;32 個線程4

31、 個線程1 個線程典型場景五：實時數倉典型場景五：實時數倉MySQL1CanalKafkatopic1topic2topicNDSPHive/HDFStable1table2tableNMySQL2MySQLnSpark/Presto運單寬表(2H)運單寬表(天)PrestoBI 分析MySQL1CanalKafkatopic1topic2topicNApache FlinkOceanBaseMySQL2MySQLnBI 分析優化前:優化后：數據時效差：2 小時分析性能差：1-10s數據時效：2s分析性能：3s成本降低：50%運單中心APAP 能力對比能力對比典型場景六：多模形態典型場景六：多

32、模形態-多模架構多模架構 OBKV典型場景六：多模形態典型場景六：多模形態實時字典服務實時字典服務 查詢性能:提升 4.3 倍 批量寫:提升 4.6 倍 批處理:提升 2.7 倍Kafka實時 ETLOLAP 引擎FlinkFlinkKeyKey：Value字典服務API字典注冊字典生成存儲服務OceanB開源開放的 OceanBase 生態旁路導入旁路導入OceanBase 提供旁路導入方案，解決過去導入性能不足、穩定性差的難題。數據導入性能提升310倍，導入穩定性極大提升。典型場景介紹典型場景介紹 批量數據導入（如 PoC 等）內存不足時可能被寫入限流，導致導入時間變長 Memtable

33、轉儲不夠快時，可能報 Out Of Memory，導入失敗方案價值方案價值 繞開 Memtable 直接寫存儲，減少不必要開銷，提升寫入性能 繞開 Memtable，租戶內存大小與數據導入量解耦 數據寫入效率大幅提升Update增量 MemTable(WOS)MemoryDiskGETSmall-QueryScan Big-QueryRow-LevelRow-Level In-In-MemoryMemory Redo/MVCCRedo/MVCCIn-In-MemoryMemory HASHHASHIn-In-MemoryMemory HASHHASH轉儲轉儲 SSTableSSTableRow

34、Row CacheCacheBlockBlock Cache Cache多個轉儲版本基線基線 SSTable(ROS)SSTable(ROS)合并前合并后ReplicasLogs混合部署獨立部署私有云公有云/混合云性能表現性能表現5160196773725149201952140245901000200030004000500060004xlarge(16c32G)12xlarge(48c96G)堆表 普通插入堆表 旁路導入索引組織表 普通導入索引組織表 旁路導入結論：無主鍵表的導入性能可以提升 10 倍左右，有主鍵表的導入性能可以提升 3 到 5 倍。MySQL MySQL DBLinkDB

35、Link 跨租戶數據訪問跨租戶數據訪問OceanBase DBLink 可以用來降低業務開發難度典型場景介紹典型場景介紹 跨服務查詢 跨租戶多表連接方案價值方案價值 支持多個 OceanBase MySQL 租戶之間跨租戶讀數據 降低業務開發難度方案限制方案限制 暫不支持 OceanBase MySQL 讀取原生 MySQL 數據DBLink 訪問示意圖select*from number_tob_dblink;拼接訪問遠端數據的 SQL返回結果遠端租戶遠端租戶本地本地租戶租戶MySQLMySQL BinlogBinlog Service ServiceMySQL兼容模式下，提供Binlog

36、Service，可以將OceanBase的日志轉換成MySQL Binlog格式，且提供了全面兼容Binlog協議的能力，更方便接入下游數據生態。典型場景介紹典型場景介紹 MySQL 生態源組件通過消費 MySQL Binlog，提供更豐富的數據服務 歷史庫、近實時緩存、消息隊列（MQ）分析和審計方案價值方案價值 低成本復用 MySQL 生態工具，避免重復造輪子Binlog Service 架構示意圖CanalFlinkCDCDebeziumOBProxy租戶1租戶2OB 集群Binlog文件Binlog文件binlog dump 響應binlog 服務clog日志binlog訂閱binlog

37、訂閱binlog訂閱診斷工具診斷工具 OceanBaseOceanBase Diagnostic Tool Diagnostic T診斷工具診斷工具 OceanBaseOceanBase Diagnostic Tool Diagnostic T開發者工具開發者工具 ODCODC產品架構產品架構對象管理：對象管理：支持完整的數據對象和數據類型，引導式流程創建數據庫對象，可視化對象修改，支持回收站機制。WebWeb 控制臺：控制臺：通過 WebSQL 幫助開發人員使用 OceanBase 的各種特性和功能，支持 MySQL 和 Oracle 語法高亮、格式化、智能提示、友好的 snippets 等

38、特性，提供類似 Excel 的可視化數據編輯能力。導入導出：導入導出：為 OceanBase 量身打造的高效數據導入導出工具，具備動態負載均衡和斷點恢復等能力。安全審計：安全審計：支持 14 類審計事件，確保安全合規，重要事件可追蹤，審計報告可下載。流程管控：流程管控：根據任務類型限制用戶發起的變更內容、定制不同的審批流程，達到數據庫變更安全的作用。產品特性產品特性對象管理 SQL 執行監控診斷執行設置模擬數據數據庫管理 PL 執行 導入導出腳本管理 ER 建模開發者工開發者工具具OceanBaseOceanBase開發者工具開發者工具SQL 解析權限框架數據源適配任務框架對象管理 SDK審計

39、框架連接管理配置框架基礎框架基礎框架管理員開發者DBA桌面版Web 版云平臺用戶角色資源管理變更流程操作審計生產變更權限管理風險規則流水線 數據脫敏開發集成管控協管控協同同OceanBase 量身定制量身定制ODC 是為 OceanBase 量身定制的開發平臺，其提供的表、視圖、函數、存儲過程、程序包、觸發器、類型和同義詞等對象可視化管理的能力是完全根據 OceanBase 的內核能力定制，適配性好，體驗更佳。輕松上手輕松上手ODC 整體風格簡潔明了，通過逐步引導，可快速進行表、視圖、函數、存儲過程、程序包、序列、觸發器、類型和同義詞等對象的開發與管理工作。豐富的工具集能力豐富的工具集能力OD

40、C 內置了一系列工具來輔助開發，如代碼片段、執行計劃分析、模擬數據、會話管理、回收站管理、導入與導出等。多形態跨平臺多形態跨平臺ODC 支持客戶端版和 Web 版，其中客戶端版可在 Windows 和 Mac 平臺上安裝。Web 版支持在 Linux 平臺上部署，支持 X86 和 ARM 架構。產品優勢產品優勢數據遷移工具數據遷移工具 OMSOMS產品架構產品架構OracleMySQL/MariaDBDB2 LUWTiDBPostgreSQLOceanBaseKafkaRocketMQDataHubAnalyticDBMySQLOracle對象評估對象轉換數據遷移數據匯聚數據校驗修復建議回流保

41、護持續校驗數據轉換抽取過濾數據同步消息訂閱容災雙活灰度切流DDL 同步DML 過濾在線數據遷移：在線數據遷移：支持將Oracle、DB2 LUW等多種異構數據庫在線遷移至 OceanBase 數據庫，完成切換后支持將 OceanBase 數據庫上所有的變更數據反向同步至源端數據庫。實時數據同步：實時數據同步：支持 OceanBase 與自建 Kafka、RocketMQ 之間的實時數據同步，支持數據過濾，提供完備的同步管理能力，廣泛應用于實時數據倉庫搭建、報表分流等業務場景。一站式交互：一站式交互：提供數據遷移過程的全生命周期管理，在管控界面上完成數據遷移和數據同步任務的創建、配置、監控和管理

42、，交互簡單方便。多重數據校檢：多種方式的數據校檢和保護，全面高效的保證數據正確性，展示差異數據，提供快速修復能力。產品功能產品功能 一站式服務一站式服務提供數據傳輸的全生命周期管理，支持語法轉換，數據轉換，任務管理等功能，提供遷移評估、數據遷移、數據訂閱、數據校驗等產品形態，從而方便客戶輕松上“OceanBase”,并滿足企業客戶的多樣化需求。簡潔高效簡潔高效提供可視化，所見即所得 Web 管控平臺，輕松完成數據傳輸項目的創建、任務配置和傳輸組件的監控運維，以及鏈路維護和故障診斷等便捷的操作，并提供多種保護級別支持定制化配置，提供實時的監控報警。靈活化靈活化基于實際業務場景，客戶可以靈活選擇合

43、適的遷移、同步類型和功能，支持組合成不同的解決方案。同時提供多樣性的部署模式及靈活的橫向和縱向擴展、收縮能力，保障滿足延遲敏感客戶的業務需求。高性能高性能OMS 使用多并發、并行復制和壓縮加密傳輸等技術來保證遷移或同步項目都能擁有優異的傳輸性能。數據全量遷移可達 38萬 RPS（Rows Per Second，每秒增量同步至目標表的數據行數），增量數據同步可高達 10萬RPS 及數據校驗可達 66萬RPS，從而提供穩定的秒級傳輸服務。產品優勢產品優勢運維管理平臺運維管理平臺 OCPOCP“監控監控-告警告警-診斷診斷”一體化診斷一體化診斷自治服務自治服務自感知 自擴容 自優化 自安全數據庫監控

44、性能報告 OBAR運維管控運維管控部署、升級、擴縮容、備份恢復、配置變更等全生命周期管理的全自動化運維。整體概要總結系統活動情況S Q L 運行狀況緩存與隊列等待信息參數配置總計超過 400+項監控指標客戶自研第三方運維平臺開源工具商業工具開放開放 APIAPI 提供外部系統的接入提供外部系統的接入OceanBaseOceanBase 集群集群ODPODP 集群集群ODP 1ODP 2ODP 3多集群統一管控OCPOCP WebWeb 管控臺管控臺集中化運維管理平臺診斷監控告警應急OCPOCP 管理服務管理服務基礎數據 運行數據日志采集 統一存放產品架構產品架構資源管理：資源管理：提供 Oce

45、anBase 集群，租戶，主機，軟件包等資源對象的全生命周期管理，包括管理，安裝、運維、性能監控、配置、升級等功能。監控告警：監控告警：全局監控及告警設置，支持所有資源對象不同維度，實時準確的監控告警需求，支持自定義告警，滿足定制化的告警需求。備份恢復：備份恢復：支持集群和租戶表級別全量備份、增量備份及日志備份，支持周期性備份任務、多地備份，支持在備份周期內任意時間點的恢復，支持多種云平臺介質的備份恢復。自治服務：自治服務：日常運維的過程中，在”發現-診斷-定位-優化/應急“的鏈路上更好的人工或者自動化處理，極大的降低用戶運維 OceanBase 的成本。產品特性產品特性 高可用高可用OCP

46、支持多集群、多可用區的部署模式。增強了對 OceanBase 主 備、跨 城 集 群 的 運 維 管 理 能 力，即 保 障 了 災 難 發 生 時 OceanBase 集群穩定，也實現運維管理的高可用性。簡單易用簡單易用OCP 基于 Web 的可視化管理能力，將復雜困難的數據庫運維管理工作，通過產品能力實現標準化、自動化，用戶可通過簡單的頁面操作來實現專家級數據庫運維管理工作。生態對接生態對接OCP 提供了開放 API，支持生態用戶通過標準的 API 接口使用 OCP 資源，同時 OCP 的監控、告警等數據，支持無縫對接到用戶統一運維平臺，降低用戶的運維復雜度。安全安全OCP 提供了基于用戶

47、角色的權限隔離機制，保障了資源的使用安全，OCP還提供了對所管理資源的企業級監控、告警、巡檢、自治等功能，實時守護集群的運行安全。產品優勢產品優勢OceanBaseOceanBase 工具體系工具體系OceanBase 工具體系為 OceanBase 數據庫從替換前、遷移中和使用后的不同階段提供全方位產品化護航，助力業務穩定增長。01 評估改造自動采集數據庫畫像自動轉換兼容性評估回放壓測分布式改造02 實時遷移對象遷移全量遷移增量遷移數據校驗增量回寫數據訂正03 開發管理連接管理對象管理開發調試導入導出數據可視化模擬數據04 生產運維部署升級資源管理容災切換備份恢復監控告警自動巡檢05 復制訂

48、閱增量復制雙向同步匯聚分發數據抽取數據入湖數據過濾06 安全管控權限管理操作審計安全協同變更管控數據脫敏安全治理07 診斷自治全鏈路監控SQL 診斷容量管理自動恢復自動優化智能運維遷移評估工具 OMA數據遷移工具 OMS開發者工具 ODC運維管理工具 OCPDataworksHadoop KafkaOceanBaseMySQL數據倉庫異構數據庫集群管理租戶管理監控告警性能調優備份恢復故障診斷OCPAPI 開放開源開放，對接生態Postgres數據遷移工具CanalOtterFlink CDCDataXChunjunCloudCanalOMS數據遷移數據同步數據轉換數據校驗API 開放運維管理工

49、具KubernetesPrometheusD-SmartCNCF SealerActionSkyODC連接管理數據庫對象管理SQL 工作臺導入導出開發者工具NavicatDBeaverPiFlow第三方OceanBase 官方OceanBase 內核OBProxy數據庫代理跨庫數據分片數據庫代理讀寫分離HTAP引擎全鏈路高可用高壓縮低成本彈性伸縮容OBServerOBServerSQL 引擎事務引擎存儲引擎分區分區分區OBServerOBServerSQL 引擎事務引擎存儲引擎分區分區分區OBServerOBServerSQL 引擎事務引擎存儲引擎分區分區分區總控服務MySQL 兼容 OceanBase 開源生態架構微 信 官 方 公微 信 官 方 公 眾 號眾 號：壹 佰 案 例：壹 佰 案 例關關 注 查 看 更 多 年 度注 查 看 更 多 年 度 實 踐實 踐 案 例案 例