移動云海山數據庫技術內幕.pdf

《移動云海山數據庫技術內幕.pdf》由會員分享，可在線閱讀，更多相關《移動云海山數據庫技術內幕.pdf（25頁珍藏版）》請在三個皮匠報告上搜索。

1、移動云海山數據庫：算力網絡時代的云原生數據庫移動云海山數據庫技術內幕于巍移動云自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會移動云數據庫概述典型案例海山數據庫架構演進0 01 10 02 20 03 3目 錄Contents大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推

2、進委員會大數據技術標準推進委員會第一部分 移動云數據庫概述Chapter 01大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會移動云和數據庫團隊簡介移動云立足云服務商第一陣營，入選國資委首批“創建世界一流專業領軍示范企業”名單，開啟“成為一流云服務商”新征程移動云數據庫團隊十年前正式誕生，以實現數據庫核心技術自主可控為目標，目前已構建完整產品和市場體系，并實現大規模商用。中國公有云I+P服務市場份額第五位2014基于開源啟動商業

3、版產品打造集團內部推廣和應用蘇州研發中心2020啟動云改，轉型云計算服務商海山數據庫1.0發布云能力中心2024云原生進階，發布海山數據庫2.0啟動算力網絡數據庫探索和研究規模200+人蘇州/北京/上海/南京研發團隊15+31全國資源覆蓋30萬 核資源規模10+中移專業公司9大重點行業突破市場推廣多領域市場份額領先專屬云No.2邊緣云No.1政務云No.2(2023H2)大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會順應時代發

4、展潮流，堅定自研數據庫之路n 在國家自主可控、中國移動戰略轉型、云廠商引領數據庫發展的多重因素驅動下，移動云將持續堅持自研數據庫之路。國家自主可控n黨的二十大以實現“高水平科技自立自強”作為目標，“原創性、引領性科技攻關”等，是實現科技自立自強的重要途徑。n國資委202279號文件要求所有央企、國企、地方國企圈定重要軟件和設施等的替代策略。n2023年12月工信部發布數據庫政府采購需求標準正式版中國移動轉型n中國移動一二二五戰略，即一個新定位、兩個轉變、兩個新型、五個紅利。云廠商引領新型信息基礎設施5G+算力網絡+能力中臺新型信息服務體系連接+算力+能力兩個新型n據IDC統計，中國關系型數據庫

5、云化部署規模已超傳統部署方式，且增速領先nGartner2022年DBMS市場廠商排名：一個新定位創世界一流信息服務科技創新公司數據庫是基礎軟件皇冠的明珠，也是中國移動戰略轉型必不可少的一部分兩個轉變數量規模當期業績質量效益效率長期價值1、亞馬遜云2、微軟3、Oracle4、谷歌云5、IBM6、SAP7、阿里巴巴8、華為9、Snowflake云廠商領銜全球數據庫市場大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會云原生數據庫架構

6、演進共性能力統一建設深入解耦和重構內核云原生化平臺云原生化大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會移動云數據庫產品矩陣數據庫生態工具數據庫傳輸 數據庫管理 數據庫自治事務型RDS數據庫（MySQL、PostgreSQL、達夢、TiDB、SQL Server）分析與檢索海山數據庫數倉版搜索數據庫向量數據庫NoSQL緩存數據庫文檔數據庫多模數據庫*（圖、時序等）數據庫統一云原生平臺底座海山數據庫 MySQL版*海山數據庫 P

7、ostgreSQL版海山數據庫 分布式版*L1L1L1L1L1L2L3L2L2算力網絡數據庫*L4*海山數據庫MySQL版和分布式版公測中，即將上線*多模數據庫正處于研發階段*算力網絡數據庫正處于前期調研階段L1移動云基于K8s構建云原生數據庫底座，全線產品達云原生L1級自研海山數據庫系列，采用存算分離架構，并全面向Serverless演進在中國移動算力網絡戰略下，大力探索算力網絡數據庫，積極推進相關技術以及行業標準制定移動云一站式云原生數據庫服務大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數

8、據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會第二部分 海山數據庫架構演進Chapter 02大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山云原生數據庫（He3DB）系列產品海 山 云 原 生 關 系 型 數 據 庫 P G/M y S Q L 版高度兼容：100%兼容PostgreSQL高性能：存算分離架構，冷熱數據分離，為用戶高性能和低成本快速彈性：可橫向擴展至16個節點，支持最大容量100TB海

9、 山 分 布 式 數 據 庫金融級要求：分布式事務強一致性，滿足會計記賬準則要求備份恢復：全局一致備份恢復，滿足數據備份監管要求數據同步：高并發、高網絡時延情況下保證同步性能，零丟失（RPO=0）海 山 實 時 數 倉簡潔易用：大規模并行處理提供物化視圖全場景統一分析能力低成本：彈性伸縮，兼容MySQL協議，為用戶提供極具性價比的服務大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山數據庫（He3DB）集中式版-整體架構H H

10、e e3 3D DB B計算引擎：提供SQL解析，計算能力。所有寫請求轉化為日志 寫，讀請求從Page服務獲取數據H He e3 3S St to or re e存儲引擎：異步回放日志成Page數據,最終使用S3作為數據持久層，分為日志服務與Page服務H He e3 3P Pr ro ox xy y 智能中間件：能夠感知業務負載，多維度負載均衡選擇路由，提供讀寫一致性能力生生態態工工具具 實現業務零感知的秒級備份/恢復能力，提供監控工具，遷移工具，Cluster管理工具He3DB 云原生版本采用存算分離數據共享架構。包含PostgreSQL、MySQL兩個版本，100%兼容PostgreSQ

11、L、MySQL協議，支持1主15備讀寫分離底層共用一份數據，最大支持100TB數據量存儲，RTO故障恢復時延可控制在30S以內，支持聯邦內存池緩存命中率相對傳統主備模式提升2倍以上，支持秒級在線新增實例，適合大數據量實時在線交易性業務大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山集中式 V1.0關鍵技術-分層設計，實現高性能、底成本遠端存儲管理中中間間件件（He3Proxy）讀寫讀讀日日志志服服務務頁頁面面服服務務 讀寫日

12、志回放進程元數據庫KV 集群（Raft）讀Page讀Page讀Page讀Log分分布布式式存存儲儲He3FS S3 SliceS3 SliceS3 Slice頁面歸檔主主節節點點Buffer Pool本地存儲管理備備節節點點Buffer Pool遠端存儲管理備備節節點點Buffer Pool遠端存儲管理日志發送進程日志Compact讀寫分離分區管理負載均衡寫日志寫頁面遠端存儲管理本地存儲管理本地存儲管理中間件層虛擬共享緩存層本地高速存儲層日志及頁面服務層分布式存儲層n實 現 聯 邦 內 存 池，每 個 節 點databuffer負責緩存不同表數據，通過智能中間件路由用戶請求，保證大數據量場景下

13、的內存命中率n使用本地盤作為Page高速緩存，保證熱數據在本地存儲的高命中率n實現log is database,所有的寫轉化為日志寫，通過對接分布式KV存儲，提高寫性能n主備節點均無狀態，可任意切換。分分層層實實現現高高性性能能分分層層實實現現高高性性能能大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山集中式 V1.0關鍵技術-聯邦緩存池技術n 問題：常規云原生數據庫架構中，每個存儲節點隨機緩存數據頁，消耗資源大且緩存利用

14、率低；n 思路：采用聯邦緩存技術，將計算節點內存池化，設置數據分區策略，每個計算節點緩存部分數據，提高緩存利用率。n 成效：通過聯邦緩存池，提高了緩存命中率，將磁盤讀取次數減少一倍以上，整體使TPS、QPS等核心性能提升44%以上。數據頁數據頁計算（主）計算（備）計算（備）緩存分區，每個節點根據策略緩存指定塊數據，緩存命中率高計算（主）數據頁計算（備）計算（備）友商常規緩存架構每個節點隨機緩存數據，緩存命中率低架構優化B1B2B3B4B5B6B7B8.B1B7B4數據頁B1B8數據頁B3B7B5B6B1B2B3B4B5B6B7B8.數據頁B4B5B6B1B2B3B7B8聯邦聯邦智能路由分區1分

15、區3分區1分區2分區3分區2測試方式測試環境主備QPS緩存命中數磁盤讀取緩存命中數磁盤讀取常規緩存 架構：一主一備 規格：2C4G;數據量：800W行，2GB2,943,697 387,6392,187,982 352,757 9870.53 聯邦緩存4,502,375163,333 3,455,374115,108 14224.84 提升幅度提高52.9%減少57.9%提高57.9%減少67.4%提高44.1%大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推

16、進委員會大數據技術標準推進委員會海山集中式 V2.0關鍵技術-存算一體兼容技術 主機備機全量數據全量數據計算計算計算云原生數據庫計算（主）計算（從）計算（從）數據存儲服務1數據存儲服務2部分緩存數據計算部分緩存數據計算部分緩存數據托管數據庫 計算無需重啟 存儲形態自動切換 支持雙向轉換全量共享數據紅色不變藍色不變綠色新增架構在線升級共共享享數數據據訪訪問問存算一體存算分離n 成效：一套代碼同時支持中小微客戶需求，無需中斷服務，實現數據共享與非共享訪問模式的無感切換（專利3項）本地 RDS 云原生數據庫數據庫遷移場景應用示例遷移 遷移 本地 遷移 友商：2次遷移自研：1次遷移+1次無感切換云原生

17、數據庫 大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山集中式 V2.0關鍵技術-基于數據切片的存儲節點線性擴展 解決大數據量場景下（10T），數據庫性能波動問題，通過數據切片實現存儲節點（DS）橫向線性擴展，設置日志回放專用內存緩存提升本地緩存命中，增加對高性能云盤的支持。存儲節點線性擴展通過range，table、hash分區策略，增加路由表管理數據切片，實現存儲層緩存容量的線性擴展日志分片回放通過數據分片減少WAL回放

18、數據，無需進行全量回放，實現日志回放速度線性提升日志回放專用緩存構建WAL日志回放專用內存緩存區，與熱數據Page緩存隔離，減少內存輪詢，提升緩存命中率與利用效率支持高性能云盤持久層增加對SSD高性能云盤的支持大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山集中式 V2.0關鍵技術-日志并行解析、回放 優化存儲節點日志解析與應用為多線程，基于哈希隊列統一編排解析、應用、清理等線程，實現日志高效的并行解析與回放，加快存儲節點日

19、志處理速度，實現QPS性能提升。緩沖池gossip日志同步存儲節點解析線程1應用線程1日志并行回放應用線程N.日志線程管理（哈希隊列）持久化Page1Page3Page5Page2Page4Page6解析線程N.日志并行解析Physical log1Physical log3Physical log5Physical log2Physical log4Physical log6待回放哈希隊列hash tablehash tablehash table可清理哈希隊列hash tablehash tablehash table日志清理清理線程已清理哈希隊列hash tablehash table并

20、行解析詳細設計日志并行解析、并行回放大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山集中式 V2.0關鍵技術-Serverless能力內核能力支持云上能力支持 云盤對接支持 流量監控指標支持 基于AI算法的智能化調優調參 計費能力對接，支持分鐘級計費 監控指標項新增20+實例自動啟停能力支持.南京大學聯合研究緩存智能調度策略 全量內存納入管理，支持內存在線擴縮能力 檢測指標納入管理，供外部工具采集，并能支持異常指標觸發特定事

21、件 存儲節點高可用能力提升 并行彈性擴縮容 存儲縮容支持.聯合南京大學研發智能緩存調度策略，實現CPU、內存10秒彈性擴縮容，具備業內領先的Serverless能力大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山集中式 V2.0關鍵技術-HTAP設計基于多DS的查詢下推系統架構行列混存多版本緩沖池查詢模塊計算-日志-數據分離，Quorum協議日志同步大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數

22、據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山分布式版關鍵技術百節點集群規模 shared-nothing去中心化架構 優化節點間鏈路，避免連接風暴 元數據管理組件合并優化，減少節點交互開銷集群性能tpmC達百萬級 tpmC達百萬級，全球TOP20水準 數據節點支持線程池，避免上下文頻繁切換，減少動態內存使用 優化分布式事務，減少鎖資源消耗全局事務管理器強一致多副本事務持久化分布式事務SQL解析SQL優化SQL執行SQL緩存分布式事務SQL 路由計算節點數據節點事務處理線程池數據節點事務處理線程池

23、MVCC.百節點規模.橫向伸縮縱向伸縮橫向伸縮縱向伸縮縱向伸縮縱向伸縮改進點計算節點MVCC持久化持久化連接器SQL解析SQL優化SQL執行SQL緩存分布式事務SQL 路由連接器大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山數倉版關鍵技術持久化（對象存儲）管理節點（Leader）SQL解析元數據管理執行計劃SQL優化器管理節點（Follower）SQL解析元數據管理執行計劃SQL優化器管理節點（Follower）SQL解析

24、元數據管理執行計劃SQL優化器事務管理向量化引擎物化視圖智能索引計算節點Pipeline執行本地高速緩存數倉實例1事務管理向量化引擎物化視圖智能索引計算節點Pipeline執行本地高速緩存.多實例共享存儲計算層存儲層云原生架構數倉 存算分離架構，計算存儲獨立擴展，計算節點無狀態，存儲基于S3可無限擴展，支持多實例共享存儲 云原生能力對齊云數倉標桿SnowFlake；相比傳統MPP數倉資源利用率提升50%極致性能 通過向量化引擎加速、物化視圖、本地緩存等性能提升，達到數據秒級同步，亞秒級查詢 Zero-ETL同步吞吐性能達50000條/s，對標AWS Redshift高易用性 實現Zero-ET

25、L，支持RDS數據一鍵自動同步至數倉 支持整庫同步（存量+增量）、多源合并能力數倉實例2數倉實例n大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會海山算力網絡數據庫核心理念“算力網絡”+“云原生數據庫”=算力網絡數據庫算網運營層算力域/網絡域能力網關編排調度算網大腦感知智能算網基礎設施業務請求業務發布.云數據庫智能構建智能場景化推薦 智能資源配置云數據庫并網多云納管 統一供給數據流通與協同處理全域/多云數據流通 全域數據治理安全

26、數據交換私域數據交叉分析 數據交易數據算力服務任務式算力服務 多模融合計算數據智能服務AI智能交互 AI智能分析無需關注地域-GlobalDatabase無需關注資源-Serverless、多模無需關注業務負載-一體化架構、智能化全域Regionless 數據訪問與處理就近接入多云、多云數據算力統一納管依托算網大腦實現全網資源彈性（Serverless）供給，按需取用全域數據流通與治理，數據交換與交易無需考慮數據庫負載和選型等，提交數據任務，交由算力網絡數據庫一個入口統一處理AI使能，自然語言交互與智能數據分析大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標

27、準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會第三部分 典型案例Chapter 03大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會服務客戶吉利汽車漱玉大藥房武當山旅游經濟特區管委會文化和旅游局內蒙古北方重型汽車股份有限公司中移互聯網-和彩云北京主線科技有限公司南通海門公安局一汽財務上海黃浦區發改委河北廊坊金融監管局北京融昱-云信通浦發銀行-拉

28、薩分行中國郵政銀行-廣東分公司長沙靜態交通投資運營有限公司珠海博創科技公司卓望信息技術（北京）有限公司艾昆緯醫藥科技廣東普寧人民醫院濟南中子星醫療貴州農商銀行江蘇省設備成套股份有限公司浙江溫州朗詩德中移系統集成有限公司杭州數理大數據技術有限公司汽車政務金融醫療工業電信n 服務政務、汽車、醫療、金融、旅游等10多個行業，逾千家客戶大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會視頻業務上云業務平臺業務平臺業務平臺數據庫數據庫業務模

29、塊視頻處理視頻處理數據庫對象存儲視頻模塊和家親運營平臺視頻處理視頻處理數據庫對象存儲視頻模塊EMR+DIGLakehousen 客戶訴求1、隨著攝像頭接入增多，云底座需要具備彈性伸縮能力，快速提供所需資源；2、客戶視頻過期清理后，需同步刪除數據庫存儲的元數據信息，400w條/h。3、承載超1600w+攝像頭，穩定性要求極強n 應用效果1、視頻流存儲于對象存儲中，將視頻流的元數據（包括視頻存放于對象存儲的路徑、時間等信息）存儲2、提供主備+多從方案，實現業務高性能支撐；3、已在移動云16個資源池建設28個邏輯機房，支撐1600w攝像頭。杭研家庭安防業務主要依托于和家親APP，通過攝像頭+APP的

30、方式提供視頻直播、回看、遠程對話等功能。大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會聯系方式 內內核核交交流流微微信信https:/ 漠雪數據庫大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會THANKS感謝聆聽自 主 創 新 引 領大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會大數據技術標準推進委員會