2024年PG大會最新版-于巍的V2(1)--于?。ㄗ钚掳妫?pdf

1、PostgreSQL 中文社區PostgreSQL中國技術大會移 動 云 海 山 P G 一 體 化 架 構 詳 解第13屆演講人：于巍PostgreSQL 中文社區目 錄移動云數據庫概述01海山PG架構演進02典型案例03移動云和數據庫團隊簡介PostgreSQL 中文社區移動云立足云服務商第一陣營，入選國資委首批“創建世界一流專業領軍示范企業”名單，開啟“成為一流云服務商”新征程移動云數據庫團隊十年前正式誕生，以實現數據庫核心技術自主可控為目標，目前已構建完整產品和市場體系，并實現大規模商用。中國公有云I+P服務市場份額第五位2014基于開源啟動商業版產品打造集團內部推廣和應用蘇州研發中心

2、2020啟動云改，轉型云計算服務商海山數據庫1.0發布云能力中心2024云原生進階，發布海山數據庫2.0啟動算力網絡數據庫探索和研究規模200+人研發團隊15+31全國資源覆蓋30萬 核資源規模10+中移專業公司9大重點行業突破市場推廣多領域市場份額領先專屬云No.2邊緣云No.1政務云No.2(2023H2)4順應時代發展潮流，堅定自研數據庫之路 在國家自主可控、中國移動戰略轉型、云廠商引領數據庫發展的多重因素驅動下，移動云將持續堅持自研數據庫之路。國家自主可控黨的二十大以實現“高水平科技自立自強”作為目標，“原創性、引領性科技攻關”等，是實現科技自立自強的重要途徑。國資委202279號文件

3、要求所有央企、國企、地方國企圈定重要軟件和設施等的替代策略。2023年12月工信部發布數據庫政府采購需求標準正式版中國移動轉型中國移動一二二五戰略，即一個新定位、兩個轉變、兩個新型、五個紅利。云廠商引領新型信息基礎設施5G+算力網絡+能力中臺新型信息服務體系連接+算力+能力兩個新型據IDC統計，中國關系型數據庫云化部署規模已超傳統部署方式，且增速領先Gartner2022年DBMS市場廠商排名：一個新定位創世界一流信息服務科技創新公司數據庫是基礎軟件皇冠的明珠，也是中國移動戰略轉型必不可少的一部分兩個轉變數量規模當期業績質量效益效率長期價值1、亞馬遜云2、微軟3、Oracle4、谷歌云5、IB

4、M6、SAP7、阿里巴巴8、華為9、Snowflake云廠商領銜全球數據庫市場深度解耦，勾勒云原生數據庫架構范式PostgreSQL 中文社區移動云數據庫產品矩陣PostgreSQL 中文社區數據庫生態工具數據庫傳輸數據庫管理數據庫自治事務型RDS數據庫（MySQL、PostgreSQL、達夢、TiDB、SQL Server）分析與檢索海山數據庫數倉版搜索數據庫向量數據庫NoSQL緩存數據庫文檔數據庫多模數據庫*（圖、時序等）數據庫統一云原生平臺底座海山數據庫 MySQL版*海山數據庫 PostgreSQL版海山數據庫 分布式版*L1L1L1L1L1L2L3L2L2算力網絡數據庫*L4*海山數

5、據庫MySQL版和分布式版公測中，即將上線*多模數據庫正處于研發階段*算力網絡數據庫正處于前期調研階段L1移動云基于K8s構建云原生數據庫底座，全線產品達云原生L1級自研海山數據庫系列，采用存算分離架構，并全面向Serverless演進在中國移動算力網絡戰略下，大力探索算力網絡數據庫，積極推進相關技術以及行業標準制定移動云一站式云原生數據庫服務PostgreSQL 中文社區目 錄移動云數據庫概述01海山PG架構演進02典型案例03海山云原生數據庫（海山云原生數據庫（He3DBHe3DB）系列產品）系列產品PostgreSQL 中文社區海 山 云 原 生 關 系 型 數 據 庫P G/M y S

6、 Q L 版高度兼容：100%兼容PostgreSQL高性能：存算分離架構，冷熱數據分離，為用戶高性能和低成本快速彈性：可橫向擴展至16個節點，支持最大容量100TB海 山 分 布 式 數 據 庫金融級要求：分布式事務強一致性，滿足會計記賬準則要求備份恢復：全局一致備份恢復，滿足數據備份監管要求數據同步：高并發、高網絡時延情況下保證同步性能，零丟失（RPO=0）海 山 實 時 數 倉簡潔易用：大規模并行處理提供物化視圖全場景統一分析能力低成本：彈性伸縮，兼容MySQL協議，為用戶提供極具性價比的服務海山數據庫（He3DB）PostgreSQL版-整體架構PostgreSQL 中文社區He3DB

7、計算引擎：提供SQL解析，計算能力。所有寫請求轉化為日志寫，讀請求從Page服務獲取數據He3Store存儲引擎：異步回放日志成Page數據,最終使用S3作為數據持久層，分為日志服務與Page服務He3Proxy智能中間件：能夠感知業務負載，多維度負載均衡選擇路由，提供讀寫一致性能力生態工具實現業務零感知的秒級備份/恢復能力，提供監控工具，遷移工具，Cluster管理工具主要組件主要組件主要組件主要組件主要組件He3DB 云原生版本采用存算分離數據共享架構。包含PostgreSQL、MySQL兩個版本，100%兼容PostgreSQL、MySQL協議，支持1主15備讀寫分離底層共用一份數據，最

8、大支持100TB數據量存儲，RTO故障恢復時延可控制在30S以內，支持聯邦內存池緩存命中率相對傳統主備模式提升2倍以上，支持秒級在線新增實例，適合大數據量實時在線交易性業務海山海山PG V1.0PG V1.0關鍵技術關鍵技術-分層設計，實現高性能、底成本PostgreSQL 中文社區遠端存儲管理中間件（中間件（He3Proxy）讀寫讀讀日志服務日志服務頁面服務頁面服務讀寫日志回放進程元數據庫KV 集群（Raft）讀Page讀Page讀Page讀Log分布式存儲分布式存儲He3FSS3 SliceS3 SliceS3 Slice頁面歸檔主節點主節點Buffer Pool本地存儲管理備節點備節點B

9、uffer Pool遠端存儲管理備節點備節點Buffer Pool遠端存儲管理日志發送進程日志Compact讀寫分離分區管理負載均衡寫日志寫頁面遠端存儲管理本地存儲管理本地存儲管理中間件層虛擬共享緩存層本地高速存儲層日志及頁面服務層分布式存儲層實現聯邦內存池，每個節點databuffer負責緩存不同表數據，通過智能中間件路由用戶請求，保證大數據量場景下的內存命中率使用本地盤作為Page高速緩存，保證熱數據在本地存儲的高命中率實現log is database,所有的寫轉化為日志寫，通過對接分布式KV存儲，提高寫性能主備節點均無狀態，可任意切換。分層實現高性能分層實現高性能海山海山PG V1.0

10、PG V1.0關鍵技術關鍵技術-聯邦緩存池技術聯邦緩存池技術 PostgreSQL 中文社區 問題：常規云原生數據庫架構中，每個存儲節點隨機緩存數據頁，消耗資源大且緩存利用率低；思路：采用聯邦緩存技術，將計算節點內存池化，設置數據分區策略，每個計算節點緩存部分數據，提高緩存利用率。成效：通過聯邦緩存池，提高了緩存命中率，將磁盤讀取次數減少一倍以上，整體使TPS、QPS等核心性能提升44%以上（專利3項）。數據頁數據頁計算（主）計算（備）計算（備）緩存分區，每個節點根據策略緩存指定塊數據，緩存命中率高計算（主）數據頁計算（備）計算（備）友商常規緩存架構每個節點隨機緩存數據，緩存命中率低架構優化B

11、1B2B3B4B5B6B7B8.B1B7B4數據頁B1B8數據頁B3B7B5B6B1B2B3B4B5B6B7B8.數據頁B4B5B6B1B2B3B7B8聯邦聯邦智能路由分區1分區3分區1分區2分區3分區2測試方式測試環境主備QPS緩存命中數磁盤讀取緩存命中數磁盤讀取常規緩存 架構：一主一備 規格：2C4G;數據量：800W行，2GB2,943,697 387,6392,187,982 352,757 9870.53 聯邦緩存4,502,375163,333 3,455,374115,108 14224.84 提升幅度提高52.9%減少57.9%提高57.9%減少67.4%提高44.1%海山海山

12、PG V2.0PG V2.0關鍵技術關鍵技術-存算一體兼容技術存算一體兼容技術PostgreSQL 中文社區主機備機全量數據全量數據計算計算計算云原生數據庫計算（主）計算（從）計算（從）數據存儲服務1數據存儲服務2部分緩存數據計算部分緩存數據計算部分緩存數據托管數據庫 計算無需重啟 存儲形態自動切換 支持雙向轉換全量共享數據紅色不變藍色不變綠色新增架構在線升級共享數據訪問共享數據訪問存算一體存算分離 成效：一套代碼同時支持中小微客戶需求，無需中斷服務，實現數據共享與非共享訪問模式的無感切換（專利3項）本地RDS云原生數據庫數據庫遷移場景應用示例遷移遷移本地遷移友商：2次遷移自研：1次遷移+1次

13、無感切換云原生數據庫海山海山PG V2.0PG V2.0關鍵技術關鍵技術-基于數據切片的存儲節點線性擴展基于數據切片的存儲節點線性擴展PostgreSQL 中文社區 解決大數據量場景下（10T），數據庫性能波動問題，通過數據切片實現存儲節點（DS）橫向線性擴展，設置日志回放專用內存緩存提升本地緩存命中，增加對高性能云盤的支持。存儲節點線性擴展通過range，table、hash分區策略，增加路由表管理數據切片，實現存儲層緩存容量的線性擴展日志分片回放通過數據分片減少WAL回放數據，無需進行全量回放，實現日志回放速度線性提升日志回放專用緩存構建WAL日志回放專用內存緩存區，與熱數據Page緩存隔

14、離，減少內存輪詢，提升緩存命中率與利用效率支持高性能云盤持久層增加對SSD高性能云盤的支持海山海山PG V2.0PG V2.0關鍵技術關鍵技術-HTAPHTAP設計設計PostgreSQL 中文社區基于多DS的查詢下推系統架構行列混存多版本緩沖池查詢模塊計算-日志-數據分離，Quorum協議日志同步海山海山PG V3.0PG V3.0關鍵技術關鍵技術-算力網絡數據庫理念PostgreSQL 中文社區“算力網絡”+“云原生數據庫”=算力網絡數據庫算網運營層算力域/網絡域能力網關編排調度算網大腦感知智能算網基礎設施業務請求業務發布.云數據庫智能構建智能場景化推薦 智能資源配置云數據庫并網多云納管

15、統一供給數據流通與協同處理全域/多云數據流通 全域數據治理安全數據交換私域數據交叉分析 數據交易數據算力服務任務式算力服務 多模融合計算數據智能服務AI智能交互 AI智能分析無需關注地域無需關注資源無需關注業務負載全域Regionless&Serverless數據訪問與處理就近接入多云、多云數據算力統一納管依托算網大腦實現全網資源彈性供給，按需取用全域數據流通與治理，數據交換與交易無需考慮數據庫負載和選型等，提交數據任務，交由算力網絡數據庫一個入口統一處理AI使能，自然語言交互與智能數據分析PostgreSQL 中文社區目 錄移動云數據庫概述01海山PG架構演進02典型案例03服務客戶服務客戶

16、PostgreSQL 中文社區吉利汽車漱玉大藥房武當山旅游經濟特區管委會文化和旅游局內蒙古北方重型汽車股份有限公司中移互聯網-和彩云北京主線科技有限公司南通海門公安局一汽財務上海黃浦區發改委河北廊坊金融監管局北京融昱-云信通浦發銀行-拉薩分行中國郵政銀行-廣東分公司長沙靜態交通投資運營有限公司珠海博創科技公司卓望信息技術（北京）有限公司艾昆緯醫藥科技廣東普寧人民醫院濟南中子星醫療貴州農商銀行江蘇省設備成套股份有限公司浙江溫州朗詩德中移系統集成有限公司杭州數理大數據技術有限公司汽車政務金融醫療工業電信 服務政務、汽車、醫療、金融、旅游等10多個行業，逾千家客戶視頻業務上云視頻業務上云Postgr

17、eSQL 中文社區業務平臺業務平臺業務平臺數據庫數據庫業務模塊視頻處理視頻處理數據庫對象存儲視頻模塊和家親運營平臺視頻處理視頻處理數據庫對象存儲視頻模塊EMR+DIGLakehouse 客戶訴求1、隨著攝像頭接入增多，云底座需要具備彈性伸縮能力，快速提供所需資源；2、客戶視頻過期清理后，需同步刪除數據庫存儲的元數據信息，400w條/h。3、承載超1500w+攝像頭，穩定性要求極強 應用效果1、視頻流存儲于對象存儲中，將視頻流的元數據（包括視頻存放于對象存儲的路徑、時間等信息）存儲2、提供主備+多從方案，實現業務高性能支撐；3、已在移動云16個資源池建設28個邏輯機房，支撐1600w攝像頭。杭研家庭安防業務主要依托于和家親APP，通過攝像頭+APP的方式提供視頻直播、回看、遠程對話等功能。聯系方式聯系方式PostgreSQL 中文社區內核交流微信https:/ 漠雪數據庫感 謝 觀 看PostgreSQL 中文社區