騰訊云PostgreSQL生態的技術架構演進（22頁）.pdf

1、騰騰訊訊云云P Po os st tg gr re eS SQ QL L生生態態的的技技術術架架構構演演進進劉少蓉()騰訊云數據庫目目錄錄O Ov ve er rv vi ie ew wT Te en nc ce en nt ts s J Jo ou ur rn ne ey y i in n P PG G f fr ro om m C Cl lo ou ud d D DB B t to o C Cl lo ou ud d-n na at ti iv ve e D DB BW Wh ha at ts s n ne ex xt t?P PA AR RT T 0 01 1 -O Ov ve er r

2、v vi ie ew w云原生TDSQL-C PG分布式HTAPTDSQL PG分布式分析型TDSQL-A 云數據庫TencentDB for PG騰訊云數據庫PostgreSQL生態產品P PA AR RT T 0 02 2 T Te en nc ce en nt ts s J Jo ou ur rn ne ey y i in n P PG G f fr ro om m C Cl lo ou ud d D DB B t to o C Cl lo ou ud d-n na at ti iv ve e D DB BMasterSlave強同步HA控制臺Tcp讀寫數據申請/管理cos冷備Contr

3、olAPIES集群慢日志查詢錯誤日志查詢云監控監控告警l 一鍵創建，豐富可選的軟硬件配置l 輕松管理，完善的自助運維管理工具易易于于部部署署和和管管理理l 服務高可用：一主一從強同步架構l 備份高可用：cos備份高高可可用用l 多種云產品集成聯通l 控制臺、SDK、API等豐富的接入方式開開放放與與服服務務集集成成l 全面集成高級商業特性：安全、告警、SQL、機器學習等多多種種插插件件支支持持T Te en nc ce en nt tD DB B f fo or r P Po os st tg gr re eS SQ QL L：開開箱箱即即用用的的云云端端數數據據庫庫服服務務場景化的內核優化

4、e.g.,通過異步DDL方式實現主備延遲優化透明數據加密（TDE）借助云上 KMS 的能力，實現了 TDE 的功能，提高了安全性豐富的插件,e.g.,timescaledb，時序數據庫 pipelinedb，流式計算 rdkit，針對化學類場景 zhparser，中文分詞TencentDB for PostgreSQL的優勢 TencentDB for PG 給一定數量下的業務提供了All In One的數據解決方案 當業務不斷擴大，數據量超過單機的limit時，我們有什么解決方案呢？傳統方法-分庫分表把一張邏輯表拆分很多物理表業務需要實現復雜的分布式邏輯（e.g.,事務，跨表查詢）分布式MP

5、P架構水平擴展(scale out)把復雜的分布式邏輯留給數據庫解決業務邏輯簡單從單機數據庫到分布式數據庫 TDSQL PG 架構Local DataLocal catalogDatanode1Global catalogCoordinatorTransation InfoGlobal objectGTM-MTransation InfoGlobal objectGTM-SGlobal catalogCoordinatorGlobal catalogCoordinatorLocal DataLocal catalogDatanode2Local DataLocal catalogDatanod

6、e3Local DataLocal catalogDatanode4D Da at ta a F Fo or rw wa ar rd d B Bu us s 集集群群數數據據交交互互總總線線C Co oo or rd di in na at to or r(協協調調節節點點C CN N)業務訪問入口，每個節點對等，對外提供一致視圖D Da at ta an no od de e(數數據據節節點點D DN N)業務數據存儲節點G GT TM M(事事務務管管理理器器)全局事務管理器，協調集群集群事務，并管理全局對象指標監控運維管理實時告警安全審計數據治理GTMCNCNCNDNDNDNtimest

7、amptimestamptimestamp0302多個GTM節點構成集群，主節點對外提供服務；主備之間通過日志同步時間戳狀態，保證GTM核心服務可靠性。G GT TM M單單點點可可靠靠性性問問題題CN，DN的事務向GTM請求全局時間戳作為事務的版本標識C CN N，D DN N向向G GT TM M請請求求時時間間戳戳01GTM提供全局統一時間戳，進行全局事務一致性同步全全局局時時鐘鐘同同步步04通過專利技術提供高性能可擴展的分布式事務能力高高性性能能可可擴擴展展分分布布式式事事務務TDSQL PG 高效可擴展的分布式事務設計T TD DS SQ QL L P PG G (代代號號T TB

8、Ba as se e)開開源源2019.11.07騰訊正式宣布TDSQL-PG開源開源地址：https:/ V2.1.0版本 多活能力更上一層樓2021/7 V2.2.0版本 性能再提升白倍2022/1 V2.3.0版本 分區表能力增強易用性重磅升級TDSQL-A是騰訊自研的一款分布式分析型數據庫基于TDSQL PG的架構上演進，從架構上全面優化分析性能100%PostgreSQL 兼容,高度兼容Oracle核心技術行列混存列式數據的多級壓縮（透明,輕量）向量化執行引擎多種并行執行策略（MPP，SMP+SIMD）基于代價的優化引擎(CBO)分布式延遲物化的優化 減少不必要的網絡開銷T TD D

9、S SQ QL L-A A 分分布布式式分分析析型型數數據據庫庫DB MasterDB SlaveCNCNDNDNDNShared-StorageRORWRO單機數據庫 無共享MPPDN compute+storage云原生 計算存儲分離(Aurora SIGMOD 2017)，按需彈性擴展資源池化，降本增效從云數據庫到云原生數據庫 Shared-Storage/WAL ReplayerRORWROReplicationReplicationWALDataDataData日志即數據庫 減少網絡開銷，提高寫性能設計思想 RW 和 RO 基于一份數據，放在共享存儲 RW僅將WAL寫入共享存儲、不寫

10、Page 共享存儲通過重放WAL，實現存儲節點上 Page 頁的修改 存儲層以 Page 為單位維護數據 RO 從RW接收 WAL，并在緩存中重放，保持緩存中 Page 持續更新云原生數據庫:日志即數據庫l 完全自研的云原生數據庫l 基于計算存儲分離，日志即數據庫的設計思想l 融合傳統數據庫，云計算，新硬件技術的優勢l 高可用，高可靠,高性能，極致彈性l 快速恢復:支持基于快照的秒級備份和回檔l 無鎖化設計:減少內核切換l 100%PG兼容，高度兼容OracleTDSQL-C PG 騰訊云原生分布式數據庫COS計算層CynosPG 基于PG研發的計算引擎查詢處理器，事務管理,緩存實現，鎖，MV

11、CCFull page write臟頁刷盤Cynos File System用戶態文件系統，主要提供分布式文件管理Cynos Store Agent計算存儲之間的讀寫交互主備之間的日志流同步存儲層WAL日志記錄，日志回放，持久存儲，備份/恢復，CRCT TD DS SQ QL L-C C P PG G架架構構T TD DS SQ QL L-C C P PG G 分分布布式式存存儲儲T TD DS SQ QL L-C C P PG G 可可調調度度的的計計算算節節點點P PA AR RT T 0 03 3 W Wh ha at ts s n ne ex xt t?未未來來展展望望完善生態架構演進軟硬一體更智能化THANKS謝謝觀看