重新出發：阿里云數據庫開源整體策略-阿里云數據庫開源論壇（18頁）.pdf

1、重新出發：阿里云數據庫開源整體策略曲山阿里云數據庫資深技術專家阿里云數據庫總架構師，數據庫開源負責人Contents目錄01阿里云數據庫整體開源策略02開源產品系列03開源產品發布時間線數據庫領域開源生態兼容現有生態的分布式數據庫成為熱點方向PostgreSQL關系型數據庫衍生場景Scale upScale out阿里數據庫已有開源產品阿里數據庫已有開源產品單機數據庫增強WebScaleSQLMyRocksAliSQLAliSQLopenGaussMariaDBPerconaProxy/HAAltasMGRDB ProxyOrchestrator分庫分表中間件TDDLTDDLCobarMyCa

2、tVitessCitusShardingSphereZebra分布式數據庫TiDBCockroachDBYugabyteDBOceanBasePolarDB for PG PolarDB for PG PolarDB-XKey-Value Cache/StoreLevelDBRocksDBCodisTendisTairTairTiKVCassandraScyllaDBRedis數據分析/流式計算新數據模型MongoDBElasticSearchNeo4jTDengineCouchDBInfluxDBMySQLHadoopSparkPrestoFlinkKafkaImplaGreenplumCl

3、ickhouse阿里云數據庫開源共建模式阿里云數據庫開源產品與組件開源社區生態合作伙伴技術委員會研發團隊用戶共建開發者用戶組管理與研發其他開源產品集成技術支持使用開源社區共建模式開源目的Cloud-native databases are the New Normal,driven by distributed cloud technologies.Alibaba Cloud has rich practical experiences in serving Internet applications and cloud databases with them.We are committed

4、 to share such technologies as building blocks with the open-source community to build a new ecosystem.Contents目錄01阿里云數據庫整體開源策略02開源產品系列03開源產品發布時間線云原生分布式數據庫的企業級特征高可用擴展性/彈性兼容性性價比開源產品系列:云原生分布式數據庫PolarDB-X:基于原生MySQL的一體化分布式數據庫高可用MySQLPolarDB-X存儲層云原生管控平臺DBStackPolarDB for PostgreSQL:基于PG的云原生數據庫分布式計算層兼容MyS

5、QL協議GitHub:https:/ LayerStorage LayerCDC ClusterTSO/TopologyData Shardingon DataNodesTopologyDataNodesDataNodesDataNodesCompute NodeCompute NodeCompute NodeCDCCDC全局管理服務元數據/負載均衡R/W NodeBased on PG11PolarFSPolarProxyCompute NodesSelf-defined R/W SplittingAuto Load BalancingFast HA SwitchoverSecurity&A

6、ttacks ProtectionREAD/WRITEREADApplicationRO NodeBased on PG11RO NodeBased on PG11RO NodeBased on PG11Distributed File System(Shared Storage)PolarFSPolarFSPolarFSPolarFS共享存儲文件系統一寫多讀，多點掛載對接分布式塊存儲計算層：https:/ Table：基于LSM的(半)結構化存儲系統Lindorm TSDB：分布式時序數據庫系統Lindorm Object：分布式對象存儲系統Lindorm Stream：分布式流式數據處理系

7、統Lindorm SQL：多模融合計算的統一SQL層SQL前端接入層PolarDB for PG開源路線圖主打云原生和分布式架構，逐步加強企業級能力建設Shared Nothing分布式擴展能力全局事務時間戳（HLC）、2PCSQL分布式路由升級至PG V14Persistent Bufferpool跨節點并行（Parallel Execution）跨可用區高可用（DataMax）基于PG V11，一寫多讀架構VFS、DirectIO、刷臟控制RW-RO同步與切換PolarFS輕量化管控平臺DBStack基于PG V11X-Consensus一致性協議支持日志節點高可用集群共享存儲架構一期共享

8、存儲架構二期分布式架構一期插件化分布式二期2021.52021.92021.102022.62022.4細粒度Sharding在線Shard遷移分布式能力插件化R/W NodeRO NodeRO Node.PolarFSSANopen source DFSPolarStack共享存儲架構一寫多讀，按需擴展只讀節點提升查詢能力，存儲于計算獨立彈性使用logIndex技術構建多版本頁面，primary實時發送,replica同步構建replica按需回放日志，延時低至1ms充分利用共享存儲并發I/O能力，實現并行查詢機制，加速復雜分析查詢20buffer poolwrite meta queues

9、endersendersenderwrite WALcopy WAL metaWAL bufferLog IndexsendersenderLog IndexLog Index BufferWAL FilesLog Index FilesData FilesShared Storage10buffer poolwrite meta queuesendersenderreceiverLog IndexsendersenderLog IndexLog Index BufferstreamingoutdatesendersenderreplayworkerreplayPolarDB for PG 共

10、享存儲架構一寫多讀，快速彈性PostgreSQL(Leader)PostgreSQL(Follower)PostgreSQL(Logger)PostgreSQL(Learner)Read OnlyPostgreSQL(Standby)X-ConsensusAsyncX-ConsensusX-Consensus高可用特點RPO=0自動failover容忍少于n/2節點宕機兼容原生物理/邏輯日志復制支持跨域部署支持日本副本模式，僅僅存儲日志，降低存儲成本PolarDB for PG 分布式:高可用架構DB NodeDB NodeShard relocationDB Node:PG+Polar pl

11、ug-in+Polar patchTSOCMProxyqueryPolarDB Service插件化設計 分布式事務插件化 分布式計算插件化 Sharding/metadata管理插件化 協調節點和數據節點一體化設計PolarDB for PG 分布式:sharding和插件化DNDNDNCNCNCNCNDNCDCCDCGMSGMSGMSSQL LayerStorage LayerCDC ClusterTSO/TopologyMetaDataTopologyPolarDB-X 實例PolarDB-X:原生MySQL分布式數據庫元數據服務元數據服務(GMS)(GMS)提供全局授時服務(TSO)維

12、護Table/Schema、Statistic等Meta信息維護賬號、權限等安全信息存儲節點集群存儲節點集群(GalaxyStoreGalaxyStore)基于多數派Paxos共識協議的高可靠存儲處理分布式MVCC事務的可見性判斷計算節點集群計算節點集群(GalaxySQLGalaxySQL)基于無狀態的SQL引擎提供分布式路由和計算 處理分布式事務的2PC協調、全局索引維護等全局日志節點全局日志節點(CDC)(CDC)提供兼容MySQL生態的binlog協議和數據格式提供兼容MySQL Replication主從復制的交互高可用 基于Paxos協議，數據強一致 少數派節點故障，數據不丟，不停

13、服 RPO=0 RTO30s開放生態高擴展高兼容HTAP極致彈性 MySQL兼容，全局事務、二級索引、元數據 主流國產操作系統和芯片互認證 全局binlog日志，兼容數據庫上下游生態 水平擴展，按需在線擴縮容，不停服 PB級存儲，單實例突破256節點(真實業務)千萬級并發，可抵御雙11流量峰值 存儲資源池化，自動按需伸縮，按需付費 擴容不遷移數據，突發流量支持秒級升配 存儲快照技術，分鐘級完成TB級數據庫備份 智能讀寫分離，保障TP流量的穩定性 MPP并行查詢，基于只讀副本保障查詢隔離 基于全局TSO時間戳，保證多副本的一致性讀 擁抱MySQL開源社區，代碼自主可控 閉環生態工具支持，DTS/

14、DBS/DMS 產品架構簡單開放，社會人才密度高PolarDB-X:產品核心特性Web ConsoleGatewayController APIlifecycle managementDBClusterDBProxyBackupHostClusterDBStackDaemonStorageControllermonitorK8SmetaDBagentIaaS/Hardware/OS專為云原生設計 使用K8S作為底座，屏蔽底層硬件系統（網絡/存儲)差異 基于K8S operator開發的完整生命周期管理系統，包括集群的部署，運行，修改配置，擴容升級.系統監控，診斷，告警，巡檢ClientK8S

15、resourcereconcileWorkFlowState Machinemodifywatchmodifylifecycle managementDBStack:輕量化云原生數據庫管控平臺Contents目錄01阿里云數據庫整體開源策略02開源產品系列03開源產品發布時間線2021.5.27Paxos高可用集群版2021.11HLC高擴展分布式版2022.3Sharding和插件化版2021.12一期（時序+寬表引擎）2022.3（暫）二期（流引擎+計算引擎）5.29開發者大會開源計劃發布2021.9共享存儲版云原生多模數據庫Lindorm基于PG的云原生分布式數據庫 PolarDB for PostgreSQL2021.10分布式計算層ApsaraDB GalaxySQL分布式存儲層 ApsaraDB GalaxyEngine（含X-Engine）兼容MySQL的一體化分布式數據庫 PolarDB-X開源產品發布時間線THANKS