PolarDB MySQL引擎重磅功能及產品能力盛大發布-云原生分布式數據庫PolarDB技術與實踐論壇（18頁）.pdf

《PolarDB MySQL引擎重磅功能及產品能力盛大發布-云原生分布式數據庫PolarDB技術與實踐論壇（18頁）.pdf》由會員分享，可在線閱讀，更多相關《PolarDB MySQL引擎重磅功能及產品能力盛大發布-云原生分布式數據庫PolarDB技術與實踐論壇（18頁）.pdf（18頁珍藏版）》請在三個皮匠報告上搜索。

1、PolarDB MySQL引擎重磅功能及產品能力盛大發布陳宗志阿里云數據庫高級技術專家Contents目錄01PolarDB MySQL引擎全新特性重磅發布02PolarDB MySQL引擎經典案例解讀云原生關系型數據庫 PolarDB MySQL引擎全新特性重磅發布012021 VLDB PolarDB架構創新論文Towards Cost-Effective and Elastic Cloud Database Deployment via Memory Disaggregation2021 VLDB PolarDB最新論文Revisiting the Design of LSM-tree

2、Based OLTP Storage Engine with Persistent Memory2021 SIGMOD PolarDB Serverless/LogStore2020 SIGMOD Timon:A Timestamped Event Database for Efficient Telemetry Data Processing and Analytics2020 VLDB Leaper:A Learned Prefetcher for Cache Invalidation in LSM-tree based Storage Engines2020 VLDB LB+Trees:

3、optimizing persistent index performance on 3DXPoint memory2020 FAST POLARDB Meets Computational Storage:Efficiently Support Analytical Workloads in Cloud-Native Relational Database2020 FASTHotRing:A Hotspot-Aware In-Memory Key-Value Store2020 FAST FPGA-Accelerated Compactions for LSM-based Key-Value

4、 Store2019 SIGMOD X-Engine:An Optimized Storage Engine for Large-scale E-commerce Transaction Processing2019 VLDB Cloud-Native Database Systems at Alibaba:Opportunities and Challenges2019 VLDB S3:A Scalable In-memory Skip-List Index for Key-Value Store 2019 VLDB iBTune:Individualized Buffer Tuning f

5、or Largescale Cloud Databases2018 SIGMOD TcpRT:Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time2018 VLDB PolarFS:An Ultra-low Latency and Failure Resilient Distributed File System for Shared Storage Cloud Database作為標準第一起草人參與由中國信息通信研究院牽頭制定

6、的云原生數據庫標準（編號：H2019009493）VLDBVLDB：全稱VERY LARGE DATA BASE，數據庫領域著名國際會議SIGMODSIGMOD：數據庫領域具有最高學術地位的國際性學術會議之一，由美國計算機協會（ACM）數據管理專業委員會發起FASTFAST：全稱USENIX Conference on File and Storage Technologies，存儲行業頂級國際會議2018年度 最佳創新產品獎2019年中國數據庫年度最佳創新產品領先科技成果2019世 界 互 聯 網 大 會2020中國電子學會科技進步一等獎阿里云PolarDB已建立廣泛行業影響力部署簡單傳統開

7、源及商業數據庫PolarDB是阿里巴巴自主研發的下一代云原生關系型數據庫，100%兼容MySQL/PostgreSQL數據庫，高度兼容Oracle語法。經過阿里巴巴雙十一活動的最佳實踐，讓用戶既享受到開源的靈活性與價格的優惠，又享受到商業數據庫的高性能和安全性。共享狀態NetworkDBDBDB兼容性,scale up分布式DBDBDBScale UpScale OutDBDBDBDBDBDBNetwork單節點NetworkDBMySQLPostgreSQLOracle語法兼容版Shared Everything計算與存儲分離架構的云原生數據庫PolarDBShared Nothing+Sh

8、ared Everything云原生分布式數據庫MySQLPolarDB-X本地磁盤Shared StorageShared StorageShared StorageShared Storage阿里云 PolarDB 產品家族主節點智能代理PolarProxy數據庫計算節點自定義讀寫分離自動負載均衡HA切換安全保護PolarStoreREAD/WRITEREADApplication只讀實例1RDMA數據存儲節點abc數據存儲節點abc數據存儲節點abc只讀實例2只讀實例3ParallelRaft云原生關系型數據庫PolarDB MySQL引擎的優勢大容量高彈性最大存儲容量100T，最高超1

9、000核CPU可擴展到16個計算節點5分鐘完成添加只讀實例和升降級配置；支持臨時升級，彈多久，付多久的錢，高性價比應對業務高峰高可靠高可用基于分布式共享存儲，數據3副本，多可用區部署主節點故障后30秒內切換到任一只讀節點；秒級備份，可按時間點快速恢復數據；全球數據庫，實現高效異地容災，全方位、多維度確保 RPO=0高性能低時延分布式共享存儲確保主從數據庫毫秒級延遲、并提供超高I/O吞吐能力，通過多個計算節點自動讀寫分離，高并發下性能是自建開源數據庫的5-6倍；內置原生并行查詢Parallel Query，充分利用多核CPU，10倍提升大表并行查詢性能安全可控黑白名單設置訪問權限；SSL加密確保

10、數據傳輸鏈路安全；TDE對數據存儲過程進行加密和解密；數據庫、表或列可設置動態脫敏查詢；一鍵SQL洞察，對SQL進行健康診斷，識別高危SQL，有效防范可能風險PolarDBPolarFSWALWALWALWAL數據庫代理企業版PolarDBRWDBADBBDBCShared MetaPolarDBRWDBDDBEDBFRWDBAMeta CacheDBGDBHDBIMeta CachePolarDBDBJDBKDBLMeta Cache從一寫多讀架構全新升級為多主架構（開放申請）基礎功能支持不同數據庫在不同計算節點并發寫入最多支持32個節點同時寫入支持數據庫跨節點動態調度，秒級切換計算節點故障

11、秒級完成切換應用場景SaaS應用：滿足高并發性能需求，實現租戶間負載均衡游戲：更好的性能和擴展能力，支持世界服架構RWDBBDBCDBDDBEDBFDBGDBHDBIDBJDBKDBL數據庫代理企業版數據庫計算節點EndpointFor OLTPREAD/WRITEREAD應用只讀實例3（AP節點）EndpointFor OLAP數據庫存儲節點RDMA數據存儲節點abcParallelRaftColumn-StoreColumn Store Memory PoolSQL ParserCost EvaluationRow-StoreBuffer Pool只讀實例3（AP節點）只讀實例1（TP節點

12、）主節點（TP節點）數據存儲節點abc數據存儲節點abc從OLTP架構全新升級為HTAP架構（開放申請）PolarDB Server列索引（In-Memory Column Index）100%MySQL兼容TP性能與原生PolarDB一致，AP性能與專用AP系統同一量級靈活部署：OLAP on RO（now，實時分析）、OLAP on OSS（Future，離線分析）PolarStore電商等高性能在線業務高性能實例普通性能實例歷史賬單等普通業務混合實例AP節點實時推薦等在線分析業務混合實例AP節點報表等離線分析業務推出高性價比的標準存儲類型，滿足更多類型的業務需求（正式發布）Oltp_re

13、ad_onlyOltp_read_writeOltp_write_only84.82%80.48%68.03%高性能儲存標準儲存價格：3.5元/GB/月高性能介質（SSD）高性能優化高性能儲存價格：2.5元/GB/月高性能介質或混合介質分級存儲或透明壓縮標準存儲（NEW）價格：待定普通介質（OSS）分析場景優化分析型存儲（Future）Chunk2Chunk1Chunk0RedoSnapshot 1Snapshot 2Snapshot 3T0T3閃回到T1時刻恢復到T2時刻示例應用RedoT1T2粒度：實例級回滾時間范圍：3天以內時間精度：1秒恢復耗時：通常3分鐘以內，與數據量無關HeadUn

14、do log xC=3HeadC=2HeadC=1Current Read ViewRead View 2Read View 1Read View 2Read View 3Read View 4歷史視圖表Undo log yUndo log zSelect C C=3Select CAs ofC=2Replace Read View粒度：記錄級閃回查詢時間范圍：3天以內時間精度：1秒查詢耗時：通常秒級推出閃回Flashback功能，快速恢復數據（即將開放申請）閃回（Flashback）閃回查詢（Flashback Query）推出秒級彈性擴核能力，平滑應對業務高峰（開放申請）基礎功能秒級業務狀

15、態監控秒級彈性擴vCPU智能自動彈性擴展SQLSQL業務高峰期業務平衡期應用場景電商營銷活動（秒殺、特價、雙十一）SaaS租戶突發業務激增游戲運營活動（新開圖、特價）、晚間業務高峰推出集群增強版，提供金融級可靠保障（開放申請）基礎功能三可用區部署Red log 實時同步跨可用區高可用，確保數據零丟失，RPO為0應用場景金融級高可靠，比如銀行、證券、保險、大企業核心業務等AZ1 PrimaryDataRedo LogPolarStorePaxos+Redo LogAZ2 StandbyPolarStoreAZ3 StandbyDataRedo LogPolarStorePaxos+Redo Lo

16、gPaxos+Redo LogRedo Log主從切換加速，進一步提升業務連續性（開放申請）ReadReplicaDB ServerBPDB ServerChunkServerAbcChunkServeraBcChunkServerabCRWPolarFS on PolarStorePolarProxyHRO基礎功能提供熱備節點，BP實時數據同步通過voting disk進行主動故障切換主從切換不可用時長縮短至510秒升降配、升級不可用時長縮短至510秒（Future）應用場景主動主從切換節點故障引發的主從切換GDN5.6全新發布，幫助企業進一步提升異地容災能力（正式發布）ROBPloglog

17、data主節點RWBPlog同步節點BPloglogdataROBPlogROBPloglogdata同步節點BPlog張北美國硅谷（美西）香港X-PaxosData sync protocol全球部署Global Deployment數據跨地域同步，提供全球跨地域的容災能力。RPO=0 SLA為99.99%就近讀加速Accelerate by Reading the Nearest Node讀操作就近讀取數據，適合不同地域讀多寫少的場景多通道物理復制Multi-Channel Physical Replication提供數據跨地域的高速同步，大壓力場景下全球同步延遲確保在2秒以內多點跨地域寫

18、Write to Multi Zones and Regions提供多點跨地域寫功能，提供業務的多地部署能力02PolarDB MySQL引擎經典案例解讀易倉科技：單實例支持百萬級表，快速彈性小賣家(300以上)中等賣家（50150)大賣家（10以下）實例1實例2實例3600個賣家 600個賣家600個賣家 DTS(OPEN API)PolarDB MySQL倉儲物流云BI運營 刊登云原生關系型數據庫PolarDB助力易倉輕松應對SaaS業務洪峰DAS（SQL審計、限流）Kafka大數據平臺單實例支持百萬級表單實例放更多租戶，降低成本單實列表賣家數量90%300萬小賣家小賣家小賣家小賣家小賣家

19、大促快速彈性分鐘級彈性滿足大促場景快速擴縮需求并行DDLDDL耗時降低到1/13語句限流規避大批量DDL和異常SQL堵塞實例小賣家中賣家中賣家中賣家大賣家數據提供友邦人壽：引入PolarDB支撐保險業務系統加速上云業務描述健康承保核保契約線下數倉/HadoopDB2/400LogSLSMQDIDTSKafkaStream ComputeMapreduceSpark數據加工PolarDBAnalyticDB/HOLOMaxcomputeOSS數據服務RedisPAIMySQLBL營銷引擎營銷平臺Api GatewaySpark友邦保險客戶畫像：線下核心交易系統運行在IBM DB2 AS400中，

20、交易數據計劃通過DTS實時同步到PolarDB MySQL引擎；此外，線下Oracle數據庫經過ADAM評估，與PolarDB O引擎兼容度高達99%，計劃通過DTS直接遷移至云上PolarDB-O。使用場景：在全面上云前的過渡期內，線下發生的所有保單交易仍然進入DB2 AS400，通過DTS實時同步到PolarDB MySQL引擎，由PolarDB MySQL引擎全面支撐來自Web/App的高并發保單查詢。云原生的PolarDB MySQL引擎具備良好的性能和彈性，可以更好的應對突發業務負載?！氨ｋU上云”頭部標桿。計劃用三年時間，實現全面上云，其中2020年計劃將35%的核心業務系統遷移上云。THANKS