《第十三屆中國數據庫技術大會(DTCC 2022)演講PPT：一站式數據庫上云最佳實踐 (1)（26頁）.pdf》由會員分享，可在線閱讀，更多相關《第十三屆中國數據庫技術大會(DTCC 2022)演講PPT：一站式數據庫上云最佳實踐 (1)（26頁）.pdf（26頁珍藏版）》請在三個皮匠報告上搜索。

1、一站式數據庫上云最佳實踐王林平阿里云數據庫高級解決方案架構師數據庫上云路徑和核心價值l 上云利器DTSl 數據庫上云l 實時分析上云l 混合云災備l 混合云雙活l 備份上云上云路徑l 高效使用數據庫l 問題診斷優化l 批量智能運維l 穩定性和安全l 高可用容災l HA優化用云l Auto-scalingl 云數據庫降本lPolarDB ServerlesslAnalyticDB湖倉版lPolarDB4AI智能算法l 數據庫上云愿景用好云上云路徑和實踐數據傳輸與加工DTS數據庫上云實時分析上云混合云災備跨云雙活備份上云數據傳輸與加工DTS讓數據自由流動不敢決策上云？全量慢、同步延遲？一致性無法保

2、障？不支持ETL Preview？控制臺API任務編排評估預檢查結構遷移數據校驗一鍵診斷與處理DTS A2A 引擎SDK數據遷移數據同步數據訂閱評估預檢查結構遷移數據校驗全量數據增量數據ETL能力11年打磨、10+發明專利毫秒級時延、100+MB/S20+數據源、60+數據同步組合400+ETL算子技術實時日志解析架構事務沖突與熱點合模型劣網長傳帶寬優化海量訂閱高效過濾分發典型應用阿里雙11異地多活底座60萬數據庫上云百萬實時鏈路10萬+企業客戶上云場景數據庫上云混合云災備跨云雙活實時分析上云數據庫上云和實時分析上云前臺業務云數據庫會員商城購物車廣告快遞聊天榜單推薦計費榜單RDS MySQLT

3、air持久內存MongoDB前臺業務IDC數據庫會員商城購物車廣告快遞聊天榜單推薦計費算法MySQLRedisMongoDBDTS雙向復制DTS單向復制某電商客戶搬站上云業務場景數據庫平滑遷移上云盡量少停機數據需要保證一致業務庫低成本回滾方案上云要點和收益支持專線、公網、VPN結構+全量+增量復制數據一致性校驗功能MySQL雙向同步，秒到分鐘級回滾業務場景業務暫時不上云，報表和實時分析上云混合云數據復制跨云雙活實時分析上云上云要點數據庫上云混合云災備跨云雙活實時分析上云業務庫交互業務DMSDAS北京IDC機房報表數據DTS單向復制AnalyticDB阿里云北京H區最佳實踐支持專線、公網、VPN

4、結構+全量+增量復制數據一致性校驗功能雙向同步，秒到分鐘級回滾最佳實踐支持專線、公網、VPN結構+全量+增量復制毫秒至秒延遲某服務商實時分析上云MongoDBHBaseRedis庫混合云數據庫災備DNS流量阿里云北京可用區H北京IDC機房SLBMySQL庫DTSDTSDTSLTS業務A業務BAPP應用服務器RDSMySQL業務CAPP應用服務器HBaseMongoDB云RedisAPP應用服務器DMSDST雙向復制防循環寫單向復制流量流量流量流量流量流量RDSMySQLLindrom寬表MongoDB云RedisLTS雙向復制業務場景數據庫平滑遷移上云盡量少停機數據需要保證一致業務庫低成本回滾

5、方案上云要點和收益支持專線、公網、VPN結構+全量+增量復制數據一致性校驗功能MySQL雙向同步，秒到分鐘級回滾該方案沒有業務雙活，RTO長混合云數據庫雙活DNS流量阿里云北京可用區H北京IDC機房SLBSLB流量糾錯流量糾錯0%流量100%流量流量糾錯業務A業務BAPP應用服務器RDSMySQL業務CAPP應用服務器Lindrom寬表MongoDB云RedisAPP應用服務器DTSDTSDTSLTS業務A業務BAPP應用服務器RDSMySQL業務CAPP應用服務器HBaseMongoDB云RedisAPP應用服務器DMSDST雙向復制防循環DTS單向復制LTS雙向復制流量流量流量流量流量流量

6、業務場景數據庫平滑遷移上云盡量少停機數據需要保證一致業務庫低成本回滾方案上云要點和收益支持專線、公網、VPN結構+全量+增量復制數據一致性校驗功能MySQL雙向同步，秒到分鐘級回滾業務和數據雙活，RTO短100%流量0%流量DBSOSS數據庫備份上云業務場景IDC數據庫備份低成本上云數據安全上云實時高效恢復數據上云要點和收益支持專線、公網、VPN支持MySQL、MariaDB、SQL server、Oracle、PostgreSQL、MongoDB、Redis、PolarDB-X支持物理備份、邏輯備份支持壓縮、加密、流控、完整生命周期OSS保證數據可靠性RDS MySQLTair持久內存Mon

7、goDB業務系統數據庫會員商城購物車廣告快遞聊天榜單推薦計費算法MySQLRedisMongoDB北京IDC機房PolarDB阿里云北京H專線互聯網VPN最佳實踐IDC數據庫備份低成本上云數據安全上云實時高效恢復數據云上數據庫使用實踐提效-高效使用和管理DMS提效-問題診斷和優化提效-批量智能運維提效-自動SQL限流穩定性和安全高可用容災底層能力DBaaS HA變Fail Over為Switch Over提效-數據庫管理和使用數據資產管理數據安全數據庫開發數據庫變更發布數據傳輸與加工企業域賬號對接數據自動分類、分級細粒度權限分配鑒權數據脫敏性能安全攔截語法規則攔截全流程操作日志水印追溯（防泄露

8、）設計規范 研發流程和審批流程 表結構設計 自助查詢 SQL審核優化 測試環境構建 無鎖變更 研發規范監測攔截 發布流程 變更異?；貪L 異構數據遷移、同步 跨城容災多活 跨云遷移數據庫 全鏈路數倉開發服務 數據集成（實時/周期/ETL）DMS數據管理解決的問題：研發/測試安全、高效、自助使用數據庫通過流程、安全規則、設計規范提高研發/測試效率，降低DBA工作量元數據采集管理元數據圖譜構建安全管控快速查找數據數據質量、安全、成本治理數據血緣下一步規劃：數據資產治理（知識圖譜構建與應用）數據安全體系化（脫敏服務化集成、隱私計算）邏輯數倉建設（庫倉一體）場景化解決方案（SaaS等）提效-問題診斷、優

9、化資源監控、實時報警DAS性能趨勢、巡檢、異常檢測、實時性能、空間分析業務報警、業務異常問題發現DAS一鍵診斷DAS鎖分析DAS會話管理DAS慢日志分析SQL洞察和審計DAS診斷報告DAS性能洞察專家診斷和判斷問題診斷DAS會話管理固化執行計劃CCL自動SQL優化自動索引創建自動空間優化自動限流彈性伸縮智能調參(待上線)問題/性能優化添加讀實例垂直升配垂直降配釋放讀實例自動擴容基于規則彈升擴縮容下一步規劃：自發現自優化自修復內核修復管控修復基礎設施修復配合團隊修復缺陷修復疑難問題，阿里云專家診斷提效-批量智能運維實例自感知和接入實例監控實時盯屏異常發現自動優化自動修復容量評估安全審計實例監控監

10、控曲線監控大盤實時性能大盤：大促、大變更、升級、故障復現 閾值報警 事件概覽 查詢治理 慢日志分析 巡檢評分 空間管理 一鍵診斷 性能快照 性能洞察 鎖分析 自動SQL優化 自動索引創建 自動空間優化 智能調參 自動彈性伸縮 自動限流 實時會話管理智能壓測：遷移升級大版本、大業務變更、大促、故障復現 高風險請求 SQL注入 新增訪問來源下一步規劃：l 異常根因分析、自動優化增強l 自動修復增強：內存、報警端到端修復l 對象結構設計、引擎推薦(根據流量推薦最佳引擎)DAS數據庫自治服務近期已上線：l 復制延遲、OOM自修復l SQL Review輔助提效-自動SQL限流異常檢測超時自動失效跟蹤評

11、估回滾解除限流自動限流全量SQL實時會話Performance Schema根因分析特征提取自動SQL優化什么時候觸發？是否限流限制Kill哪條SQL是否有效其他自動化能力：l 自動SQL Review和優化l 智能壓測l Auto-scalingl 自動修復穩定和安全高可用高可用同城容災同城容災監控與報監控與報警警實例數據實例數據安全安全異常事件異常事件主動運維主動運維異常自愈異常自愈機房級別的容災切換能力同城跨機房高可用切換 內置多種自動化修復決策樹 單點異常自動化修復保障SLA 自動化系統和人工形成正向反饋 復制、參數、主機巡檢 復制中斷 備庫不可用 鏈路異常 參數不一致 主機異常事件主

12、售區以自建機房為主，機位充足同城不同機房間通過光纖傳輸，100%冗余機房配備雙電系統，柴油發電維持48小時以上物理機配備雙上聯交換機，防止交換機故障主備物理同機房情況下跨機架部署高可用版主備間采用心跳同步實時備份保證異常情況下服務快速拉起 白名單高安全白名單 SSL加密、透明數據加密TDE 云盤加密 自帶密鑰加密BYOK能力 高危操作短信驗證 SQL洞察、慢日志明細查看監控信息設置監控頻率管理報警云監控DBaaS穩定-高可用容災底層能力DB(主)DB(備)HA切換實例探測復制可用區A可用區B容災系統機房探活數據備份日志備份數據恢復SLBOSS基礎資源配置和架構優化：l主售去以自建機房為主，機位

13、充足l同城不同機房間通過光纖傳輸，100%冗余l機房配備雙電系統，柴油發電機至少維持48小時以上l物理機配備雙上聯交換機，防止交換機故障l主備物理同機房情況下跨機架部署l高可用版主備間采用心跳同步l三節點企業版的三機房部署容災防腦裂l機房級別的容災切換能力l實時備份保證異常情況下服務快速拉起業務場景機房、網絡、主機故障提前發現和切換系統異常預測切換容量瓶頸提前擴容性能問題限流優化實例異常主動切換穩定性提升-DBaaS HA，變Fail Over為Switch OverDB(主)DB(備)復制可用區A可用區BHA Agent主機監控Agent可用區容災AgentHA Agent主機監控Agent

14、可用區容災AgentHA系統容災系統事件中心下發容災切換讀寫探測主機事件主機事件容災探測服務正常服務質量受損服務不可用T2T1事件采集預測提前切換DAS干預內核干預HA干預SQL限流索引優化支持自動IOhang磁盤故障內核故障CPU故障dmesg內核切換檢查主備可用性檢查復制狀態設置只讀Kill現有連接等待位點同步從OSS拉取缺失的日志檢查心跳的時間戳(1min)切換VIP到備庫打開備庫可寫狀態再次Kill原主庫鏈接預測切換99.99%30SOSS日志 可用區容災：解決腦裂問題 事件中心：主機、網絡、存儲，IAAS層，事前切換，服務未受損，T1服務正常，switch over DAS做軟修復：

15、基于規則彈升，SQL限流和索引優化 無限HA是我們未來要解的問題：高流量、慢查詢、索引并不好DAS干預流量、資源占用率增加基于資源規則升配CPU、IOPS人工干預重啟實例重啟宿主等Switch OverFail Over業務場景機房、網絡、主機故障提前發現和切換系統異常預測切換容量瓶頸提前擴容性能問題限流優化實例異常主動切換云上數據庫使用進階快速自動彈升-Auto-scaling云數據庫降本PolarDB ServerlessAnalyticDB湖倉版Polar4AIAuto-scaling提升穩定l 突發業務流量l 負載不可預測的業務l 負載周期變化的業務降低成本l 不常用的業務l 新上線的

16、業務l 開發和測試環境支持引擎l PolarDB MySQLl RDS MySQL云盤Auto-scaling案例CPU利用率：96%Auto-scaling后Auto-scaling前CPU利用率：30%業務請求：800 QPS業務請求：1500 QPS云數據庫降本AnalyticDB集群業務庫&緩存DTS實時同步存儲共享存儲存儲分析服務交互服務DMSDMSDBS運維管理冷熱分層數據歸檔Serverless存儲+存儲包存儲高壓縮降存儲成本提升熱數據性能完整方案無業務入侵低操作成本RDS ServerlessPolarDB分鐘級彈升ADB分時彈性MyBase、DTS專屬集群資源超賣充分利用資源

17、應對流量高峰降低計算成本降低維護成本Tair持久內存RDMA+物理復制+SCCMongoDB on DBFS新硬件紅利降低成本提高性能和一致性PolarDB HTAPPolarDB多主集群云原生架構在離線分析降低使用和維護成本提高鏈路穩定性存儲降本計算彈性增效降本新硬件新技術增效降本架構優化PolarDB Serverless 高彈性功能業內第一個上限1000核的企業級Serverless數據庫智能決策本地 ScaleUp跨機 ScaleUp跨機 ScaleOut無感 BP Resize基于熱備技術的秒級切換連接和事務跨機續傳集群維度高性能全局一致性熱資源池實現秒級橫向彈性功能優勢彈的更廣：0

18、1000核，業內范圍最廣彈的更快：秒級探測，秒級切換彈的更穩：全場景（本機&跨機、HTAP、全局數據強一致）無感彈升，性能線性提升彈的更細：三層解耦獨立彈升，對比傳統架構Serverless成本再降低60%彈升效果單節點 Polar Computing Unit(PCU)自動彈性測試過程固定Sysbench壓力，實例初始配置為1個PCU；Serverless能夠根據壓力自動增加PCU數量，從而自動提升QPS壓力停止后，PCU逐漸降低RO節點的自動彈性單節點規格達到上限后，通過自動增加RO節點提升性能降本：資源一體化增效：體驗一體化融合引擎極致彈性一份數據融合MPP和BSP(批處理)兩種執行模型

19、，一個引擎一份資源同時支持在線分析、離線處理在線分析任務支持分時彈性，離線處理任務支持Query級按需彈性，完美貼合業務負載一份數據同時滿足在線分析（熱數據）和離線處理（冷數據），提高數據一致性和時效性計費單位數據管理數據訪問通過ACU作為計費單位，統一定價，統一管理統一元數據、權限LakeHouse API，提供統一的數據訪問體驗orc.pngOSS內部存儲XIHE MPP SQL EngineXIHE BSP SQL Engine外部存儲LakeHouse APIs（Arrow格式）AI：Spark APIBI：SQL存儲層計算層應用層用戶角色數據庫(RDS/PoralDB)日志(OSS/

20、Kakfa/SLS)數據管道APS大數據（MC/EMR）數據源統一元數據/權限訪問層采存算管用Spark Engine數據管道數據庫、日志、大數據低延時、低成本接入橙色部分為湖倉版新增功能AnalyticDB湖倉版：數據分析處理一體化降本提效PolarDB4AI=云原生數據庫+AIPolarDB+Polar4AI提供應用端到端的智能服務，統一數據存儲和管理和基于數據庫的智能算法服務場景：利用SQL語言高效建模訓練評估推理提供In database MLOPs能力和SQL語法擴展，方便用戶進行特征及模型全生命周期操作和管理，降低人工智能的門檻特性一：In-database Machine Lea

21、rning Operations（MLOps）場景：模型上傳和SQL態模型訓練推理平臺對于模型生產者，提供自定義模型上傳能力；對于模型消費者，提供模型在線服務能力；平臺提供MaaS的SQL語法擴展，方便用戶進行自定義模型的生產和消費特性二：In-database Model as a Service（MaaS）場景：場景化數據智能解決方案提供開箱即用的數據智能解決方案，方便用戶使用具有行業經驗和技術深度的一站式數據智能能力特性三：In-database Solution as a Service（SlaaS）DBAI模型數據/算法工程師 業務工程師業務系統DBAI模型模型生產者模型消費者業務系統DBAI模型業務專家業務系統解決方案應用場景客戶價值典型案例MLOps:通用AI平臺-組件緊耦合一站式數據智能服務：集成MLOps和算法模型，快速轉化數據的業務價值，模型上線時間從2周縮短到2天。某數據服務商MaaS:通用AI平臺-組件松耦合做強生態：融合DB和AI能力，通過SQL驅動AI能力，一體化體驗某視頻在線客戶SlaaS：ID-Mapping、智能客服、搜索推薦用好數據：提供開箱即用的行業解決方案來深度挖掘數據數據價值，使得數據價值最大化某投資服務客戶數據庫上云愿景自動駕駛一站式云原生高效降本更快、更穩、更安全