專場3.3-云數據庫發展的未來 - 無服務器數據庫 Amazon Aurora Serverless解析-馬麗麗.pdf

《專場3.3-云數據庫發展的未來 - 無服務器數據庫 Amazon Aurora Serverless解析-馬麗麗.pdf》由會員分享，可在線閱讀，更多相關《專場3.3-云數據庫發展的未來 - 無服務器數據庫 Amazon Aurora Serverless解析-馬麗麗.pdf（62頁珍藏版）》請在三個皮匠報告上搜索。

1、云數據庫發展的未來-無服務器數據庫Amazon Aurora Serverless解析馬麗麗數據庫解決方案架構師亞馬遜云科技提綱 現代應用需要Serverless數據庫 Aurora Serverless數據庫介紹 Serverless數據庫的應用場景現代應用需要Serverless數據庫現代化應用的特征現代應用程序的特點商業效益可擴展至數百萬用戶提高投資回報率降低總擁有成本全球可用提高開發人員的效率在幾毫秒內響應提高業務敏捷性處理 PB，甚至是 EB 級別數據提升客戶體驗現代化應用的架構Loosely coupledAPIsAPIs亞馬遜全球：通過微服務化和持續的解耦實現業務敏捷單體應用20

2、01 年以前2002 年微服務化“雙披薩規?！眻F隊2020 年10 萬+微服務每個服務面向單一用途應用程序部署的演進方向 無服務器虛擬機容器無服務器可以更加專注業務創新抽象程度無需管理服務器自動伸縮自動故障恢復按使用量付費應用程序對數據庫的需求 數據引力 2022,Amazon Web Services,Inc.or its affiliates.All rights reserved.2022,Amazon Web Services,Inc.or its affiliates.All rights reserved.應用程序需要專庫專用的數據服務Flat screen TVs2,72275”

3、LED 4k Smart TV$579.99Add to CartOur experts recommendIndex optimized store 用戶評價鍵值數據庫購物車關系數據庫推薦圖數據庫Save$240 2022,Amazon Web Services,Inc.or its affiliates.All rights reserved.亞馬遜云科技服務適用場景Amazon AuroraAmazon RDSAmazon DynamoDBAmazon TimestreamAmazon NeptuneAmazonElastiCacheAmazon QLDBAmazon Keyspaces

4、Managed Cassandra 關系數據參照完整性ACID事務寫時模式驗證鍵值數據高吞吐讀寫低延時無限擴展文檔數據內存數據按鍵key查詢達到微秒級延遲圖數據時序數據收集、存儲和處理時間序列數據分類賬數據可擴展、高可用、托管的ApacheCassandra兼容的服務快速輕松地創建和導航數據之間的關系寬列數據保存對應用數據的所有更改的完整、不可篡改和可驗證的歷史記錄傳統應用ERPCRM 高流量Web應用電子商務系統游戲應用程序排行榜實時分析緩存欺詐檢測社交網絡推薦引擎物聯網應用事件跟蹤工業遙測系統記錄供應鏈醫療保健銀行事務設備維護、隊列管理和路線優化的大規模工業應用程序AmazonMemory

5、DB亞馬遜云科技的專項數據庫服務Amazon DocumentDB文檔級別存儲可基于任何屬性快速查詢內容管理個性化移動應用Amazon Redshift云上數據庫解決這些問題云上數據庫解決這些問題內置最佳實踐日常維護自動打補丁行業合規隔離與安全備份還原自動故障恢復高級監控模式設計查詢優化查詢構建內置的最佳實踐日常維護打補丁行業合規隔離與安全備份還原故障恢復監控查詢構建查詢優化模式設計客戶自管托管客戶資源選型資源手動擴展資源選型資源手動擴展應用程序需要應用程序需要無服務器化無服務器化的數據庫的數據庫可變且不可預測的工作負荷峰值平均值峰值平均值峰值平均值維持低配成本高配到峰值體驗降級持續監控和擴展

6、有難度，需要專家幫忙，會有停機時間或Serverless數據庫服務完成自動化擴展內置最佳實踐日常維護自動打補丁行業合規隔離與安全備份還原自動故障恢復高級監控模式設計查詢優化查詢構建內置的最佳實踐日常維護打補丁行業合規隔離與安全備份還原故障恢復監控查詢構建查詢優化模式設計客戶自管托管客戶資源選型資源手動擴展資源選型資源手動擴展內置最佳實踐日常維護自動打補丁行業合規隔離與安全備份還原自動故障恢復高級監控模式設計查詢優化查詢構建Serverless客戶資源選型資源自動擴展 2022,Amazon Web Services,Inc.or its affiliates.All rights reserv

7、ed.亞馬遜云科技服務適用場景Amazon AuroraAmazon RedshiftAmazon DynamoDBAmazon TimestreamAmazon NeptuneAmazonElastiCacheAmazon QLDBAmazon KeyspacesManaged Cassandra 關系數據參照完整性ACID事務寫時模式驗證鍵值數據高吞吐讀寫低延時無限擴展文檔數據內存數據按鍵key查詢達到微秒級延遲圖數據時序數據收集、存儲和處理時間序列數據分類賬數據可擴展、高可用、托管的ApacheCassandra兼容的服務快速輕松地創建和導航數據之間的關系寬列數據保存對應用數據的所有更改

8、的完整、不可篡改和可驗證的歷史記錄傳統應用ERPCRM 高流量Web應用電子商務系統游戲應用程序排行榜實時分析緩存欺詐檢測社交網絡推薦引擎物聯網應用事件跟蹤工業遙測系統記錄供應鏈醫療保健銀行事務設備維護、隊列管理和路線優化的大規模工業應用程序AmazonMemoryDB亞馬遜云科技的七款數據庫服務已經支持ServerlessAmazon DocumentDB文檔級別存儲可基于任何屬性快速查詢內容管理個性化移動應用Amazon Aurora 的Serverless實現Serverless 數據庫無需管理服務器自動縮放自動故障恢復按使用量付費Amazon Aurora專為云平臺打造關系型數據庫可獲

9、得5倍于標準MySQL以及3倍于標準PostgreSQL的吞吐量，并行查詢加速聯機分析處理（OLAP）可用區(AZ)+1的高可用，Global Database可以完成跨區域災備15個只讀副本自動擴展，Aurora Serverless，高達128T存儲提供商用級數據庫性能的同時，成本僅為其 1/10，存儲無需預置，按用量付費Aurora架構可用區域1可用區域2可用區域3寫節點讀節點讀節點專為云數據庫設計的、日志結構式分布存儲計算存儲計算與存儲分離的分布式設計日志即數據庫存儲條帶跨3個可用區數百個存儲節點6 份數據副本,每個可用區2份Amazon Aurora Serverless v1 按需

10、、自動伸縮配置 終端節點沒有大小 根據 CPU 和連接進行擴展 MySQL 1-256 ACU(up to 488 GiB RAM)使用 TCP 連接 or 數據 API2018 MySQL 發布,2019 PostgreSQL 發布Aurora 嘗試識別擴展點以實現無中斷擴展通過“故障轉移”到更大或更小的實例來實現擴展通常需要 5-50 秒單實例（單可用區）縱向擴展DATABASE STORAGEWARM POOLAPPLICATIONREQUEST ROUTERCURRENT INSTANCENEW INSTANCEAmazon Aurora Serverless v1 擴展機制Amazo

11、n Aurora Serverless v2按需和自動調整配置根據應用程序的需求自動擴展容量簡單的按次付費每秒定價新版本可立即擴容以支持高要求的應用程序無憂數據庫容量管理2020年預覽版,2022年初正式發布Amazon Aurora Serverless v2的效果Aurora Serverless V2的能力即時且無干擾的容量擴展可用性高、災難恢復和功能增強細粒度且可預測的容量調整Aurora Serverless V2的即時&原地原地擴展 一秒內實現CPU和內存資源的原地擴展 運行中的數十萬項事務不會因為擴展受到影響 持續監控和擴展計算節點 在保持狀態的同時，對空閑實例后臺移動（例如，緩

12、沖池、連接）縮放scale down速度是V1的15倍存儲存儲計算計算自動增長自動增長Aurora Serverless V2 的緩沖池縮放 緩沖池大小隨數據庫容量而變化 參數自動調整：MySQL:innodb_buffer_pool_sizePostgreSQL:shared_buffers 內存分配：75%為緩沖池，25%為heap 緩沖池通過使用最不經常使用(LFU)和最近最少使用(LRU)算法的組合進行縮放緩沖池Aurora Serverless V2 緩沖池縮放-1緩沖池訪問頻率存儲量存儲量Aurora Serverless V2 緩沖池縮放-2緩沖池訪問頻率存儲量存儲量讀取Auro

13、ra Serverless V2 緩沖池縮放-3緩沖池訪問頻率存儲量存儲量頁面讀取頁面讀取Aurora Serverless V2 緩沖池縮放-4緩沖池訪問頻率存儲量存儲量排除冷頁面縮減內存Aurora Serverless V2 細粒度容量調整 用 Aurora Capacity Unit(ACU)用測量 Aurora無服務器容量 1個 ACU 有2 GiB 的內存 CPU、網絡和內存的配比與預置Aurora實例相同 啟動容量可以最低設置成0.5 ACU（1 GiB）細粒度擴展，可以支持0.5 ACU 增量按比例擴大按比例縮減Aurora Serverless V2 容量調整的依據 擴展速率

14、是可預測的，并且與當前容量成正比實例越大，擴展得越快 前 臺 和 后 臺 進 程（比 如 purge 或 者vacuum）的CPU利用率 內部數據結構（比如緩沖池）的內存使用情況 網絡吞吐量與容量成正比；對容量進行擴展以滿足網絡吞吐量的需求Aurora Serverless V2擴展的一個示例db.r6g.4xlargeAurora-負載示例db.r6g.4xlargeAurora Serverless 擴展CPUdb.serverlessper second scale up by 8%of max ACU configured(128)Aurora 負載示例db.r6g.4xlargeAu

15、rora 負載示例db.r6g.4xlargepoint select canary query10X increase in average latencyAurora 負載示例db.r6g.4xlargepoint select canary query10X increase in average latencyAurora 負載示例db.r6g.4xlargeAurora Serverless 內存和CPU擴展serverless scales up providing additional memory and CPUdb.serverlessAurora Serverless 內存

16、擴展8X reduction in latencypoint select canary queryAurora Serverless V2 的高可用和讀擴展集群卷可用區 2可用區3可用區1寫節點第0層第1層讀節點第14層讀節點第15層讀節點 支持最多15個只讀副本充當故障轉移目標 所有實例繼配置與數據庫集群相同 第0層及第1層只讀副本與主實例大小相匹配 跨獨立可用區部署 跨AZ對集群SLA為99.99%Aurora Serverless V2 跨AZ高可用部署可用區 1可用區2可用區3集群volume寫節點第0層第1層讀節點第14層第15層報告應用程序自定義端點應用程序集群端點讀節點讀節點A

17、urora Serverless V2 寫節點擴展可用區 1可用區2可用區3集群volume寫節點第0層第1層讀節點第14層第15層報告應用程序自定義端點應用程序集群端點讀節點讀節點Aurora Serverless V2 讀取擴展集群volume報告應用程序自定義端點集群端點寫節點第0層第1層讀節點第14層第15層讀節點讀節點應用程序可用區 1可用區2可用區3讀節點Aurora Serverless V2 支持全球擴展 使用 Aurora Serverless v2 配置輔助區域 空閑時只需按最低容量付費 故障切換以后寫節點和讀節點向上擴展 從區域節點可以獨立擴展來滿足終端用戶的讀取請求應用

18、主區域從區域寫節點讀節點讀節點無服務器寫節點讀節點Aurora Serverless V2 支持全球擴展 使用 Aurora Serverless v2 配置輔助區域 空閑時只需按最低容量付費 故障切換以后寫節點和讀節點向上擴展 從區域節點可以獨立擴展來滿足終端用戶的讀取請求應用主區域從區域寫節點讀節點無服務器主區域Aurora Serverless V2 支持的主要版本Aurora PostgreSQL 13Aurora MySQL 8.0Window functionAtomic 及在線DDLSKIP LOCKED和NOWAIT改進的JSON功能B-Tree 重復數據刪除改進的分區表功能增

19、量排序 來支持更快排序索引的并行清理Serverless數據庫適用的場景用Serverless數據庫開發多租戶的SaaS應用SaaS沒有Serverless數據庫以前：成千上萬的終端用戶都需要自己的數據庫將多個用戶的數據庫部署同一個Aurora集群來提高利用率和成本效率但犧牲了單個數據用戶數據庫操作的粒度，比如備份和恢復由于大量的工作負荷，需要進行持續監控和調整Aurora 集群租戶1租戶2租戶3租戶4租戶5租戶.用Serverless數據庫支撐企業同時發展的多個應用程序沒有Serverless數據庫以前：企業要維護100或1000個應用程序每個應用程序由一個或多個數據庫支持逐步發展的應用程序

20、要求需要調整數據庫容量在有限預算內的調整各個數據庫非常困難數據庫的100s 到1,000s用Serverless數據庫簡化分庫分表的數據庫容量選擇應用程序沒有Serverless數據庫以前：需要寫入可擴展性的應用程序將其數據庫分散到多個節點以提高吞吐量預測每個節點的容量既困難又低效創建的節點過少，必須在停機期間重新分配數據創建的節點過多，成本較高，因為所有節點的利用率都不同AWS CloudUsersAmazon API GatewayLambdaAmazon AuroraServerlessAmazon RDSProxy基于Serverless數據庫開發Serverless的應用客戶案例-S

21、&P DJI(標普道瓊斯指數）We are the world leaders in several Global Benchmarking indicesOur solutions range from core ESG and low-carbon climate approaches to thematic and fixed income strategiesStrategy and thematic indices including ESG,factors,new economies and multi-assetFrom index ideation to creation to

22、 commercialization,we offer an unmatched breadth of insights and solutionsGlobal index families covering the equity,fixed income,and commodity markets,Strategy and thematic indices including ESG,factors,new economies and multi-asset indices.Custom index solutions including calculation and benchmark

23、administration servicesS&P DJI 亞馬遜上云之旅Operational efficienciesBuild web servers,app servers,middleware on Amazon EC2 instancesMove Oracle,MySQL,MongoDB databases from On-prem to Amazon EC2 instancesUse Amazon S3 for backupsUse CloudWatch,Datadog,OEM for MonitoringAutomatic provisioning,CFTS,Jenkins,

24、CI/CD,AMIsMigrated MySQL on Amazon EC2 to RDS MySQL 5.6Migrated Oracle on Amazon EC2 to Oracle RDSRearchitect applications to leverage the capabilities of Aurora readers for analytics and reportingRDS MySQL to Aurora MySQLMigrate Oracle database to Aurora Postgres databaseBuild best practice databas

25、e infrastructure to support mission critical applicationsBuilt Amazon EMR InfrastructureDynamoDB Database Activity Streams(DAS)Aurora Serverless V2Lift&shiftReplatformModernizeTime客戶反饋“At 3M,we are committed to empowering clinicians,providers,and payers by reducing the administrativeburden of techno

26、logy.Amazon Aurora Serverless v2 helps us take huge steps toward this goal byautomatically scaling database resources based on our business needs,enabling us to spend less timemanaging database capacity and more time solving customer challenges.”-Dhanraj Shriyan,EnterpriseData Architect at 3M（醫療行業醫療

27、行業）“With Amazon Aurora Serverless v2,we can innovate more with the fine-grained scalability that removesthe overhead of peak capacity planningand the associated costs of paying for more than we need,saving our customers money while accelerating performance.”-Don MacAskill,CEO&Chief Geek ofSmugMug（圖片

28、共享服務圖片共享服務）“With Amazon Aurora Serverless v2,that task is much simpler.We no longer need to worry about fluctuatingand unpredictable workloadsdatabase capacity scales automatically by just the right amount to meetdemand,keeping up with any spike regardless of size,and scaling down when demand decrea

29、ses,tominimize costs.”-Joshua Eichorn,Chief Technology Officer at Pagely（WordPress 支撐平臺）客戶反饋“Because our workloads can vary drastically based on the time of the day,we either need to constantlyadjust database capacity or over-provision for peak usage,Amazon Aurora Serverless v2 scales to justthe rig

30、ht amount of capacity on demand to support our workload needs,helping us save cost withoutcompromising customer experience-Dave Bullock,Vice President of Engineering at UJET（呼叫中心）“Amazon Aurora Serverless v2 can help us optimize costs,automate maintenance and patching,andensure high availability acr

31、oss our district.We are building exciting new student support technology tools,specifically designed to take advantage of these serverless capabilities,to solve problems with fewer technicalresources.By applying patches and maintenance quickly and automatically,we also decrease our threatsurface by ensuring our environment is up to date,freeing up our team to focus on delivering transformationaltechnology solutions that improve the student experience.”-Joseph Licata,Associate Chief InformationOfficer at MCCCD（社區大學社區大學）Serverless幫助您快速創新敏捷性性能成本安全性構建一個可持續發展的未來