《阿里云:2023阿里云峰會:Serverless加速創新論壇PPT(54頁).pdf》由會員分享,可在線閱讀,更多相關《阿里云:2023阿里云峰會:Serverless加速創新論壇PPT(54頁).pdf(54頁珍藏版)》請在三個皮匠報告上搜索。
1、Serverless 引領云上開發新范式以 K8s 為界面的 Serverless 容器服務,大幅降低 K8s 的使用門檻Serverless 容器服務 ASK 面向業務流量波動和任務調度場景優化,30秒可擴容3000 POD 支持智能彈性周期預測,預測準確率提升80%無需節點管理 無需管理計算節點,無需關注節點安全修復和容量規劃 增強智能診斷能力,比如 Pod 內存分析、網絡鏈路診斷彈性能力優化按Pod資源計費 按 Pod 的CPU、Mem計費,支持 Saving Plan 和 Spot 內置 Knative/Kserve 最佳實踐,支持 POD 縮容到 0K8s master 托管ECI(
2、GPU)ECI(GPU)ECIECIECI(Spot)ECI(Spot)ECIECIECI(倚天)ECI(倚天)ECIECIK8s 組件托管Serverless 容器服務ASKK8s 版本自動升級K8s 可觀測和診斷容器實例調度成本洞察和優化容器高效彈性微服務/中間件數據庫可觀測Kubeflow/Arena/KserveArgoTensorflowPyTorch鏡像和制品加速極致彈性,準確率提升 80%普惠降本,降價 40%Serverless 容器服務 ASK 全新升級新增 U 實例規格,支持多款處理器,相比上一代主售實例降價最高達 40%新增 Saving Plan 彈性版,面向非固定波峰
3、波谷場景,額外成本降低10%以上組件全托管,零 K8s 運維成本10+K8s 核心系統組件全托管(新增 CoreDNS、Metrics Server 等),實現動態容量規劃自動化升級 K8s 版本,智能化風險檢測識別,降低升級帶來的應用故障或異常風險大規模 AI 鏡像秒級拉取,啟動時間減少 90%升級智能彈性預測 AHPA,相比人工配置,彈性準確率提升 80%ASK 助力數禾科技 AI 模型服務降本提效基于 ASK 實現 AI 模型企業級彈性部署體驗場景正式上線數禾科技以大數據和技術為驅動,為金融機構提供高效的智能零售解決方案業務價值客戶痛點 風險管理業務算力要求高,AI 訓練的異構資源管理復
4、雜,擴容速度慢 AI 模型服務資源消耗大,高峰和低谷難預估;容量規劃復雜,成本壓力大 使用 ASK 部署線上模型,無需 K8s 節點管理,根據實時流量動態使用 POD,資源成本節省60%使用 ASK Knative 服務,解決模型的灰度發布和多版本并存問題 得益于ASK 的自動伸縮和縮容到 0,降低運行成本,大幅提升服務可用性應用零改造上線、自適應彈性伸縮、極簡易用的應用托管平臺6月30日邀測上線Serverless 應用引擎 SAE 2.0毫秒級彈性,支持縮容到0 毫秒級彈性伸縮,根據流量自適應調整資源 應用冷啟動提效,支持縮容到0標準開放,無廠商鎖定 核心能力開源開放,無廠商鎖定 豐富的平
5、臺工程能力,助力研發效率提升 50%極簡體驗,降本 40%以上 零改造遷移,零學習成本,秒級創建發布應用 按實際請求量付費,應用成本下降 40%以上*SAE 為 Serverless App Engine 簡稱業務場景Web微服務小程序SaaS類服務AI 應用異構算力資源畫像Serverless Infra 底座冷啟動加速彈性高級能力:彈性預測、VPA、縮容到 0API&CLIs&編排應用場景模板開發者工具用戶界面(Web Portals)應用平臺運行時安全日志&監控同城容災智能運維成本治理應用引擎框架ServingBuildingEventing平臺工程流量網關鑒權DDoS 防護熔斷路由計算
6、層CICD 集成事件驅動的全托管計算服務,以更少的代碼,更快地實現業務創新函數計算 FC 業務拆分到函數粒度,資源利用率達100%容量管理提效 10 倍,運維零負擔 綜合成本降低 30%以上運維更高效 開發、調試、部署、運維全生命周期管理 計算資源 CPU/GPU/內存/磁盤/網絡按需組合 百毫秒冷啟動,單客彈性效率可達2000實例/秒架構更先進開發更簡單 100+云產品事件集成,降低用云復雜度 全托管計算服務,內置日志采集監控告警 應用中心50+熱門應用模板,開箱即用第四代神龍架構阿里云沙箱容器 2.0洛神網絡跨集群容災互備Web應用大數據 ETLAI 推理IoT/車聯網毫秒級彈性調度內置可
7、觀測Serverless GPU1毫秒計費Serverless DevsWebIDEVSCode 插件JetBrain 插件應用中心文件處理OSS 觸發器SLS 觸發器Kafka 觸發器DTS 觸發器CDN 觸發器API 網關觸發器100+云產品云產品事件觸發公網服務云存儲云數據庫中間件大數據產品其它云產品函數計算 FC盤古存儲阿里云安全防護開發構建調試部署運維開發平臺計算層業務場景函數計算 GPU 性能體驗再升級配置更靈活配置粒度更細業界最小 GPU 虛擬粒度,顯存規格最小至 1GB資源組合更自由CPU 與 GPU 解耦,允許獨立配置;支持更多 GPU 卡型資源利用率更高資源利用率提升 80
8、%多租安全 GPU 共享虛擬化方案,綜合資源利用率提升 80%更精細化 GPU 算力算力規格最小1/16 T4、1/24 A10,精細化匹配 AI 推理負載類型技術更領先GPU秒級冷啟動Serverless GPU 冷啟動時間從分鐘級到秒級,性能提升 300%行業首發 GPU 按用付費GPU 率先支持按需使用、按用付費,切入準實時推理場景,賦能 AIGC 再創新函數計算讓 AIGC 應用開發更簡單深度集成通義千問,更快的試用體驗與業務結合打造 10+熱門應用模板,AIGC 應用構建更簡單一鍵模型托管,五分鐘上手,研發效能提升 80%CPU/GPU 配置解耦、極致彈性,平均降本 50%上手簡單,
9、降本提效與 ModelScope、HuggingFace 等開源生態聯動阿里云產品與 LangChain 等 AI 框架高度集成深度集成,最佳實踐擁抱開源,開放生態Serverless 應用中心Serverless 架構下 AIGC 應用上云套件ModelScopeHugging Face通義千問 PluginChatGPT Plugin模型/應用生態AIGC 能力中心內容電商基于開源模型和通義千問進行圖片生成,旅游攻略等內容生成直播數據歸因分析、內容生產、話術整理教育/客服語料問答典型應用行業/場景NASAPI GatewayRDSGreenWebMQARMSAI 執行環境(Serverle
10、ss AI Runtime)BaaS函數計算 FCAI 開發框架(LangChain4Aliyun)FaaS場景化案例庫應用全生命周期管理模型一鍵托管應用多環境管理通義千問預體驗通義千問大模型文生圖模型Stable Diffusion 模型圖生圖模型3D 卡通風格模型文生文模型ChatYuan 模型圖生文模型0 技術門檻實現 AIGC 應用開發集結經典的 AIGC 應用模版5 分鐘完成 AIGC 應用部署函數計算AIGC 應用開發體驗活動正式上線云原生產品免費試用再升級函數計算 FC微服務引擎 MSE容器鏡像服務 ACR應用實時監控服務ARMS可觀測可視化Grafana 版可觀測監控Prome
11、theus 版云撥測云消息隊列 MQServerless 應用引擎性能測試 PTS即將上線 Serverless 容器服務 ASK150元額度 3個月 規格信息:函數計算免費額度,可抵扣活躍 vCPU 使用量,內存使用量,GPU 使用量以及函數調用次數 適用場景:Web 應用、實時數據處理、AI 推理、視頻轉碼317元 30天ECI 2核4GB 個人認證952元 30天ECI 6核12GB 企業認證適用場景:容器化應用、在線業務彈性、AI/大數據計算類任務3min 創建 K8s 集群,開啟極致容器彈性之旅企業級分布式應用服務 EDAS2023年云原生編程挑戰賽正式發布連續舉辦8屆、超過5萬個隊
12、伍參賽36萬元現金大獎6月20日啟動報名賽道一賽道二賽道三挑戰賽集訓營挑戰賽征文活動挑戰賽入門體驗場景導師經驗分享線下技術沙龍面向 Serverless 的存儲能力創新羅明阿里云智能高級產品專家Serverless下使用存儲的新范式物理硬件/軟件/網絡/設備ECS/裸金屬服務器系統盤持久存儲:EBS,NAS,OSS,SLS臨時存儲:EBS鏡像存儲(系統盤)物理硬件/軟件/網絡/設備ACK持久存儲:NAS,OSS,SLS臨時存儲:EBS臨時存儲鏡像存儲(系統盤)物理硬件/軟件/網絡/設備ASK/ECI持久存儲:NAS,OSS,SLS阿里云管理開發者管理內置存儲和外置存儲變得更加清晰,重塑管控界面
13、存儲供給新特性:高密、彈性、極速臨時存儲鏡像存儲(系統盤)物理硬件/軟件/網絡/設備FC持久存儲:NAS,OSS,SLS彈性極速高密Serverless環境中數據存儲和訪問面臨多種挑戰海量Pod批量擴縮下穩定訪問數據應用粒度的I/O監控和問題調查性能隨計算規模彈性伸縮利用日志數據提升Serverless的可觀測阿里云存儲產品全面接入Serverless生態無狀態應用有狀態核心應用AI與大數據應用云原生存儲接入層:通過CSI,CNFS,Fluid和云原生計算無縫對接CSIFluid云原生服務:提供托管,Serverless的編排和計算服務ACK Kubernetes ServiceASK Ser
14、verless Kubernetes在線遷移公共云存儲服務盤古:Planet-Scale 分布式存儲平臺塊存儲 EBS表格存儲TableStore對象存儲 OSS在線遷移離線遷移數據遷移(閃電立方)數據安全備份服務 HBR容災服務 HDRCNFSFC Function Compute日志服務SLS文件存儲NAS/CPFS/HDFS阿里云存儲在云原生接入方式上的創新彈性文件客戶端 EFC提升5倍4K小文件打開讀提升10倍AI訓練小文件解壓速度提升1倍單路讀吞吐隨計算規模增長熱數據讀吞吐性能彈性文件客戶端的技術創新強穩定性?多鏈接,支持鏈接層高可用,鏈路問題秒級別切換?元數據和數據流分離,避免大壓
15、力下元數據操作卡頓高性能?計算端元數據緩存和創新的lease機制,提升lsdu等常見元數據操作速度10倍,可媲美本地EXT4性能?一個客戶端連接至多個存儲節點,提升單客戶端性能和單流性能1倍以上彈性?分布式數據讀緩存,聚合計算端內存資源,有效加速重復訪問的熱數據讀速度,帶寬和緩存池隨計算規模提升而提升?萬級PoD大規??简?,提供批量掛載和卸載穩定性可觀測?PV粒度的端到端I/O指標,方便調查訪問熱點和I/O瓶頸文件存儲NAS/CPFSCNFSFluid彈性文件客戶端Elastic File Client(EFC)元數據緩存分布式數據緩存ACKASKAIGC自動駕駛生物計算金融量化CNFS+彈性
16、文件客戶端加速基因計算成本優化?無任何額外成本,吞吐能力隨計算規模增長而增長彈性擴容?支持快速按需彈出2K節點10萬核算力應對高密度計算計算加速?計算峰值吞吐達到150Gbps,6小時內完成處理數千例全基因組數據,任務時間縮短15%應用兼容?全透明加速,應用無需任何修改2.85.79.210.813.817.9202.85.58.29.59.39.210.50.05.010.015.020.025.03006009001200150018002100EFC客戶端NFS客戶端GB/s節點數Fluid+彈性文件客戶端加速AI計算多形態支持?自適應支持ECI和ECS不同運行時親和性調度?根據任務調度
17、計劃,將數據集預先調度至計算節點訓練加速?相較NFS客戶端,整體訓練耗時縮短87%數據集管理?支持數據隔離和訪問控制,并且可以跨namespace共享數據和緩存050100150200250NFSFluid+EFCinsightface(ms1m-ibug)數據集訓練測試訓練完成時間(秒)Serverless環境下可觀測性面臨的挑戰技術挑戰 突發任務大 應用無侵入 作業生命周期短場景特征 超大規模彈性伸縮 應用種類繁多 高度自動化自愈常規方案需要磁盤中轉短作業丟失數據容器規劃有限無法應對流量突增日志服務SLS 在數據采集上的創新普通組件/應用日志 iLogtail hidecar秒級任務 iL
18、ogtail sidecar高性能資源開銷低高性能單核百MB/s穩定可靠多租戶隔離Job 生命周期=10 s簡單易用自動發現匹配容器采集能力友好SLS 統一存儲 開放生態:兼容開源及自有的實時計算生態 無侵入部署,無需業務改造 更高性價比,免費計算資源,Serverless 兼容 Elasticsearch、Kafka、Prometheus、CK,99%情況下無縫遷移SLS 提升函數計算FC 環境下的可觀測性大規模數據收集實時數據上報,秒級延遲動態負載均衡,支持PB級寫入融合數據分析自研可觀測數據分析引擎億級數據秒級分析快速問題定位基于大模型的根因分析實現問題快速定位輕量化實例、黑盒化調度、分
19、布式組件THANKS!馮程All In Serverless下一代云原生數據庫基礎設施應用場景數據庫小型機 1萬臺1970大型商業處理關系型數據庫互聯網100億臺2015新媒體、移動APP、OTO在線辦公/教育/娛樂云計算、物聯網PC機/X86服務器/局域網1億臺1990企業信息化:ERP/CRM/財務個人辦公、個人娛樂關系型數據庫、數據倉庫PC單機數據庫大型機100 個 2C/4C 實例,極限要求瞬時拉起 300 實例,支持脈沖式流量沖擊,同時不影響主業務流程方案詳情發起互動如語音跟讀RTC直播服務老師學生端發起課程對象存儲函數計算數據庫調用函數計算發起語音識別記錄結果方案對比方案對比ECS
20、+K8SECS+K8S函數計算函數計算1.需要固定保佑資源,才能滿足秒級脈沖流量,成本浪費嚴重2.維護復雜,如果峰值流量預估不準,實時彈性速度要分鐘級,造成流量有損。1.采用 4C4GB 規格,每個實例承載1020個學生并發識別。2.支持每秒 50 實例同時并發拉起,預期 5 秒內完成業務全流程。(正在和函數計算團隊 POC 驗證)vs.基于函數計算改造中:課堂蜂擁互動方案基于函數計算改造中:課堂蜂擁互動方案2.要求成本可控,使用簡單函數計算最佳實踐:異步任務全生命周期管理函數計算最佳實踐:異步任務全生命周期管理函數計算1、觸發異步調用2、返回請求ID事件源可配置如下?使用 SDK 管理?定時
21、觸發器?OSS 事件觸發器?MNS 主題觸發器異步狀態管理?函數執行中?堆積?成功、失敗?取消?重試執行可自定義異步配置?異步調用失敗重試?異步調用成功回調通知異步任務狀態管理函數計算SDK/事件源使用使用 ServerlessServerless 架構帶來的價值架構帶來的價值組件積累和復用,通過積木式搭建快速完成可行性研究和技術預演,縮短業務驗證周期,提升部署效率。技術價值跟上技術潮流,升級成高性能的架構,降低運維成本,提高技術人效。從接到需求到上線測試僅用 1 周。?架構升級架構升級?標準化模板標準化模板在業務場景具備明顯波峰和波谷特性下,使用函數計算,通過按需拉起,按量付費,提高資源利用率,減少 20%20%資源成本開支。業務價值分鐘級拉起上萬核資源,定時預熱和自動彈性徹底解決冷啟動困擾,承載了課堂錄制、全鏈路壓測和課堂互動的蜂擁場景,保障了業務波峰時的高可用?彈性高可用彈性高可用?降本增效降本增效T H A N K S!