《SAE2.0 讓容器化應用開發更簡單.pdf》由會員分享,可在線閱讀,更多相關《SAE2.0 讓容器化應用開發更簡單.pdf(27頁珍藏版)》請在三個皮匠報告上搜索。
1、SAE2.0 讓容器化應用開發更簡單隱寒(韓寅)SAE技術負責人 阿里云高級技術專家Contents目錄01Serverless領域背景02Serverless應用引擎2.003SAE客戶故事Serverless領域背景01Serverless 產生背景Spring cloudDubbo靈活易擴展運維復雜容器化助力了微服務化的落地K8s Service語言無關治理較弱任意語言的簡單應用Web ServiceJEE簡單,易運維擴展性差微服務+容器化微服務單體應用單體架構微服務架構對于不太復雜的系統,需要額外的成本來管理微服務,降低了生產力隨著復雜性的增加,生產力開始迅速下降微服務降低了系統的耦合
2、度,因此降低了生產力的衰減生產率隨著業務規模的增長,系統變的越來越復雜,單體應用無法滿足生產效率,逐步演進到微服務架構,而容器化加速了微服務化的進程。市場競爭要求每一個公司能夠快速適應市場的變化,包括新業務快速上線能力、降低基礎設施成本、高可靠性等。系統復雜性微服務轉型&容器化面臨的挑戰業務邏輯梳理,拆分環境隔離,快速調試本地變更如何做到白天流量高峰期發布運維成本高,系統診斷難大促/流量洪峰安全保障k8s 學習曲線陡峭IP變化,readiness沒打通微服務等K8s 組件運維復雜,風險高+如何通過深度用云提升研發效率和業務靈活性?Serverless 開啟上云2.0時代上云1.0如何架構改造上
3、云1.0如何平滑遷移上云2.0如何專注業務創新上云2.0如何帶來商業價值基于IaaS/CaaS的資源托管面向資源交付核心價值:資源的彈性和成本基于Serverless 理念面向業務交付核心價值:免運維和專注業務實現企業上云關注什么?企業上云關注什么?從物理機到從物理機到 ServerlessServerless,就像從買車到打網約車,就像從買車到打網約車Serverless的價值買私家汽租賃打約完全按需使用根據負載自動彈性伸縮沒有閑置成本Serverless物理機虛擬機資源占有和維護成本高承載容量固定平時大量閑置靈活租賃使用時長擴容相對麻煩閑置相對較少彈性伸縮,省事省心聚焦業務,降低Ops按需
4、付費,成本節省SAESAE:業界首款面向應用的:業界首款面向應用的ServerlessServerless PaaSPaaS,不改變應用現有開發方式,零改造平滑遷移存量應用,無感容器化和,不改變應用現有開發方式,零改造平滑遷移存量應用,無感容器化和ServerlessServerless化?;?。業界Serverless產品形態產品特點ECS+安全容器函數調度器+資源管理函數計算(FC)Serverless 應用引擎(SAE)ServerlessInfra百毫秒彈性ECI+安全容器ECIServerlessKubernetesECI容器實例Kubernetes容器編排應用函數編程模式面向函數編程
5、,基于與云產事件驅動品間集成提供端到端的解決方案,對用戶屏蔽環境、資源概念,開箱即用。面向應用/微服務,抽象了應用的概念并對用戶屏蔽底層Kubernetes的技術細節。面向容器,底層使用 ECI,標準的 Kubernetes UI 和 API 用戶界面。面向 IaaS 資源層,提供容器/Pod級別的運行環境。產品矩陣符合中國國情的 Serverless 產品類似:AWS Lambda、Google Cloud Functions,Azure Functions類似:Google CloudRun類似:AWS EKS類似:AWS Fargate、Azure ACIServerless應用引擎2.
6、002微服務“零改造”無縫遷移“零門檻”容器化,無感擁抱 K8SWeb 應用一站式托管靈活彈性提效降本業務應用微服務應用Web應用APP小程序SaaS類服務定時/xxl Job 創新應用(IOT&區塊鏈)通過 war/jar/php zip源碼包/Docker 鏡像等多種方式部署Serverless應用引擎(SAE)Serverless Infra(基于 Kubernetes 構建)阿里云沙箱容器 2.0IaaS 資源層(神龍+ECI+VPC+)Java冷啟動加速應用管理分批/金絲雀發布自動構建鏡像權限隔離/審批全套微服務治理無損上下線Spring Cloud/Dubbo 無縫遷移微服務流量灰
7、度一鍵啟停環境運維配套事件中心自動彈性伸縮端云聯調CICD集成生命周期管理服務鑒權限流降級日志&鏈路監控日志管理-注:該數據基于企業內部測試數據得出,因環境不同將有所差異。微服務無縫遷移,開箱即用微服務無縫遷移,開箱即用支持支持War/JarWar/Jar自動構建鏡像自動構建鏡像5757%降本提效降本提效多套環境按需啟停,降本且提效0 0代碼改造代碼改造百毫秒百毫秒彈性效率彈性效率應用端到端快速擴容,應對突發流量微服務/單體應用無縫遷移支持代碼包自動構建鏡像4040%啟動效率啟動效率聯合 Dragonwell 突破 Java 應用冷啟動瓶頸SAESAE定位:全托管、免運維、高彈性定位:全托管、
8、免運維、高彈性 的通用的通用PaaSPaaS平臺,支持開源微服務平臺,支持開源微服務 /單體單體Web/Web/定時任務框架,提供開源增強定時任務框架,提供開源增強&企業級特性。企業級特性。SAE 定位&競爭力SAE可以做什么公有云低門檻微服務架構轉型單體應用微服務改造、開源自建無縫遷移端到端可觀測性應用快速上云無需容器化改造、支持任何語言部署高效敏捷、TCO優化、一站式PaaS體驗一鍵啟停環境的解決方案一鍵啟停開發測試環境,釋放閑置資源提升運維效率面向大促的高可用方案精準容量、百毫秒彈性、限流降級CICD 解決方案支持開源對接、快速迭代、安全可控作為PaaS底座被集成讓上層更關注業務本身,降
9、本提效將阿里巴巴沉淀多年的安全生產實踐產品化,應用生命周期管理純白屏化操作,應用發布可灰度、可觀測、可回滾。允許人工介入控制發布流程,異常中止、一鍵回滾 發布過程可監控,白屏化實時查看發布日志和結果,及時定位 支持單批、分批、金絲雀等發布策略。支持按流量灰度、按內容灰度。批次間自動/手動任選應用托管-可灰度、可觀測、可回滾通過無損下線,有效避免服務端升級時客戶端調用報錯,實現在白天大流量發布也能絲般潤滑全套微服務治理-無損下線注冊中心感知到服務端下線客戶端感知到服務端下線服務調用報錯期客戶端視角正常服務端視角下線靜默下線注冊中心提供者A消費者A提供者B消費者B1 正常調用2 服務下線(pres
10、top)3 通知消費者4 調用其他提供者Agent主動通知Agent客戶端主動刷新AgentAgentSAE方案 VS 開源自研的優勢:1.延時更短 2.穩定性兜底 3.無需投入研發全套微服務治理-無損上線通過無損上線,避免應用尚未啟動完成就承接正常流量導致實例被打掛,通過延遲注冊和小流量預熱實現擴容時流量無損。小流量預熱K8s readiness檢查和Spring Cloud/Dubbo體系沒有打通應初始化預建連接通過readiness檢查服務注冊Redis:JedisPool 連接池創建后不會立即建連接數據庫:druid連接池異步創建連接正常流量進入流量需要緩慢增加,但Dubbo 2.7.
11、4.1以下版本存在服務預熱不生效問題Fastjson/Jetty低版本沒有開啟并行類加載JVM JIT 編譯問題引起cpu飆高日志異步化Dubbo/SC 服務需要延遲暴露預熱曲線動態調整SAE方案 VS 開源自研的優勢:1.無需投入研發 2.穩定性有保障 2.白屏化使用,體驗更簡單 3.完整的可觀測能力全套微服務治理-端到端的全鏈路灰度發布通過全鏈路灰度發布,白屏化配置規則,實現精準灰度能力,比傳統多環境部署的方案大幅降低了運維和機器成本。適用場景n調用鏈中因個別/部分應用新上線,需要精準用戶灰度驗證價值n控制最小爆炸半徑n無需重新搭建一整套新環境,降低部署運維和硬件成本n能覆蓋七層流量到四層
12、微服務接口、方法的灰度運維配套-彈性競爭力作為SAE的核心競爭力,相對傳統ECS的彈性,SAE更精準更降本;相對 K8s彈性,SAE的指標和策略更豐富,上手門檻更低。1.1.指標彈性(指標彈性(CPUCPU、MemMem、QPSQPS 、RTRT等)等)優勢:比開源優勢:比開源K8s HPA K8s HPA 指標豐富,且可以自定義指標。指標豐富,且可以自定義指標。應用實例應用實例應用實例應用實例適用于有突發流量、典型脈沖的應用場景,多用于互娛/游戲/社交平臺/電商等行業。2.2.定時彈性定時彈性優勢:操作簡單,易用。優勢:操作簡單,易用。應用實例應用實例應用實例應用實例適用于資源畫像存在周期性
13、的應用場景,多用于餐飲/出行/證券/醫療政府等行業。3.3.混合彈性(混合彈性(定時彈性定時彈性&指標彈性混用)指標彈性混用)優勢:比開源優勢:比開源K8s HPA K8s HPA 指標豐富,且可以自定義指標。指標豐富,且可以自定義指標。應用實例適用于固定時段內有突發流量、典型脈沖,常穩時段內流量波動不均的應用場景,多用于 媒體報社/在線教育/語音識別合成 等行業。應用實例應用實例應用實例常規默認值(基于CPU彈)eg:最大10,最小2應用實例應用實例應用實例應用實例應用實例應用實例特殊時間段1eg:最大30,最小15特殊時間段Neg:最大50,最小40運維配套-內置無侵入的應用可觀測能力能在
14、 SAE 上看到應用的調用關系拓撲圖、可以定位到慢 SQL、慢服務、方法的調用堆棧、進而定位到代碼級別的問題;也能查看各種維度 的 Top N 關注應用,實現 1人輕松運維成百上千個應用。運維配套-一鍵啟停開發測試環境中大型企業多套環境,內部環境長期資源浪費,使用 SAE 一鍵啟停,可以節省一部分資源成本。應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例生產環境命名空間一鍵開啟所有應用測試環境命名空間一鍵開啟所有應用應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用實例應用
15、實例應用實例生產環境命名空間一鍵開啟所有應用測試環境命名空間一鍵停止所有應用所有應用的實例均縮容到 0,不產生計費。但系統會保留應用配置信息,便于需要時一鍵秒級拉起。白天夜晚定時啟停運維配套-CICD持續集成解決方案Git pushwebhookDeployGitLab+Jenkins+SAE(WAR/JAR/鏡像)(Maven Plugin)SAE App阿里云ACR/ACREEBuild Git pushwebhookDeployGitlab+云效+SAE(WAR/JAR/鏡像)SAE App阿里云ACR/ACREE Build Code up云效2020Git pushwebhookDe
16、ployGitlab+ACR/ACREE+SAE(鏡像)SAE App阿里云ACR/ACREE 無縫對接開源無縫對接開源CICD工具方案工具方案(支持(支持war/jar/鏡像部署)鏡像部署)云上功能較完善的云上功能較完善的CICD方案方案(支持(支持war/jar/鏡像部署)鏡像部署)最輕量最輕量&易用的易用的CICD方案方案 (支持鏡像部署)(支持鏡像部署)彈性能力升級:彈性效率優化到百毫秒級,支持縮容到0。并提供閑置計費能力,無請求時CPU不計費,彈后更省。開發者體驗升級:零改造遷移,秒級創建應用,一鍵灰度。提供S2A等豐富的平臺工程能力,研發提效。適用場景升級:除支持開源微服務/XXL
17、-job、ElasticJob、Spring Task等無縫遷移外,新增支持Web應用類型,從實例托管到流量托管。業務場景單體Web微服務SaaS服務開發者平臺S2A應用模板API&CLI工具集應用平臺應用引擎流量網關日志&可觀測多環境部署智能運維成本治理計算層高密部署、異構算力彈性組件:縮容到0Serverless infraJob任務小程序SAE 2.0全新升級NewNewNewNew運維配套-基于請求的彈性能力自研流量網關,應用流量有波動或突增,根據實際流量變化自動擴縮容,做到僅在請求時分配CPU,支持縮容到0。流量網關應用實例應用實例應用實例單實例請求并發度N應用流量總并發度M實例總數
18、實例總數 M=0 不分配CPUCPU不計費 MN僅分配一個實例 MN當一個實例的并發度用完,才會擴容新的實例單體Web流量托管-多版本流量配置Web場景下多版本并存,支持靈活配置流量比例關系 限制應用實例上限,避免超出預期得成本消耗 發布出現問題,手動觸發,秒級回滾至老版本 多版本并存上線,根據實際情況分配版本流量比例 新版本灰度上線(滾動發布&金絲雀發布&藍綠發布),實時觀測新版本實例監控和日志SAE客戶故事03互娛行業-南瓜電影7天內全面Serverless化客戶簡介業務場景具有潮汐特性,業務高峰主要是晚間和節假日以及熱門影片發布,面臨快速響應和成本上的壓力。線上業務系統監控能力存在一些薄
19、弱的地方,需要端到端的整體監控,保證業務系統穩定運行。南瓜電影App是國內較早專注于影視精品化運營的垂直類視頻產品,在移動互聯網、OTT等客戶端,為用戶提供差異化內容運營服務,為用戶提供專注于精品電影電視劇的全會員制視頻App。效率提升:效率提升:屏蔽了底層資源,不必關心底層IaaS資源管理、運維細節,加速業務迭代周期。成本優化:成本優化:無需長期保有固定資源,按照實際業務量進行應用的擴縮容,做到按分鐘計費。業務穩定高效:業務穩定高效:SAE提供了很好的彈性策略,同時能夠做到秒級擴容,最大限度保證了整個集群的高可用??蛻魞r值SLB+API 網關安卓/iOS 多端云服務能力中心PolarDBMo
20、ngoODPSHBASERedisSLSESMQTTARMSADB DataVFlinkPTS 壓測工具智能推薦Kafka基礎資源SAE會員中心內容中心影評系統搜索引擎鑒權中心放映廳商城系統消息中心三方合作安全接入WAFDDOS 高防算法視頻增強DataWorks客戶需求開發運維效率提升70%成本下降40%擴容效率10倍以上Android TV/web OSiPad/Android Pad Web/Windows/MacOSH5/小程序互娛行業-愛奇藝體育 直播平臺愛奇藝體育是中國知名的體育賽事平臺,提供歐洲杯,西甲、網球、高爾夫等賽事直播、視頻、新聞等超多精彩內容。WEB-API服務用戶應用
21、活動應用流控、熔斷、系統防護AHAS應用實時監控 ARMSSAE平臺支付應用抽獎應用IM 通信應用RPC服務用戶RPC服務活動RPC服務評論彈幕應用支付RPC服務彈性伸縮管理生命周期管理Kubernetes 集群服務PolarDBSLBZookeeperOSS服務日志服務云監控視頻點播痛點問題擴容繁瑣:面對流量激增,需要臨時部署應用進行應對,流程耗時,影響用戶體驗。缺少應用級監控:運維團隊期望對線上微服務架構做到有效的監控,能及時發現、定位問題。資源利用率低:賽事帶來周期性的流量,預估不準帶來資源浪費巨大。技術價值Serverless 彈性:從容應對周期的業務洪峰,省去原來預估資源、部署應用的
22、操作,擴容效率提升40%。內置應用監控:集成ARMS監控,可以快速精準定位問題,處理速度大約提升30%。資源節?。横尫砰e置資源,整體資源利用率提升近50%。RedisMongoDB金融服務-視野數科SAE+Jenkins打造云原生DevOps客戶背景視野數科是專注服務于一級市場、公司信貨、產業規劃招商、面向多層次資本市場的大數據金融信息服務商。深度理解大型銀行/金融機構/政府/企業集團等用戶對于數據的需求,為容戶呈現專業加工后的數據,提供企業/產業/財務數據整合、數據加工處理、數據中臺、系統開發和大數據模型分析咨詢服務的一整套解決方案。業務痛點l開發迭代效率慢:單體煙囪式架構,代碼耜合度高,開
23、發效率慢。l上線流程復雜,成本高:使用SVN代碼管理 人工部署,缺少規范化DevOps流程,每次上線前都要在灰度環境來回折騰2030次數據校驗,頻繁發版測試,開發和運維幸福感差。l容器化自建成本高:嘗試過ECS+Docker方案,但Docker Daemon升級、鏡像registry管理、配置管理、調度打散等均需要自維護/研發。l容量預估無法自動化:每次容戶側有營銷活動/重要事件(如新華財經金融排名等),需提前一周告知視野數科備容ECS,存在備容不準風險和閑置浪費問題。用戶價值l標準化部署流程,降低運維成本:借助SAE,開發自助完成CICD,提升發版效率。運維人員得到徹底解放,從重復繁雜的垂直
24、業務上線事務中抽離出來,專注于橫向高可用體系和監控平臺的建設,運維效率提升60%。l低門檻微服務架構轉型:將業務拆成微服務之后,無需關心微服務周邊配套和穩定性容文,SAE提供了開箱即用的歷經雙11考驗的全套微服務治理能力。l無需容量規劃,秒級擴容:借助SAE靈活多樣的彈性策略,視野數科再也無需提前備容,營銷活動峰值時秒級自動擴容,峰谷時回收資源降本。l無感擁抱K8s,查看日志更方便:借助SAE零門檻容器化,沿用原有部署方式管理應用。不用再care堡壘機權限、機器賬號密碼等,直接通過SAE+SLS方便查看日志。SAE實例SAE實例應用監控為服務增強JenkinsCICD生產灰度Severless 應用引擎(SAE)自動擴縮系統日志定時彈性指標彈性綜合彈性K8s&laasSAE實例SAE實例提交代碼質檢開發THANKS