《云原生專場-最終版0724(167頁).pdf》由會員分享,可在線閱讀,更多相關《云原生專場-最終版0724(167頁).pdf(167頁珍藏版)》請在三個皮匠報告上搜索。
1、張瓅玶阿里云智能研究員阿里云智能研究員云原生的思考與觀察云上開發新時代,codecode up!up!容器化應用與運行環境解耦構建、分發的標準編排調度資源管理與基礎設施解耦工作負載交付、運維的標準云原生分布式、服務治理、應用負載應用架構現代化演進的標準應用負載服務治理基礎架構IstioKubernetes容器無處不在K8s正當時云原生未來可期新范型新邊界新應用形成云時代三個標準云原生帶來用戶價值更可靠和可擴展的分布式應用統一容器編排帶來更好的資源利用率和效率標準化無供應商鎖定持續集成和發布更快的應用迭代和創新Kruise 作業管理Kubeflow/Arena AIArgo pipeline 共
2、建全方位貢獻開源,致力成為云原生標準制定者和引領者之一云原生技術與應用領先者作業管理應用定義與鏡像構建Helm 中國站(App Hub)應用 YAML 托管云原生應用管理工具Streaming&Messaging云原生 RocketMQKubernete 核心上游投入Kubernetes 多租戶插件Kubernetes 阿里云集成GPU Sharing 共享調度調度編排元信息存儲etcd+etcd operator服務發現與RPCDubboNacosService Mesh+GatewayEnvoy 增強插件TengineIstio 上游共建CI/CD云原生持續交付(CD)插件容器運行時Con
3、tainerd 核心上游投入PouchContainer工具ChaosBladeDragonfly無服務框架X Run Serverless 框架Virtual Kubelet多云Kubernetes 多云插件CNI TerwayCSICluster AutoScalerCluster APIAlibaba Cloud controller manager安全集成 RAM AuthenticatorKMS plugin云集成2015201620172018 1 M 100 K 100 K阿里巴巴容器規模 1 M2016年全面Pouch容器化2017年實現Sigma統一調度,擁抱K8s2018年
4、實現大規?;觳亢痛鎯τ嬎惴蛛x雙11 IT成本下降75%,日常IT成本下降30%容器規模超百萬,70%在阿里云上兩年內完成以云原生的方式上云阿里巴巴成為業界最大的云原生應用業界最大規模的云原生應用實踐唯一進入 Gartner 2019公有云容器服務競爭格局的國內云廠商國內最豐富的云原生產品體系可觀察性和分析應用實時監控ARMS應用高可用服務鏈路追蹤日志服務容器編排公共云專有云邊緣云消息隊列 MQAPI 網關云原生數據庫 POLARDB機器學習平臺 PAICloud Shell/云IDE持續集成云效Serverless面向容器ServerlessKubernetes面向應用EDAS Serverl
5、ess面向函數Function Computing分布式應用數據&智能DevOps容器服務ACK容器鏡像服務 ACRIstio/Knative支持實時計算限流降級資源編配全面使用云服務構建軟件系統的時代已經到來云原生幫助企業最大化利用云的能力,最大化發揮云的價值阿里云致力于幫助客戶做好面向云原生的技術升級謝謝!王夕寧阿里云智能高級技術專家阿里云智能高級技術專家孫健波阿里云智能技術專家阿里云智能技術專家多云與混合云場景下應用管理實踐151.容器與K8s已成為混合云多云標準化的基石2.阿里云ACK容器混合云多云解決方案 統一的K8s多集群管理 統一的K8s應用部署與服務管理3.Demo演示目錄Cl
6、oud Broker+AutomationKubernetes 基礎設施能力、安全架構的差異造成企業IT架構和運維體系的不統一 應用為中心 應用抽象 彈性、敏捷、可移植性 跨云管理 集群聯邦 服務網格AppAppAppApp滿足安全合規的要求提升業務敏捷性提升地域覆蓋性構建混合云多云已經成為常態16App17容器提供了統一的分發方式基于容器化構建混合云多云已經成為趨勢Kubernetes提供了標準化的應用部署與生命周期管理能力18IDC云突發IDC云容災異地多活IDC集群聯邦流量管理集群聯邦流量管理典型容器混合云多云場景訴求線下彈線上19阿里云ACK容器混合云多云解決方案統一的多集群管理 跨云
7、與IDC環境管理K8s集群和工作負載 允許連接用戶已有K8s集群(無需公有IP訪問)一致的運維管理控制臺界面統一的集群資源池管理 集群間網絡打通,線下資源不足時彈出線上資源 多個K8s集群聯邦 統一線上線下應用調度管理統一的工作負載管理 通過Istio切換不同集群之間的流量 支持服務就近訪問、地域親和性 將服務請求故障轉移到健康檢查正常的地域基礎設施阿里云ACK集群ACK敏捷版K8s集群用戶自建K8s集群其他公有云K8s集群20阿里云ACK容器混合云多云產品架構接入AgentIstio&KubefedACK公有云K8s集群接入AgentIstio&KubefedACK敏捷版K8s集群接入Age
8、ntIstio&KubefedIDC自建K8s集群、其他公有云集群聯邦接入Stub備份、恢復配置管理統一的K8s多集群管理發布策略彈性策略多集群Ingress多集群DNS跨集群路由流量管理統一用戶體驗地域親和性統一的K8s應用部署與服務管理21計算CPU/GPU容器網絡Flanne/Calico/Terway容器存儲Local Volume,NFS,OSS/Minio應用市場容器化應用應用目錄服務目錄可觀察能力VMwareOpenstack一體機邊緣IAAS對接容器運行時Docker/containerd/安全容器OS支持CentOS/Red Hat/SUSE/Aliyun Linux2/Wi
9、ndows其他IAAS日志鏈路跟蹤監控、告警多集群管理多云&混合云集群彈性集群升級多云&混合云集群運維安全&合規等級保護策略管理操作審計高可用容災備份斷電恢復Kubernetes 核心和擴展機制Service MeshKnative云原生AI邊緣自治企業級容器平臺阿里云容器服務敏捷PaaS22統一的集群接入方式23ACK敏捷版K8s集群ACK公有云K8s集群其他公有云或自建K8s集群installinstallkubefedctlkubefedctlkubectlkubectlKubeFed Control Plane主集群成員集群成員集群跨集群調度SchedulingPreference C
10、ontroller跨集群同步KubeFedController跨集群ServiceDNS Controller跨集群IngressDNS Controller基于KubeFed統一管理Kubernetes資源External DNS阿里云智能DNS服務24 服務就近訪問,支持地域親和能力 服務請求故障自動轉移基于Istio統一管理跨集群服務2627面向多云的應用管理(敬請期待)https:/ need 5 replicas formy application This applicationshould update to a newversionImperative:Create 3 mor
11、e containers Delete container named xxx Upgrade this container with new image One node has broken,we should deletethose containers on it and createthem in other placesAutomationAutomation!Stability!Stability!Efficiency!Efficiency!運維升級的益處云原生改造成果App managementResource utilizationStorage strategyCooper
12、ate with developersall over the worldCo-location by unified schedulerCloud Native App MgmtData in persistentvolumeStandard+Open+Keepupdating with upstreamK8s 1.10-1.12-1.14 云原生應用管理理念云原生應用管理理念原地升級Sidecar容器管理1.Hard to manage when there are lotsof applications and workloads2.Application developers dont
13、 knowwhich sidecar to use3.How to update sidecar in too manyworkloads Defined in app workloads1.Define sidecars alone,part fromapplication workloads2.Application developers have not tocare about sidecars3.Update sidecar containers in-place,no effect on applications Injected by SidecarSet When we hav
14、e thousands sidecars,well need:A SidecarSet CRD:Describe all sidecars need to be operated A SidecarOperator:1.Inject sidecar containers to selected Pods2.Upgrade sidecar containers following rollout policy when SidecarSet is updated3.Delete sidecar containers when SidecarSet is deletedSidecar容器注入Sid
15、ecar容器管理能力Advanced StatefulsetAdvancedStatefulSet MaxUnavailableImprove speed of updating.(For a StatefulSet with 500 Pods and updatein 10 batches,this may accelerate 50times.)InPlaceUpdateUpdate Pods without recreate.Avoid Pods reschedule and reshuffleReadinessGate ensures Pods stay NotReadyduring
16、updating.More features coming soonBroadcastJob A blend of DaemonSet and Job Run pods on all machines exactly onceUse case:software upgrade,node validator,node labeler etcBroadcast Jobhttps:/ what have extremely helped us move to CloudNative謝謝!王建中杭州聯華華商集團技術總監杭州聯華華商集團技術總監杭州聯華借助函數計算和表格存儲快速數字化轉型大型商超的云原生
17、數字化轉型大賣場/精品綜、標超加盟三里家園店萬家花城店三寶西路店三塘菊園店東港嘉苑店彩虹店華商店延安南路店水晶城店東山店三唐店豐慶路店和家園店運河店和平店慶春店大關店中聯店大華店三墩店中河店鳳起店聯華原信息管理平臺:EIMP數據中心DC主數據管理MDM財務管理FM銷售管理SM電子商務EC客戶管理CRM供應鏈管理SCM綜合辦公平臺EOP客戶的管理&運營門店的管理和營運商品的管理&配送品類規劃供應鏈優化陳列優化業績達成銷售表現客戶價值提升客戶生命周期客戶運營觸達配送管理商品汰換信息系統整體架構信息系統整體架構系統分散數據孤島技術棧差異面臨的突出問題面臨的突出問題跟不上業務發展跟不上業務發展市場變化
18、業務需求公司轉型相關系相關系統多統多毫秒級毫秒級響應響應高并發高并發高穩定高穩定PMSPMS營銷中心營銷中心打通營銷業務預算、策劃、執行、跟蹤、決算一體化同時支持線上和線下交易的高并發、高穩定的促銷計算營銷中心營銷中心PMSPMS聯華原信息管理平臺:EIMP客戶的管理&運營門店的管理和營運商品的管理&配送品類規劃供應鏈優化數據實時匯集數據實時匯集OTSOTS函數計算D T SD T S實時讀取實時讀取PMSPMS營促銷系統營促銷系統通過DTS工具,將目前線下孤立的數據庫打通,不影響原有業務的情況下,實現秒級的實時同步到OTS中DTSDTS數據數據同步同步塊存儲傳統開發方式傳統開發方式Serve
19、rlessServerless 開發方式開發方式函數計算函數計算-工程效率工程效率塊存儲POSPOS自助收銀自助收銀鯨選鯨選APIAPI網關網關PMSPMSOTSOTS大數據分析大數據分析MaxcomputeMaxcompute函數計算函數計算訪問全鏈路訪問全鏈路高并發低延遲低成本海量數據增量處理分析結果回流分析結果回流并發數并發數平均平均TPSTPS響應時間(響應時間(ms)ms)500591.431141.391000676.511789.5性能無限伸縮性能無限伸縮5001000安全不留死角安全不留死角訪問控制操作審計數據安全網絡安全運行時安全請求進行身份認證,任何云資源操作需經用戶顯式授
20、權系統記錄所有服務/函數的變更操戶代碼以及環境變量等敏感數據加密存儲防止3/7層 DDoS攻擊,嚴格的網絡訪問限制和 ECS 相同級別的隔離強度,周期性重置運行環境,及時應用安全補丁成本絕不浪費成本絕不浪費按月預付粗粒度彈性使用資源函數計算3 3個月個月項目周期減半項目周期減半VSVS6 6個月個月各系統溝通50%PMS開發50%各方全動員后期維護時間無期項目進度可控項目人員減少項目可復制性強阿里云開發者社區掃碼加入社群與志同道合的碼友一起Code UpCode Up謝謝!郝樹偉阿里云智能高級工程師阿里云智能高級工程師云原生化的遷云實戰CONTENT阿里云容器服務簡介整體遷云方案設計應用改造與
21、優化典型案例阿里云容器服務優勢在支持標準kubernetes的基礎上,ACK(阿里云容器Kubernetes服務)提供了更多與用戶息息相關的能力提升彈性可靠IaaS可靠、穩定的IaaS最大的彈性化與低廉成本全球化接入容器安全與信任安全架構與修復強大阿里云安全支撐最佳容器實踐海量用戶經驗總結阿里云深度整合,雙11驗證創新與生態云原生與阿里體系融合Serverless創新與神龍裸金屬加持阿里云容器服務-ACK主要優勢點對比點成本彈性IaaS高度融合實踐經驗性能與優化阿里云ACK自建K8S免費master托管+專業服務Master資源費+研發與運維投入HPA,Autoscaler,Serverles
22、s AddonHPA自動對接SLB/VPC/云存儲/SLS自建對接海量客戶驗證+阿里雙11驗證自己摸索神龍裸金屬+Terway網絡提升自建網絡損耗30%安全與加固快速安全響應和修復+一鍵升級延遲+人工修復開服地域容器服務ACK與阿里云的所有region保持一致,只要有阿里云的地方就有容器服務ACK美西美東歐洲中東日本新加坡吉隆坡雅加達澳大利亞香港華東華北華南CONTENT阿里云容器服務優勢整體遷云方案設計應用改造與優化典型案例數據搬遷監控切換日志切換集群規劃流量切換/并網基礎架構安全鏡像安全K8S應用安全管理容器鏡像優化應用適配優化應用層監控APM基礎設施監控容器CaaS層監控集群自動伸縮虛擬
23、節點優化鏡像遷移數據庫遷移配置/密鑰遷移存儲數據遷移Yaml改造服務接入方式變更應用yaml導出鏡像地址變更存儲方式變更容量規劃網絡規劃機器選型安全防護提升應用優化監控切換運維自動化增強SLS代替開源/自建方案日志切換數據遷移應用改造生產流量切換集群規劃CICD遷云到阿里云遷云到阿里云KubernetesKubernetes服務服務交付應用面控制面商業面規劃成本評估可用性規劃平臺層安全治理模型計算、存儲能力新建K8s集群應用配置管理應用運維資源運營性能和穩定性監控自服務運維遷移K8s集群網絡聯通、隔離評估成本優化集群擴縮容應用配置安全治理網絡規劃云服務價值定位TCO優化場景優化集群升級核心關注
24、:穩定、成本、效率階段角色業務架構師IT架構師系統管理員應用管理員應用管理員系統管理員企業容器化生命周期模型高可用配置容量規劃數據遷移、準備Day 0 Day 1 Day 2 壓測、混沌工程發布策略安全審計性能調優CI/CD流程備份、修復成本核算資產管理全站遷云架構思路遷云整體遷移平滑遷移多集群混合組網單集群混合組網數據搬遷網絡互通流量切割流量分配資源分配已有自建K8s 容器集群云端或IDC企業應用阿里云鏡像服務遷移工具容器鏡像、配置容器化應用遷移工具、服務阿里云容器集群阿里云彈性基礎設施計算、存儲、網絡、安全遷移彈性資源伸縮全球化部署運維自動化運維安全軟件供應鏈自動化故障恢復企業級安全多云、
25、混合云管理TCO優化管理提升系統高可用容器化整體遷云整體化監控敏捷高效集成DevOps阿里云優化整合灰度發布容器化整體遷云KubernetesAPI ServerEtcdVeleroBackup Controller with Aliyun supportImage Sync Tool自建 DockerRegistryOS Image MigrationToolECS自定義鏡像自動化配置同步策略阿里云鏡像服務企業版OSSVelero配置、數據阿里云容器集群遷移工具創建自定義鏡像pushsyncbackuprestoreRAM用戶管理權限配置用戶IDC數據搬遷-可靠遷移是關鍵數據庫數據庫文件文件
26、/對象存儲對象存儲容器鏡像容器鏡像YAMLYAML存儲數據ConfigmapConfigmapSecretSecretK8SK8S數據對象/文件存儲數據遷移數據在線遷移服務DOMSDOMS遷移工具OSSimport/SDKOSSimport/SDK離線海量數據遷移閃電立方容器遷云-平滑遷移鏡像數據快速導入云企業網支持跨IDC容器/主機互聯DTS實時數據復制智能DNS配合支持流量切割DMOS配合存儲數據遷移K8S配置數據一鍵導入日志、監控、安全無縫對接/切換靜態遷移流量遷移快捷性安全性并行性整體K8S搬站Configmap/SecretDeploymentPODPODPODServiceIngr
27、ess自建K8SDeploymentPODPODPODServiceIngress阿里云新建K8SMysqlData FileImageDTSDOMSISTnas文件存儲oss對象存儲RDS云數據庫POLARDB鏡像倉庫阿里云智能DNS數據遷移交付服務流量割接搬站交付服務配置遷移YAML重建對象Active-Active 部署CONTENT阿里云容器服務優勢搬站方案設計應用改造與優化典型案例應用改造應用優化遺留系統容器化遷移利用Istio Mesh Expansion逐漸實現云原生改造和遷移應用容器化遷移應用容器化遷移網絡環境依賴遷移數據遷移Convert to Docker ImageSta
28、rtCapture VM imageBackup VolumeCapture Network ConfigCustom Docker image(optional)Generate PVGenerate StatefulSetGenerate Virtual ServiceDeploy to K8sEndPush to registryRestore Volume on CloudCONTENT阿里云容器服務優勢搬站方案設計應用改造與優化典型案例云原生化遷云一體化管理DIY阿里云智能遷移工具專業服務一體化監控一體化安全一體化運維一體化優化資源成本優化運維成本優化開發成本優化安全成本優化開發效率
29、提升利用率/性能提升彈性提升高可用/容錯提升案例:多云多地域部署支持全球用戶應用將會同時服務來自亞洲、美洲、歐洲、澳洲等各地域的用戶,對用戶體驗有相當高的要求.目前團隊規模有限,需要比較成熟又簡單易用的微服務治理方案,最好能與K8S深度集成.當前應用全鏈路:Client=Frontend=BFF=Cache=Service=DB(注:BFF stands for Backend For Frontend)典型案例為客戶提供全方位支持,讓客戶聚焦業務創新ACK案例案例1 1大規格ECS高性能網絡插件支持支撐高并發彈性擴展案例案例6 6小程序搬站客戶;業務全部容器化支撐客戶快速迭代案例案例5 5線
30、上與線下資源統一調度IT、算法與業務的高度融合數據分析與交付不再成為業務發展的瓶頸案例案例4 4AWS搬站客戶大規模GPU機型使用提供深度學習解決方案案例案例2 2針對不同工作負載,優化異構資源調度提供AI應用全生命周期管理支撐4億用戶愉快吃瓜案例案例3 3從IDC K8S遷移到阿里云ACK大規模使用ACK大規格神龍服務器使用需求謝謝!簡志阿里云智能資深技術專家阿里云智能資深技術專家基于AIOpsAIOps的探索和實踐AIOps 能帶來什么?無人駕駛VS智能安全+運維管控平臺增加IT系統安全+穩定性+可用性減少人力+硬件投入提升整體效率增強公路安全減少車禍發生緩解交通擁堵+停車難問題減少空氣污
31、染DockerServerlessCI/CD自動化測試更快的發布沒有故障快速恢復無安全問題快速分析更低的風險VS飛天研發史:人與機器斗爭史工具時代大量監控工具Portal進行集成202產品服務時代產品服務標準化接入SLA同一套方法論4005邁向智能化數據驅動算力加速2.4W10DevOps 多重角色開發開始:100%研發開發中:50%研發50%測試上線中:60%運維40%運營上線后:30%運維40%運營30%安全匯總、生成故障初步結果 數據采集+清洗 建模與規則 研發、運維、運營的挑戰LogsRule EngineEvent安全場景:安全事件管理/運營AlarmUser ClickMetric
32、Dashboard運營場景:活動跟蹤與留存過濾統計ReportMetric監控場景:監控線上業務負載,并進行告警DashboardRule EngineAlarm觀測源處理操作LogsRule EngineDashboardAlarm日志分析場景:Access Log中突發錯誤定位對結果進行Drill Down、Refine模型海恩法則(Heinrichs Law)指出:每一起嚴重事故背后,必然有29次輕微事故和300起未遂先兆以及1000起事故隱患??捎^察性的挑戰3.Compute1.Collection4.Visualization2.Pub-Sub5.Action99%3 Second?
33、1.1.更快的響應更快的響應原始數據不同維度聚合2.2.更多的視角更多的視角秒級延時分鐘級延時3.3.深入的細節深入的細節統一的數據模型,通用架構,面向分析類的設計配置變更文件監控用戶點擊訪問日志數據源移動端物聯網容器上下文Context Lookup實時 tail-fLive Tail智能聚類Log Reduce智能預測+診斷Machine Learning查詢分析Search/Analytics查詢分析交互式可視分析告警通知Webhook第三方:Grafana,DataV,Tableau可視化TracingLoggingMetricSec、Dev、Ops 解決問題思路觀察定位搜集查詢交互式
34、查詢上下文聚類建模預測Knowledge BaseRoot Cause Analysis判斷查找:查找:GrepGrep大法好大法好tracingtracingmatchmatchpgmpgm常見三種形態通用問題2:上下文是什么來源區分最小粒度單機日志文件IP+文件K8S StdoutContainer+POD+Namespace+StdoutK8S FileContainer+POD+Namespace+FileDocker+文件嵌入式SDK線程LogBack/Log4J線程上下文:發現問題后,可能引起問題的前置條件 或 后置結果通用問題2:上下文的實現服務端亂序存儲123412341234
35、12341234123423命中日志同一個Thread,維護單調遞增ID根據遞增序號找到下一個包查詢(80%)結果分析(20%)通用問題3:SQL分析監控場景下:流計算與交互式分析差別分析:實時查詢、SQL計算、定時任務(告警)可視化:儀表盤(動態、交互、深鉆)ComputeVisualizationStorageStorageIngestionExplorationAlarmsave as alarmdrill downVisualization一天數據10個維度,需要對其中6個維度進行統計:IP、Method、Bucket、Host、URL、Ref 計算 Latency、QPS、Throu
36、ghput查詢頻率一般高維數據,進行預計算代價+靈活性通用問題4:聚類Error 日志有幾千條,重要信息被淹沒幾十個實例,其中有1-2個不正常,如何排查?超時SQL,有哪些形態?文本排除法grep v cond1|grep-v cond2|grep vcond3|grep v cond4|grep v 均值/最大值排除法按平均值排序,找到不符合分布的實例通用問題4:聚類(時序聚類)通用問題5:異常發現1.方法1(同比、環比函數)2.零售日歷問題節假日、周末會比工作日帶來60%以上營收。因此每個月進行預測時,往往會隨著月的大小周(例如5個周末vs 4個周末)造成比較大的偏差。通用問題5:異常發現
37、(時序建模)1.時序建模2.模型檢測通用問題6:根因分析工程師的猜疑鏈:一個網站流量由很多因素構成,例如服務器、機房、地域、服務接口等。對網站總流量而言,當有陡升陡降時,往往需要快速定位原因?例如流量下跌7%因為用戶側、網絡側、還是服務器機房引起的?如果是用戶側的問題究竟是某個省市的突然斷流了?或者是某個省市的運營商突然中斷?通用問題6:根因分析(關聯規則)統計方法:關聯規則統計方法:帶對比的關聯規則通用問題6:根因分析-引入時序維度(預測與偏差)原始數據分為多個維度(Dimension)+維度下屬性(Attribute),要解決一個搜索+組合問題。例如Province維度下有Beijing、
38、Shanghai等地域,ISP維度下有Unicom(聯通)、Mobile(移動)等運營商。算法需要找到一組集合,最能反映出直接引起匯總KPI的異常關聯性通用問題6:根因分析-Demo通用問題7:領域建模與本體構建SLBECSECSECSPodPodAppVPC1監控數據Logging/Metric/Tracing應用網絡探測AHAS變更系統 IP/Host提取 日志解析加工OpenAPICMDB靜態數據抽取 API導入 CMDB打通知識推理 通過規則建立聯系存儲/表示 關系表示 語義實體1.故障搜索1.故障搜索(定位根因)2.VPC 是否需要擴容3.XX做了多少變更2.問答(ChatOps)趨
39、勢預測 斷層識別 智能基線 周期發現 序列分解異常發現 自動學習 趨勢預警智能聚類 時序聚類 日志(事件)聚類根因推導 KPI定位 頻繁模式 差異模式成本費用中心賬單預測ECS庫存調度云管平臺AIOps多云管理安全異常入侵檢測AIOps 算法落地場景:謝謝!黃玉奇阿里云智能高級技術專家阿里云智能高級技術專家吳龍輝阿里云智能技術專家阿里云智能技術專家基于邊緣容器的阿里云CDNCDN云原生實踐邊緣計算及阿里云容器服務邊緣容器介紹阿里云邊緣容器助力打造“云邊端一體化”邊緣計算基礎設施邊緣云計算-“云邊端一體”“云”中心云,又稱傳統云計算。管控端,全網算力統一管理與調度,與邊緣協同?!斑呂挥谶吘壴朴嬎?/p>
40、中的邊側??拷O備和數據源的計算資源,用于部署邊緣側應用??赡苁窃茝S商也可能是用戶自己的邊緣節點?!岸恕蔽挥谶吘壴朴嬎阒械亩藗?,即設備端。跟據 Gartner 的報告,到2020年全球連接到網絡的設備將達到約208億臺。123Cloud“大帶寬、低時延、大連接”邊緣云計算是基于云計算技術的核心和邊緣計算的能力,構筑在邊緣基礎設施之上的云計算平臺邊緣云五要素5.5.標準化統一且開放的服務接口。1.1.低時延邊緣云計算可就近提供網絡覆蓋、數據存儲和計算能力,設備數據的產生和計算可低時延就近處理.3.3.資源管理云端管控可靈活調度邊緣應用運行在指定邊緣側。4.4.安全性網絡安全、數據安全、租戶隔離、
41、安全容器。2.2.邊緣自治在中心云端管控網絡斷連的情況下,邊緣節點可實現自治理,保證邊緣側應用的正常運行。云-邊-端 一體化協同基礎設施Infrastructure EdgeE.g.CDN,ENSDevice EdgeE.g.工廠、園區、樓宇、機場、設備網關CloudEdgeDevice云端統一管控邊緣適度自制設備就近接入支持多種設備接入協議AI預測實時計算直播、轉碼5G5G開啟萬物智聯時代提供從云-邊-端統一的應用管理和運維體驗支持不同系統架構和網絡狀況下,應用的分發和生命周期管理支持面向邊緣、設備優化的訪問協議、同步機制、安全增強+ACK Managed Kubernetes服務集成鏡像服
42、務彈性日志、監控智能運維IOT/CDN PaaSEndUser二方云產品管控通道創新業務支撐編排FaaSCI/CDAI影像處理邊緣FaaS邊緣智能IoT流分析ENS自有計算資源Edge Cluster InstanceManaged ClusterInstanceServerless ClusterInstance資源接入cloud edge應用管理資源管理安全serverless游戲行業視頻行業邊緣網絡成本IOT行業.數據庫機器學習.服務接入、集成邊緣serverless應用市場服務接入K8s API異構計算資源接入.資源調度應用管理.Edge Container邊緣安全性邊緣效率邊緣可靠性
43、邊緣成本視頻提供方視頻用戶在線教育視頻會議天津聯通ENSdocker業務應用ENSdocker上海移動ENSdocker業務應用ENSdocker工廠集群VMdocker邊緣應用BMdocker智慧園區VMdocker邊緣應用BMdocker阿里云容器服務 EdgeACK價值為EndUser提供云原生的邊緣計算能力;為有邊緣輸出需求的二方云產品,提供標準、高效的下沉通道;產品形態被集成的IOT PaaS、CDN PaaS底座;Edge-k8s 托管服務;二方云產品服務邊緣市場;核心競爭力在ACK產品技術體系基礎之上,以云原生的方式提供邊緣計算力,“云-邊”一體;邊緣容器安全性,多租,安全容器;
44、在弱網絡連接狀態下邊緣節點的自治;將 AI 和數據分析部署到邊緣;Edge-unit-1EdgeCloud(ACK Managed K8s)內網SLBAZ-aAZ-bAZ-cK8s Master PodK8s Master PodK8s Master PodAdmin node(ECS)日志控制器Helm/TillerMetricServerEdge nodeEdgeHubEdgeHubkubeletkubeletkubeproxykubeproxyflannelflannelEdge nodeEdgeHubEdgeHubkubeletkubeletkubeproxykubeproxyflan
45、nelflannelEdge-unit-2Edge nodeEdgeHubEdgeHubkubeletkubeletkubeproxykubeproxyflannelflannelPodPodPodPodPodPodEdgeTunnelServerEdgeTunnelEdgeTunnel公網EIP節點證書離線數據節點證書離線數據節點證書離線數據邊緣資源控制器EdgeTunnelEdgeTunnelEdgeTunnelEdgeTunnel設計原則:設計原則:標準化 No overhead 邊緣高可用 一致體驗方案要點:方案要點:云管邊架構;邊緣自治;Edge unit;云邊雙向通道;邊緣節點:支
46、持ENS和用戶自有節點;獨占集群,解決多租問題;EdgeACK 整體架構nodeEdge-HubEdge Kubernetes MasterKubelet證書數據Kube-proxyFlannelCloudEdgeHttpsHttpPodPauseeth0Bridge(cni0)Flannel.1(eth0)Route (Dst:subnet,iface:flannel.1)ARP:22:82:65:ad:8e:92 flannel.1PodPauseeth0FDB:22:82:65:ad:8e:92 dev flannel.1 dst 192.168.0.98DNSnodeEdge-HubK
47、ubelet證書數據Kube-proxyFlannelHttpPodPauseeth0Bridge(cni0)Flannel.1(eth0)Route/ARPPodPauseeth0FDBDNSservicevxlan(UDP)EdgeACK 邊緣自治能力背景:背景:Kubernetes IoT/Edge WG組織的一個調查顯示,30%的用戶希望在邊緣部署完整的Kubernetes集群,而70%的用戶希望在云端部署Kubernetes的管理面并且在邊緣節點上只部署Kubernetes的agent目標:目標:云邊斷網時,保障邊緣業務連續性方案:方案:Edge-hub緩存云端的數據,所有系統組件均
48、從Edge-hub獲取數據 業務容器重啟,Pod IP保持不變 宿主機重啟時,flannel vtep的MAC地址保持不變Edge KubernetesCloud驅逐策略調度策略EdgeUnit發布策略Edge邊緣自治斷網服務保持Pod ip保留服務自動恢復mac保持節點ENS自有節點LinuxWindowsDevices網絡云邊雙向通道DNS下沉Networkpolicy智能DNSIngress安全監控日志LB存儲云盤(ENS)三方存儲(IoT)本地盤EdgeACK 能力規劃掃臉娃娃機掃臉娃娃機云端邊緣托管集群云端邊緣托管集群智慧停車智慧停車多屏管理多屏管理物業管理物業管理導購導購客流客流千
49、人千面千人千面ConnectorConnectorSystemSystemRuleRuleEurekaEurekaConnectorConnectorSystemSystemRuleRuleEurekaEurekamoxamoxa電表電表指紋門禁指紋門禁速通門速通門N4N4設備設備余位顯示屏余位顯示屏車位檢測器車位檢測器路政設施路政設施環境傳感器環境傳感器停車小票機停車小票機客流量傳感客流量傳感客群識別客群識別特征攝像頭特征攝像頭地磁車位檢測地磁車位檢測超聲車位檢測超聲車位檢測人臉門禁人臉門禁道閘機道閘機導購屏導購屏邊緣節點(邊緣節點(EdgeUnitEdgeUnit)親橙里親橙里娃娃機娃娃機
50、IoTIoT邊緣邊緣PaaSPaaS管控管控云管控邊緣節點端設備云管控 云邊一致的云原生DevOps;邊緣算力、邊緣應用統一編排、調度;標準k8s接口;邊緣端 邊緣節點接入 邊緣節點自治、網絡自治;邊緣業務高可用保障;EdgeACK 落地案例 IoT智慧樓宇阿里云CDN的邊緣容器實踐基于邊緣容器打造阿里云CDN邊緣計算架構阿里云阿里云CDNCDN覆蓋全球覆蓋全球 六大洲六大洲,7070多多個國家,個國家,2500+2500+全球節點全球節點國內國內2000+2000+、海外、海外500+500+節點;全網帶寬輸出能力為節點;全網帶寬輸出能力為120Tbps120Tbps基礎設施窄帶高清邊緣計算
51、能力DCDNSCDN實時音視頻通信智能調度轉碼服務多端SDK安全機制FRUC技術云端剪輯視頻采集視頻審核HTTPS日志管理DDoS清洗動靜分離精準控流SLA保障弱網對抗算法全鏈路災備DRM云導播臺畫質增強定制化模型訓練智能媒資管理視頻會議移動視頻SDK視頻智能生產加工智能視頻信息分析系統VR直播互動直播大型體育/電競/綜藝直播8K直播互動課堂視頻DNA智能視覺 模型訓練視頻安全平臺技術行業應用CDN鏈路質量系統調度系統CDN邊緣節點源站媒體處理中心鏈路探測路由選擇協議壓縮協議優化策略中心HTTPDNSDNS302調度直播點播下載動態實時音視頻L1L2LnLnL2L2L1L1L1云中心端用戶CD
52、N本身就是天生的分布式邊緣計算平臺Apsara Edge Stack技術體系城市大腦視頻業務在線教育場館互動客戶合作伙伴阿里云虛擬化組件及系統(計算,網絡,存儲,安全)生態構建算力資源頭部ENS基于體驗的邊緣計算分發調度PaaS平臺vCDN視頻AIRTC其他微服務平臺服務腰部底座標準化的邊緣機房及硬件設施Apsara Edge Stack技術體系技術發展:技術發展:CDN正在從以內容分發服務為主轉變為邊緣計算。阿里云ENS就是基于CDN的邊緣節點服務,提供分布式算力資源。業務形態業務形態:CDN傳統業務 可編程CDN 視頻云 ENS邊緣計算IDC城市Edge PaaSEdgeKubernete
53、sEdgeKubernetesEdgeKubernetesEdgeKubernetesIDC城市IDC城市IDC城市IDC城市IDC城市IDC城市IDC城市IDC城市CDN節點廣州電信物理機物理機容器容器ENS節點廈門電信物理機物理機容器容器vCDN節點深圳移動物理機物理機容器容器多地域管理全局資源調度易構資源接入基于Edge Kubernetes資源調度 CDN/ENS資源整合和調度 多地域管理+集群邦聯 全局資源調度+資源彈性基于Edge Kuberentes的中臺管控PaaS全局資源調度Edge KubernetesKubeletKubelet數據通道POD監控/日志中心數據采集監控/告
54、警日志/計費全球鏡像分發IDC內容管理內容管理AgentAgentRegistry MirrorRegistry Mirror宿主機PouchdPouchdAppStore包管理鏡像管理配置中心管控服務管控服務CDN內容管理IDC阿里云控制臺內部控制臺 數據管控 鏡像通道 管控通道IDCIDCCDN邊緣節點架構升級統一接入層/協議網關ServiceMesh點播CDN業務平臺直播動態加速PCDN可編程CDNOpenAPI函數計算容器服務創新服務中臺流量調度緩存安全容器資源調度虛擬網絡數據存儲物理機ENSMEC定制硬件CDN基礎能力邊緣計算基礎能力基礎設施 容器化 API化 服務化Edge ACK
55、邊緣鏡像邊緣網格邊緣運維邊緣覆蓋網絡邊緣管控網關IDCkubletApp合作節點共享節點容器App控制臺OpenAPI招募合作自建邊緣管控網關kubletApp容器App邊緣管控網關kubletApp容器AppEdge PAAS節點租戶編排調度庫存日志管控日志監控容器服務可編程CDN配置計費鏡像供應鏈中臺邊緣管控網關交付監控巡檢DCDNEdgeKVEdgeStore邊緣產品能力AoneFreedom云效EdgeMeshEdgeServerlessEdgeAI邊緣生態能力基于edge ack的cdn邊緣計算體系謝謝!賈舒阿里云解決方案架構師阿里云解決方案架構師云效DevOpsDevOps探索和實
56、踐助力企業數字化轉型DevOps效果演示持續反饋持續集成持續交付持續部署需求以小批量形式在團隊的各個角色間順暢流動,DevOps能夠促使在較短周期完成小粒度需求的頻繁交付,并且在這個過程中,各個角色密切協作。(雙態運維聯盟定義)一種軟件開發實踐,即團隊開發成員經常集成他們的工作,通過每個成員每天至少集成一次,也就意味著每天可能會發生多次集成。每次集成都通過自動化的構建(包括編譯,發布,自動化測試)來驗證,從而盡早地發現集成錯誤。(百度百科)一系列的開發實踐方法,用來確保讓代碼能夠快速、安全的部署到產品環境中,它通過將每一次改動都提交到一個模擬產品環境中,使用嚴格的自動化測試,確保業務應用和服務
57、能符合預期。(百度百科)通過借助基礎架構編排、應用編排、PaaS平臺等工具并將需求持續自動部署到目標環境中,并借助紅綠部署、灰度發布等手段進一步降低部署到生產環境的變更風險,提升變更成功率。(雙態運維聯盟定義)DevOps理念核心內容1234集成測試系統測試代碼編寫構建部署單測集成提交發布代碼管理按應用管理代碼平臺化構建管理靈活分支模式平臺化拉取應用代碼0成本單測集成郵件即時反饋代碼質量代碼高危漏洞準確識別CI代碼觸發集成一鍵構建開發、測試包一鍵申請/部署測試環境測試管理系統發布區塊、隊列發布、回滾合并主干代碼自動構建集成包自動部署測試環境集成自動化測試件自動回歸低成本編寫/維護自動化腳本一鍵
58、造數據云效產品套件AtonAmonAtonAenv云效測試管理云效AUI云效Databank云效集成云效交付可靠可重復交付的流水線(標準化、流程化、自動化)代碼包項目/Feature阿里云EDASAliDocker螞蟻SofaPAAS底座行方自建PAAS云效StarOps需求云效-一站式DevOps平臺效率提升一站式交付自動化回歸研發資產沉淀度量持續改進研發運營代碼漏洞分層自動化質量提升雙模支撐應用視角看需求需求視角看應用研發協同敏捷項目管理可視化價值流持續反饋:項目管理如何更快速、更精準的交付PMO:定義總體框架流程團隊頂級項目產品線A產品線B產品線C市場反饋池產品需求池日常項目專項項目1專
59、項項目2專項項目3專項項目用戶:反饋問題專項項目4產品:重視需求 MVP研發:日常迭代PM:管理專項項目研發:實現、測試、發布問題需求迭代實現迭代迭代可靈活啟用需求任務缺陷迭代測試用例環境自動化(UI/接口)單測集成性能測試報表項目動態即時滾動項目公告-項目重要信息-通知全員項目概要信息&周報入口-進度-時間段-狀態-本周進度概要及-下周計劃項目里程碑項目成員項目風險子項目-子項目列表,含狀態、進度、時間段、負責人等關鍵信息阿里巴巴DevOps持續反饋:項目管理之項目概況搭建DevOps持續交付的高速公路-分層自動化測試頁面系統HtmlVm業務集成Service BO底層服務DAO遠程接口底層
60、服務UISERVICEUNIT自動集成覆蓋率可度量用例準備、維護簡單環 境數 據錄制、多元定位、可視化維護多環境數據自動構造Dubbo/HSF/SOFAWebService/Swagger代碼規約、單元測試、數據運營分層自動化持續驗證方案-單元測試無需編碼,自動解析接口及所需參數,頁面創建接口自動化測試用例頁面直接填寫調用參數,支撐多種參數類型分層自動化持續驗證方案-接口測試直接指定IP進行服務調用接口自動化(用例串聯,參數傳遞)Mock平臺創建維護均可視化,無需編寫腳本,可應對互聯網快速的業務變化所帶來的腳本維護成本開銷直接在頁面編輯每個動作步驟,可更直觀地進行維護分層自動化持續驗證方案-UI測試可以制作公共腳本,數據驅動,連接數據庫做數據庫校驗,支持硬件模擬信號輸入集成自動化環境隔離持續部署方案 為每個Feature分支部署獨立的測試環境進行測試及集成(環境路由隔離)敏捷實踐指標獲取云效助力企業數字化轉型