肖瀟《邊緣容器在全球音視頻場景的探索與實踐》.pdf

《肖瀟《邊緣容器在全球音視頻場景的探索與實踐》.pdf》由會員分享，可在線閱讀，更多相關《肖瀟《邊緣容器在全球音視頻場景的探索與實踐》.pdf（35頁珍藏版）》請在三個皮匠報告上搜索。

1、邊緣容器在全球音視頻場景的探索與實踐肖瀟 即構科技后臺技術總監212100+300億+30億+國家地區覆蓋行業解決方案覆蓋年全球服務人次日通話分鐘數全球實時音視頻云服務商全球實時音視頻云服務商ZEGO即構科技成立于2015年，是一家全球實時音視頻云服務商。團隊擁有20年行業技術經驗積累，全鏈路自研音視頻引擎與實時網絡，首創直播連麥。ZEGO 服務全球，已為 212 個國家/地區提供一站式音視頻云服務。服務覆蓋至互動直播、在線教育、政企服務、社交娛樂、視頻會議、游戲、金融、遠程醫療、智能硬件等數百個應用場景。即構全球基礎設施即構全球基礎設施1.全球500+網絡節點2.覆蓋全球212個國家和地區3

2、.全球節點99.9%的優質傳輸率貼近用戶，連通全球貼近用戶，連通全球邊緣計算：邊緣計算：低時延、高帶寬、高并發邊緣計算的優勢邊緣計算的優勢降低時延降低時延就近接入就近分發減少傳輸鏈路成本優化成本優化低成本的邊緣帶寬降低中心帶寬提升并發提升并發多云多機房分布式部署按需擴容降低故障影響降低故障影響邏輯邊緣下沉減少對中心機房的依賴邊緣計算遇到的問題落地邊緣容器面臨的挑戰實時互動業務的落地實踐未來規劃和技術展望邊緣計算遇到的問題成本壓力運維效率運維設施割裂 算力碎片化 不同集群邊緣算力不能復用邊緣工作負載：虛擬機和物理機邊緣工作負載：虛擬機和物理機 基于告警事件來觸發擴縮容 要關注服務實例和資源的擴縮

3、 控制面服務已經容器化，在邊緣踐行云原生極致的成本優化大幅提升運維效率邊緣云原生 最大化利用算力和帶寬 底層計算資源復用希望的工作負載：云原生的邊緣容器希望的工作負載：云原生的邊緣容器 彈性擴縮容、定時擴縮容 業務靈活的版本管理 構建云邊一體化的云原生基礎設施落地邊緣容器面臨的挑戰沒有統一的邊緣容器標準沒有統一的邊緣容器標準各自開源各自開源了邊緣計了邊緣計算云原生項目算云原生項目 華為KubeEdge 阿里的OpenYurt 騰訊的SuperEdge相同的產品關鍵字產品關鍵字 云邊協同 邊緣自治 單元化部署KubeEdgeSuperEdge遇到的挑戰遇到的挑戰音視頻業務是強有狀態服務，如何云原

4、生化不同服務規格差異較大，如何調度如何做到pod多進程的灰度發布鏡像如何快速分發、預熱云邊網絡中斷業務如何處理？云邊通信流量成本如何提升運維效率實時互動業務的落地實踐云邊協同的全球音視頻云架構云邊協同的全球音視頻云架構 多云基礎設施 邊緣容器 全球多中心 MSDN 全球傳輸網絡1 成本優化成本優化 質量和運維效率提升 音視頻服務云原生化23邊緣資源的最大化共享邊緣資源的最大化共享提升資源在池內的共享復用水平提升資源在池內的共享復用水平 不同業務集群資源的共享 不同業務角色資源的共享全局多級資源池調度全局多級資源池調度 多個資源池全局資源的復用 任意區域 N-2機房資源的冗余資源調度策略資源調度

5、策略目的：降低邊緣node上的資源碎片 優先將Pod調度到資源消耗較多的節點 多個Pod會優先使用同一節點BinpackBinpack調度策略調度策略大幅降低云邊通信流量大幅降低云邊通信流量 避免使用Service和Endpointslices，大幅降低云邊的數據通信量 邊緣node的kubelet、Daemonset pod只List-Watch本節點數據 以Openyurt為例，通過Pool-Coordinator和Yurthub 的協同，實現單一節點池內云邊只有一份pool scope data數據通信。云邊斷網 vs 部分節點失聯1 成本優化 質量和運維效率提升 音視頻服務云原生化音視

6、頻服務云原生化23音視頻服務是強有狀態業務音視頻服務是強有狀態業務 網絡模型：IP端口固定的無損直連 原地升級：鏡像更新，pod不重建 鏡像拉取耗時：容器更新，極短的推拉流中斷 水平伸縮：各種自定義業務指標觸發擴容，縮容有等待期、定向縮容 多進程協同：音視頻引擎進程+業務處理進程，pod內多進程做到獨立發布 定向運維操作的需求：趕流合服主機網絡減少網絡損耗主機網絡減少網絡損耗 主機網絡host Network，無需經過額外的網絡虛擬化層 Daemonset來分配pod端口，避免端口沖突實時互動場景對網絡延時實時互動場景對網絡延時/性能損耗敏感性能損耗敏感工作負載的選擇、更新策略工作負載的選擇、

7、更新策略 原地升級原地升級 +主機網絡，實現主機網絡，實現IPIP端口的穩端口的穩定定 標記標記podpod業務狀態，指定業務狀態，指定 pod pod 縮容縮容 主容器+sidecar 容器，獨立灰度發布apiVersion:apps.kruise.io/v1alpha1kind:CloneSetspec:#.replicas:4 scaleStrategy:podsToDelete:-sample-9m4hpapiVersion:apps.kruise.io/v1alpha1kind:CloneSetspec:#.updateStrategy:type:InPlaceIfPossible

8、inPlaceUpdateStrategy:gracePeriodSeconds:10工作負載的選擇、更新策略工作負載的選擇、更新策略 原地升級+主機網絡，實現IP端口的穩定 標記pod業務狀態，指定 pod 縮容 主容器主容器+sidecar +sidecar 容器，獨立灰度發布容器，獨立灰度發布原地升級能解決所有的更新問題？原地升級能解決所有的更新問題？修改修改clonesetcloneset yamlyaml 其他內容？其他內容？clonesetMigration OperatorOperatorOperator：clonesetMigration 原地升級：原地升級：spec.temp

9、late.spec.containersx.imagespec.template.spec.containersx.image envenv fromfrom spec.template.metadata.labels/annotationsspec.template.metadata.labels/annotations鏡像預熱鏡像預熱 原地升級降低pod的啟動耗時，提前預熱降低邊緣鏡像拉取耗時 核心訴求是鏡像預熱還是大規模 P2P鏡像分發？鏡像預熱鏡像預熱 VS P2PVS P2P鏡像分發鏡像分發ImagePullJob音視頻場景下的彈性伸縮音視頻場景下的彈性伸縮基于音視頻業務狀態的負載管

10、理多維度指標的綜合評估(帶寬、PPS、推拉流數、CPU、內存等)精確的縮容機制：需要做業務的無損清理，粗糙的縮容策略會造成用戶黑屏、卡頓水平伸縮，但不同于社區的水平伸縮，但不同于社區的HPA HPA 方案方案Pod Pod 的業務狀態的業務狀態自然消亡、無損清理流量上漲1 成本優化 質量和運維效率提升質量和運維效率提升 音視頻服務云原生化23網絡質量：云邊通道可靠傳輸網絡質量：云邊通道可靠傳輸MSDN全球傳輸網絡 實時網絡質量探測 智能路由算法，鏈路故障秒級恢復，大幅降低云邊斷網概率邊緣資源池的智能化推薦、擴縮邊緣資源池的智能化推薦、擴縮基于機器學習算法預測邊緣機房未來利用率，生成擴容、縮容資

11、源 node 數自動進行邊緣節點購買/納管、cordon/drain/節點退訂多集群管理多集群管理 全球資源統一管理 控制面多集群，橫向擴展云邊協同的另一種方式云邊協同的另一種方式 邊緣容器控制面所在 region故障，邊緣自治，影響服務的擴容能力 多云商不同中心機房的 serverless 擴容多云多云serverless容災容災中心機房中心機房Serverless承載突發流量承載突發流量云邊協同的另一種方式云邊協同的另一種方式多云多云serverless容災容災 網絡成本的最優組合：邊緣帶寬計費+serverless 流量計費 極致的彈性能力中心機房中心機房serverless承載突發流量承載突發流量未來規劃和技術展望更全的業務覆蓋降低業務接入使用門檻更多能力下沉邊緣 更適合業務的調度算法 CPU拓撲感知調度 GPU調度 提供更多的能力抽象，分鐘級部署 更多工具鏈建設，業務開箱即用技術展望技術展望 LoadBalance、網關、AI 推理謝 謝 觀 看THANKS