《中國聯通:中國聯通邊緣計算平臺v3.0架構升級及創新行業場景應用白皮書(35頁).pdf》由會員分享,可在線閱讀,更多相關《中國聯通:中國聯通邊緣計算平臺v3.0架構升級及創新行業場景應用白皮書(35頁).pdf(35頁珍藏版)》請在三個皮匠報告上搜索。
1、 2022 年年 10 月月 中國聯通邊緣計算平臺 v3.0 架構升級及創新行業場景應用白皮書 前 言 2022 年 1 月 12 日,國務院印發“十四五”數字經濟發展規劃,提出“加快實施東數西算工程,推進云網協同發展”?!皷|數西算”是助推我國產業升級和經濟高質量發展的戰略性工程,是產業數字化轉型、智能化發展的基石。邊緣計算是三大運營商強化算力統籌、智能調度、推進“云網邊端業”協同發展中的重要一環。中國聯通充分發揮“一個聯通、一體化能力聚合、一體化運營服務”的核心優勢,充分利用 5G 邊緣計算低時延、大帶寬、大連接、安全可靠的典型特征,以邊緣計算為抓手,面向重點垂直行業成立裝備制造、智慧礦山、
2、智慧鋼鐵、服裝制造、汽車制造、智慧醫療、智慧法務、智慧應急、智慧交通九大行業軍團,為行業用戶提供算力、5G 移動網絡等算網資源,滿足用戶靈活多樣的算網使用需求,實現聯通算網產品能力覆蓋全國。中國聯通在上述背景下,面向算網一體,以 CT+IT 融合能力為切入點,基于容器、SDN/NFV 等技術,打造具有自主知識產權的中國聯通邊緣計算平臺并不斷迭代更新。值此邊緣計算平臺 v3.0 發布之際,中國聯通發布 邊緣計算平臺 v3.0 架構升級及創新行業場景應用白皮書,重點闡述以下內容:邊緣計算平臺 v3.0 是基于 Kubernetes結合 KubeVirt、Kube-OVN 打造的下一代融合型算力基座
3、,實現了邊緣算力平臺開放解耦,支持異構算力,提升邊緣平臺競爭力,支撐算網一體,實現算力泛在服務;在邊緣組網上采用 SDN+NFV+Overlay 3 的網絡架構,通過虛擬云化網關實現組網能力升級,屏蔽現網硬件網絡設備在性能、配置、管理上的差異,提升了“云網邊端業”靈活協同和網絡功能快速上線能力?;?5G 邊緣計算平臺,中國聯通對 CDN、車聯網、工業互聯網等重點業務場景開展了創新實踐,為行業發展注入了新的活力。我們期望通過此白皮書的發布,能夠與業界同仁共同探討邊緣計算前沿技術,共同推進邊緣生態蓬勃發展。歡迎各界同仁提出寶貴意見和建議!目 錄 1 概述概述.5 1.1 背景及行業現狀.5 1.
4、2 中國聯通 5G MEC 演進方向.6 2 中國聯通邊緣計算平臺中國聯通邊緣計算平臺 V3.0 架構及關鍵技術架構及關鍵技術.8 2.1 中國聯通邊緣計算平臺V3.0 整體架構.9 2.2 邊緣異構算力關鍵技術.10 2.2.1 KubeVirt在邊緣虛擬機算力上的應用.11 2.2.2 Kube-OVN在邊緣虛擬機網絡上的應用.12 2.2.3 邊緣算力虛擬機存儲方案.13 2.2.4 DPU/IPU在邊緣計算中的探索.15 2.3 邊緣網絡設備虛擬化關鍵技術.16 2.4 中國聯通邊緣計算平臺V3.0 架構升級帶來的變化.18 3 中國聯通邊緣算網架構助力創新實踐中國聯通邊緣算網架構助力
5、創新實踐.20 3.1 邊緣 CDN 創新實踐.20 3.1.1 中國聯通基于MEC的CDN基本架構.20 3.1.2 CDN容器化技術路線.21 3.1.3 容器化CDN產品實踐.23 3.2 車聯網邊緣創新實踐.24 3.2.1 中國聯通基于MEC的車聯網基本架構.24 3.2.2 車聯網場景化產品介紹.25 3.2.3 車聯網場景化產品實踐.27 3.3 工業互聯網邊緣創新實踐.29 3.3.1 中國聯通基于MEC的工業互聯網基本架構.29 3.3.2 工業互聯網場景化產品介紹.30 3.3.3 工業互聯網場景化產品實踐.31 4 總結與展望總結與展望.34 5 1 概述 1.1 背景及
6、行業現狀 2022 年 1 月 12 日,國務院印發“十四五”數字經濟發展規劃:加快構建算力、算法、數據、應用資源協同的全國一體化大數據中心體系。在京津冀、長三角、粵港澳大灣區、成渝、貴州、內蒙古、甘肅、寧夏等地區布局全國一體化算力網絡樞紐節點,建設數據中心集群,結合應用、產業等發展需求優化數據中心建設布局。加快實施“東數西算”工程,推進云網協同發展,提升數據中心跨網絡、跨地域數據交互能力,加強面向特定場景的邊緣計算能力,強化算力統籌和智能調度。工信部相繼印發了 工業和信息化部辦公廳關于推動工業互聯網加快發展的通知、工業和信息化部關于推動 5G 加快發展的通知等相關政策,鼓勵相關單位在邊緣計算
7、領域加快技術攻關,針對邊緣計算等新型網絡聯合開展試驗測試等工作,加快推動多接入邊緣計算等技術在產業中的應用。三大運營商積極響應數字經濟發展規劃政策指導,將云網融合作為重要戰略,通過優化算力資源結構,將高頻調用、低時延業務需求分配至邊緣數據中心,加快 5G 邊緣組網建設,促進算力和網絡下沉到邊緣。中國聯通 5G MEC,響應“大計算”戰略,以構建低時延、大帶寬、海量連接、數據安全可控的“邊緣計算平臺”為核心,推進“云網邊端業”產業協同,實施算網融合發展行動計劃,打造邊緣計算全場景、全業務服務能力,賦能千行百業數字化智能升級。在智慧視頻領域,把 CDN 節點真正下沉到邊緣計算節點,大大提高了 CD
8、N 的就近接入分發能力和本地命中率,為 5G 時代大流量大視頻業務的蓬勃發展 6 奠定了基礎;在車聯網領域,中國聯通邊緣計算平臺發揮邊端感知數據采集和云端智能決策能力,助力車路協同、智能駕駛發展;在工業互聯網領域,中國聯通邊緣計算平臺協同調度計算、存儲、網絡等資源在工業互聯網領域實現企業內各層數據的縱向集成及實時高效處理,充分釋放數據價值。1.2 中國聯通 5G MEC 演進方向 中國聯通在 5G MEC 領域起步較早,率先完成 MP2 接口企標定義,發布邊緣計算平臺商用版本;2017 年,中國聯通在 MWC 世界移動大會上發布了中國聯通邊緣計算技術白皮書,介紹中國聯通MEC 的部署策略與演進
9、規劃;2018 年,中國聯通在 MWC 發布 中國聯通邊緣業務平臺架構及產業生態白皮書,宣布在 15 個省啟動5G 邊緣計算規模試點;2020 年 4 月,中國聯通正式發布全國首張MEC 網絡,宣布商用。中國聯通 5G 邊緣計算平臺由聯通智網創新中心負責平臺研發,結合實際業務推廣和業務應用情況,平臺的建設和迭代秉承“源于標準,高于標準”的原則,采用新技術、新框架不斷進行平臺功能創新。邊緣計算平臺 v1.0 版本于 2020 年隨商用發布,參照 ETSI 架構,由上至下分為中心節點 MEAO、省節點 MEPM 平臺、邊緣 MEP 及 IaaS三層對 MEC 進行建設;邊緣計算平臺 v2.0 版本
10、基于運營、運維、客戶自服務的三個不同視角對 MEAO 系統進行重構,原來系統一分為三,同時面向邊緣生態進行擴展,構建 5G MEC 沙箱環境,面向內外部渠道及創新平臺應用,開放運維營服及產品能力,更好地服務邊緣應用;本次白皮書新發布的邊緣計算平臺 v3.0 版本基于 Kubernetes結合 KubeVirt、Kube-OVN 打造下一代融合型 5G 邊緣計算基座,實 7 現邊緣算力平臺開放解耦、異構算力支持,提升邊緣平臺競爭力,支撐 算 網 一 體,實 現 算 力 泛 在 服 務,在 邊 緣 組 網 上 采 用SDN+NFV+Overlay 的網絡架構,通過虛擬云化網關實現組網能力升級,屏蔽
11、現網硬件網絡設備在性能、配置、管理上的差異,提升了“云網邊端業”靈活協同和網絡功能快速上線能力,更好地應對邊緣場景下網絡復雜、算力異構、業務多樣帶來的挑戰。中國聯通邊緣計算平臺不斷迭代更新,未來將在邊緣資源的編排、邊緣應用遷移、邊緣路由管理、邊緣流量治理等方面做進一步的研究,致力于將邊緣資源的調度和使用達到最優。8 2 中國聯通邊緣計算平臺 v3.0 架構及關鍵技術 自 2020 年中國聯通正式發布全國首張 MEC 網絡并進入商用階段,中國聯通在服務客戶產業落地和規?;逃眠^程中,發現客戶對異構算力和復雜組網提出了更高要求,為了更好滿足客戶需要,邊緣計算平臺 v3.0 主要包含以下兩個演進方向
12、:(1)邊緣算力平臺虛擬化技術的演進:隨著邊緣計算業務的不斷開展和推進,邊緣應用對算力需求呈現多樣化趨勢,如圖形設計、AI 類應用需要能提供高算力的 GPU 云主機來承擔邊緣工作負載;數據密集型企業應用需要輕量級且快速啟停的容器來承擔邊緣工作負載。當前邊緣計算平臺 v2.0 與 IaaS 耦合,此架構無法滿足業務對異構算力的靈活支持,無法提供安全容器服務,不符合異構算網的發展趨勢且能力擴展沒有標準可以遵循,不滿足算力網絡演進要求。如何將虛擬機和容器兩者相融合并優勢互補,是當前平臺需要解決的問題。(2)邊緣組網設備虛擬化技術的演進:邊緣業務正值大力推廣階段,對組網需求呈現快速部署和簡易運維趨勢。
13、當前 MEC 節點建設和組網過程中,網絡設備供應商多、硬件異構且能力受限,設備升級或業務開通時需 SDN 控制器逐項適配,導致網絡維護難度較大、運維效率較低,給后續 SDN 控制器的維護和升級帶來嚴峻挑戰,進一步導致各類邊緣組網業務上線較慢、靈活性及拓展性較差,影響“云網邊端業”一體協同及邊緣通信增強、邊緣組網等業務開展。綜上所述,中國聯通邊緣計算平臺 v3.0 立足當前產業發展的迫切需求,基于前沿技術棧進行算力平臺和組網架構的優化升級。9 2.1 中國聯通邊緣計算平臺 v3.0 整體架構 為應對邊緣場景下網絡復雜、算力異構、業務多樣帶來的挑戰,支撐“云網邊端業”一體化協同發展,中國聯通邊緣計
14、算平臺從邊緣算力和邊緣組網兩個方面進行系統升級。邊緣算力邊緣算力:面向異構算力網絡演進并進行優化升級。(1)實現 MEC 平臺與 IaaS 解耦,通過對 Kubernetes 等編排系統的適配,以及對 CPU/GPU 等異構算力單元的統一納管,屏蔽算力多樣化影響,實現跨層、跨域一致體驗和協同服務。(2)適配邊緣業務對邊緣平臺敏捷、輕量化需求,通過 KubeVirt實現對虛機和容器的統一調度編排,提供良好的彈性資源擴縮能力,支持異構算力環境,支持硬件加速。(3)進行 DPU 前沿技術研究,通過對計算、存儲、網絡處理在DPU 上的卸載,提高虛擬化性能,構建低時延網絡。通過上述算力架構升級,邊緣算力
15、平臺開放解耦,實現異構算力支持,面向多樣化應用提供一致的邊緣算力服務,進一步提升了邊緣計算融合底座的敏捷和輕量化能力,提升邊緣平臺競爭力,支撐算網一體,實現算力泛在服務。邊緣組網邊緣組網:采用 SDN+NFV+Overlay 的網絡架構,通過虛擬云化網關實現組網能力升級。(1)基于云化資源構建云化網關,以軟件的方式實現交換機、路由器、防火墻等網絡功能,屏蔽現網硬件網絡設備在性能、配置、管理上的差異,采用 Overlay 方案減少對傳統轉發面數通設備的配置,10 確保網絡高可用和高性能轉發。(2)云化網關北向對接 SDN 控制器,實現邊緣網絡功能快速上線及實現業務靈活開通。在服務訪問層面實現邊緣
16、分流、云邊/邊邊協同、邊緣服務訪問、企業專線等全量邊緣網絡服務場景,提升了“云網邊端業”靈活協同和網絡功能快速上線能力。在上述 MEC 算力平臺和 MEC 組網升級下,形成了如下的 MEC 3.0 整體架構:圖圖 2-1 MEC3.0 整體架構整體架構 在上述架構支撐下,中國聯通邊緣計算平臺同時提供“邊緣能力供給”和“集約支撐服務”,面向算網一體,完善邊緣基礎能力及運維營服體系。2.2 邊緣異構算力關鍵技術 容器技術憑借其彈性、敏捷、自動化的特性成為目前行業應用部署快速迭代上線的最佳實踐,電信行業的基礎設施平臺向輕量化容器架構進行演進是必然趨勢。中國聯通 5G MEC 平臺基于 Kuberne
17、tes 結 11 合 KubeVirt、Kube-OVN 打造下一代融合型算力基座。在容器化形態下,所有的服務均以 Pod(即 1N 個容器)形式存在,但在目前邊緣業務推廣階段,企業客戶處于技術成熟度和安全的考慮,依然將應用程序運行在虛擬機上,因此,如何提供虛擬機和容器的算力在 5G 邊緣計算環境下共管共存成為急待解決的需求。KubeVirt 是 RedHat 開源的一套以容器方式運行虛擬機的項目,通過Kubernetes 來管理虛擬機生命周期,能夠實現在統一的控制平面同時管理虛擬機和容器。2.2.1 KubeVirt 在邊緣虛擬機算力上的應用 中國聯通邊緣計算底座支持 KubeVirt 技術
18、棧(技術架構見下圖2-2),以容器方式運行虛擬機,利用 Kubernetes 的 CRD(自定義資源)機制增加資源類型 VirtualMachineInstance(虛擬機實例),使用容器的 Image Registry(鏡像倉庫)去創建虛擬機并提供虛擬機生命周期管理,實現在統一的控制平面同時管理虛擬機和容器。圖圖 2-2 KubeVirt 技術棧架構圖技術棧架構圖(摘自(摘自 KubeVirt 官網)官網)12 上述架構圖中,KubeVirt 通過使用與 OpenStack 管理虛機一樣的方式,即 Libvirt 來管理 Qemu,再通過 virt-launcher 來與 libvirt 一
19、一對應,這樣通過 virt-launcher 這個 pod 來將虛機包裹起來,起到被Kubernetes 共同調度的作用。在 Kubernetes 集群上,控制節點,即 Controller 節點上會有 virt-controller 的 pod,其中 virt-controller 和 virt-api 是全局唯一,用于與API server 互通,起到對所有節點上虛機生命周期管理及各種操作下發的作用等等;在每個工作負載節點即 Node 節點會有一個命名為virt-handler 的 Pod,它用于與本 Node 節點上所有的 virt-launcher 互通,用于管理本 Node 節點上的
20、虛機狀態等信息;virt-launcher Pod 與 VirtualMachineInstance 對應,接收來自 virt-handler 的通知,通過本地的 libvirtd 來管理虛擬機的生命周期。2.2.2 Kube-OVN 在邊緣虛擬機網絡上的應用 根據 Kubernetes 接口規范,容器網絡借助不同的底層網絡實現方式,實現容器間的網絡互通。目前常用的容器網絡接口如:Flannel,Calico,Cilium 等,沒有專門對虛擬化場景進行設計,其功能的完備性和性能都與傳統虛擬化網絡存在較大差距。邊緣應用紛繁復雜,且合規性要求高,為了適配邊緣計算平臺下虛擬機和容器的共管需求,方便使
21、用虛擬機的用戶能夠像使用成熟的OpenStack 網絡一樣使用 Kubernetes 網絡,中國聯通通過 Kube-OVN作為 Kubernetes CNI(容器網絡接口)提供 5G 邊緣計算平臺的網絡服務,其原理是利用在傳統虛擬化網絡中得到廣泛使用的 OVS 實現底層網絡功能,結合 OVN 作為集中的 OVS 控制器,類似于 SDN 控 13 制器的功能,實現 5G 邊緣計算平臺網絡基礎功能及編排功能。Kube-OVN 架構如圖 2-3 所示。Kube-OVN 將相同 Namespace 下的 Pod 放到一個 vSwtich 上,vSwitch 再通過 vRouter 互通,基于ovs/o
22、vn 特性,進一步擴展多租戶 VPC、固定 IP、安全策略等功能。圖圖 2-3 Kube-OVN 架構圖架構圖(摘自靈雀云官網)(摘自靈雀云官網)其中,固定 IP 特性在虛擬機遷移、虛擬機重新啟動等環節有著重要的作用,確保在虛擬機 IP 不變的情況下,相應的網絡策略、路由策略等無需變動;基于 OVS 的 VPC 能力使得虛擬機在多租戶場景下具備更靈活的網絡隔離能力,可以在 VPC 中配置安全策略等能力。2.2.3 邊緣算力虛擬機存儲方案 5G 邊緣計算業務場景越來越豐富,對平臺的敏捷性、擴展性和 14 高可用性要求越來越高。分布式存儲提供了遠程訪問共享存儲的能力,并解決了集中式存儲存在的擴展性
23、、高可靠性和高可用性問題。Kubernetes 通過 PVC(數據卷持久化申明)作為用戶存儲的一種聲明來請求特定的存儲空間和訪問模式。對于真正使用存儲的用戶不需要關心底層的存儲實現細節,只需要直接使用 PVC 即可,實現了底層存儲技術的隔離解耦。邊緣應用在 KubeVirt 中的虛擬機存儲,通過調用后端存儲提供的 CSI(容器存儲接口)插件創建 PVC 卷方式管理虛擬機磁盤設備,CSI 插件實現了容器存儲編排與存儲集群交互的接口,它可以為容器應用分配存儲集群中的存儲空間。在提升 KubeVirt 在虛擬機存儲的使用性能上,目前正在探討的后端存儲方案包括 Rook-Ceph 方案和 OpenEB
24、S Mayastor:1)Rook-Ceph Rook-Ceph 是一個成熟的統一分布式存儲解決方案,支持塊存儲、文件存儲和對象存儲,目前廣泛應用于各類生產環境,已經有大量的應用和落地實踐。2)OpenEBS OpenEBS(架構如圖 2-4)是一種基于 CAS(容器掛載存儲)理念的容器解決方案,主要提供塊存儲服務,它通過聲明性數據平面擴展 Kubernetes,為有狀態應用程序提供靈活、持久的存儲。OpenEBS Mayastor 能夠很好適配 Kubevirt VM 應用程序,給 Kubevirt 中的 VM提供服務,滿足虛擬機熱遷移需求,支持應用程序有狀態服務。OpenEBS Mayas
25、tor 整合了存儲性能套件SPDK(存儲性能開發套件),15 利用 NVMe-oF 來提供一種低性能開銷的存儲抽象,后續考慮將OpenEBS Mayastor 和 CSAL(云存儲加速層)加速集成來提升存儲性能。圖圖 2-4 OpenEBS 分布式存儲架構分布式存儲架構(摘自(摘自 OpenEBS 官網)官網)2.2.4 DPU/IPU 在邊緣計算中的探索 邊緣計算節點分散部署,每個節點算力資源有限,隨著邊緣計算行業落地不斷增多,如何將邊緣資源最大限度地用于用戶應用程序,減少云廠商基礎負載,對資源進行合理的分配和配置是邊緣計算平臺面臨的一個挑戰。中國聯通基于對邊緣算力平臺的算力資源優化考慮,開
26、始了對DPU/IPU 技術的探索和選型,通過 DPU/IPU 實現 CPU 的卸載引擎,接管網絡虛擬化、硬件資源池化等基礎設施層服務,釋放 CPU 的算力到上層應用。在在硬件選型硬件選型方面方面:探索基于 SoC(Arm 與 ASIC 協同架構)、FPGA、ASIC 三種主要技術形態下 DPU/IPU 的優劣勢及使用場景?;?FPGA 的 DPU/IPU 擁有最佳的靈活性,但吞吐量、功耗在一定 16 程度上受到限制;隨著帶寬變高,基于 ASIC 的 DPU/IPU 需求將會增加;對于更復雜、更廣泛的用例,基于 SoC 的 DPU/IPU 擁有良好的性價比、易于編程且靈活性高。在在軟件生態方面
27、軟件生態方面:探索通過IPDK(基礎設施程序員開發工具包)框架,管理由 CPU、IPU/DPU 或交換機構建的基礎設施,IPDK 使用SPDK、DPDK(數據平面開發套件)和 P4 等成熟的開源工具,實現網絡虛擬化、存儲虛擬化、工作負載調配、信任根和平臺中的卸載功能,為提高性能、優化資源和確?;A設施安全提供了一個通用平臺。如圖 2-5 所示,IPDK 將管理基礎設施的所有功能進行抽象封裝,形成了“接口三明治”,“三明治”底層對接 SDK 驅動程序、編譯器后端等,頂部定義了一組 RPC 接口以支撐不同的應用場景。圖圖 2-5 IPDK 架構圖架構圖(摘自英特爾(摘自英特爾 IPDK 官網)官網
28、)2.3 邊緣網絡設備虛擬化關鍵技術 NFV(網絡功能虛擬化)以實現網絡功能虛擬化為目標,實現物理設備的資源池化,具備可根據實際業務需求進行自動部署、彈性伸 17 縮、故障隔離和自愈等特性,能夠有效提升網絡管理和業務編排效率,電信行業核心網相關 CT 業務功能已經部署到 VM 上并商用。隨著邊緣計算業務的不斷拓展,邊緣節點的建設已經全面鋪開,為了應對后續的業務增長,實現快速部署和靈活管理,中國聯通 MEC 構建基于NFV 的邊緣網絡,采用 SDN+云化網關,支持面向“全場景、全業務”的“云網邊端”敏捷組網協同。2021 年,聯通 MEC 邊緣網絡完成 SDN 控制器研發并分節點規模部署,支撐“
29、云網邊”一體化協同,在標桿省份完成協同驗證。2022年,聯通為優化邊緣組網,對標 AWS、阿里云等業內最佳實踐,構建邊緣節點云網絡平面,架構如圖 2-6 所示。圖圖 2-6 邊緣節點云網絡平面架構圖邊緣節點云網絡平面架構圖 通過上述架構,中國聯通基于資源池算網能力構建云化網關,實現防火墻、路由器、負載均衡等網絡功能,屏蔽現網網絡設備在性能、配置、管理上的差異,面向 N6 Local 接口分流、云網邊協同、客戶本地私有云訪問、資源池訪問互聯網等場景,以 Overlay 方式實現物理網絡一次性配置,云化網關北向對接邊緣 18 SDN 控制器,實現業務網絡靈活開通。在高可靠方面,中國聯通云化網關通過
30、分布式網關實現主備高可靠,通過 eBGP+BFD 實現業務快速切換,且考慮在對端組件不支持 BFD 的情況下通過協議?;顧C制實現高可靠。圖圖 2-7 中國聯通云化網關架構中國聯通云化網關架構 云化網關的部署有效降低分布式 SDN 控制器維護難度、縮短業務開發周期、提升業務開通效率、敏捷,滿足邊緣業務“云網邊端”靈活組網需求。2.4 中國聯通邊緣計算平臺 v3.0 架構升級帶來的變化 截至 2022 年 9 月,中國聯通通過支持 Kubernetes+KubeVirt 的算力平臺架構,以及采用 SDN+NFV+Overlay 的邊緣網絡架構,對現網節點進行系統升級,構建了更加便捷、輕量化和敏捷高
31、效的邊緣計算能力平面。邊緣網絡服務業務交付由原來的現場配置網絡設備、調測、業務測試轉變為現有的遠程自動化配置和業務開通,效率從之前的 72 小時縮短到數分鐘以內,邊緣算力平臺由原來的虛機形態升級為現有的容器業務形態,資源利用效能提升 30%,運維由原來的現場專業技術人員一對一操作轉變為一對多模式的遠程操 19 作,人力節省 75%,成本節省 15%,大幅提升了邊緣業務“云網邊端業”靈活組網的需求。中國聯通邊緣計算產品通過對多樣化邊緣應用需求的廣泛支持,在工業制造、電力能源、醫療健康、智慧交通、能源礦山等重點行業快速商業擴展,新增客戶 500+,業務保持兩位數增長,大幅提升 5G 網絡和邊緣計算
32、商業價值。20 3 中國聯通邊緣算網架構助力創新實踐 3.1 邊緣 CDN 創新實踐 3.1.1 中國聯通基于 MEC 的 CDN 基本架構 中國聯通邊緣 CDN 采用兩級部署架構(如圖 3-1),把來自遠端的源服務數據緩存在靠近用戶的邊緣端,實現高吞吐和低延遲訪問。(1)回源存儲層:直接從客戶源站取緩存信息,大區級節點,規模更大。(2)邊緣存儲層:靠近用戶的邊緣 CDN 緩存,地市級節點。圖圖 3-1 邊緣邊緣 CDN 基本架構圖基本架構圖 邊緣 CDN 主要包含三個功能(如圖 3-2):(1)四層負載均衡:采用內核的 XDP(eXpress Data Path),它可以高效處理四層數據包。
33、21 (2)七層負載均衡:采用 Nginx 處理應用層的請求,實現對于緩存訪問的負載均衡。(3)數據緩存:ATS 內存(RAM 緩存)和塊設備(bcache)劃分成兩層本地緩存池。圖圖 3-2 邊緣邊緣 CDN 功能架構圖功能架構圖 3.1.2 CDN 容器化技術路線 CDN 服務以裸金屬和虛擬機部署,帶來一些資源和性能問題?;谌萜骰M行部署,可以提高服務的敏捷性、便于彈性擴展,結合微服務的治理,可以給業務部署和運維帶來極大便利。CDN 的容器化(如圖 3-3)主要包括:CDN 服務的容器化、CDN網絡和存儲的集成。22 圖圖 3-3 容器化容器化 CDN 功能架構圖功能架構圖 CDN 服務
34、以容器 Pod 的形式部署,通過 Kubernetes 提供的多種服務部署類型,構建容器化的 CDN 服務。部署和接口逐步過渡到容器形態,主要包括:通過聲明式接口啟動 CDN 服務,未來考慮開發 Operator 提供自我管理、高可用性的服務。CDN 網絡的四層和七層負載均衡,均采用容器化服務部署,并和現有的 XDP 機制高效兼容。CDN 存儲充分利用當前內存和 bcache 的架構,通過輕量級的存儲方案實現 PV(持久化卷)的動態創建和綁定。中國聯通邊緣計算平臺升級為容器化形態,支持異構算力,需要依托平臺網絡容器化,進而實現邊緣計算平臺的互通互聯。在 CDN 23 場景下除了需要基本的容器網
35、絡互通之外,還涉及到多租戶間的網絡策略,尤以 4 層負載均衡為主,提供客戶更好的網絡負載,優化網絡訪問體驗,避免局部網絡擁塞,Kube-OVN 作為容器化網絡接口,在新版本中集成了 Cilium 策略,支持優先級 QoS,VPC 下的 4 層負載均衡,引入內核 eBPF 技術實現數據面策略,Kube-OVN 側重上層編排,Cilium 側重數據面負載的實現,兩者有機結合提供完備的 CDN網絡容器化方案。CDN 存儲底層基于本地的塊設備或者文件系統,方案采用基于Intel Smart Edge Open 的本地存儲方案 OpenEBS LocalPV,它提供了 LVM、ZFS、Hostpath
36、等多種本地存儲方案,并提供 CSI 動態創建容器化 CDN 服務所需要的數據卷。3.1.3 容器化 CDN 產品實踐 邊緣 CDN 在實驗室搭建環境(如圖 3-4)。圖圖 3-4 CDN 性能測試環境搭建性能測試環境搭建 24 通過驗證,我們發現邊緣 CDN 容器化方案存在諸多優勢:(1)性能無損:網絡 Kube-OVN 相比 OVS,在數據面轉發性能上沒有明顯下降。Kube-OVN 集成的 Cilium 數據面完成 4 層負載均衡的性能測試沒有明顯下降,底層存儲的 OpenEBS 相比 bcache裸金屬部署,性能也沒有明顯的降低。(2)部署便利:Kube-OVN提供自動化的容器網絡,對IP
37、進行分配,實現網絡策略。OpenEBS 通過 Operator 提供自動化的存儲服務部署和服務的高可用性。(3)彈性伸縮:Kube-OVN 除了提供基本的容器網絡管理,還支持多 CNI 擴展。(4)提升用戶感知:便于和 Telemetry 組件(Prometheus、Grafana)集成,實現集群內部數據的可視化。3.2 車聯網邊緣創新實踐 3.2.1 中國聯通基于 MEC 的車聯網基本架構 中國聯通面向智慧交通,依托 MEC、切片、QoS 等 5G 專網服務能力,提供低時延、高可靠、彈性算力的邊緣計算環境,提出基于5G+C-V2X+MEC 融合組網的“端-管-云”一體化車聯網系統架構(如圖
38、3-5),通過云邊協同實現車聯網業務“一點創新,全國復制”的快速靈活部署,滿足車路協同不同業務需求。25 圖圖 3-5 “5G+C-V2X”車路協同融合組網方案車路協同融合組網方案 架構通過“端”、“管”、“云”實現環境感知、數據融合計算和決策控制,從而提供安全、高效、便捷的智慧交通服務。其中:端側是端側是交通服務中實際參與的實體元素,包括通信功能的 OBU、RSU 等,感知功能的攝像頭、雷達等,以及路側交通設備包括紅綠燈、公告牌、電子站牌等。管側是管側是實現“車-路-人-云”互聯互通的網絡,包括 5G、C-V2X 及其他可能的通信技術網絡,網絡支持根據業務需求的靈活配合,同時保障通信的安全可
39、靠。云側是云側是實現各種數據匯集、計算、分析、決策以及管理等功能的車路協同服務平臺,包括業務服務、數據服務以及網絡服務等子系統,根據業務需求可部署在邊緣側或中心云。3.2.2 車聯網場景化產品介紹 針對車聯網產業內基礎設施運維管理接口不統一、網絡性能不可見以及實時業務部署不靈活的問題,中國聯通自主研發“5G 車路協同網絡能力服務平臺”(如圖 3-6),聚焦統一運維管理、網絡能力監控及調用、基于 MEC 的 AI 融合業務使能。通過中國聯通 MEC 邊緣計 26 算節點,為業務平臺提供敏捷、安全的彈性算力支持。圖圖 3-6 5G 車路協同網絡能力服務平臺車路協同網絡能力服務平臺 (1 1)基礎設
40、施運維管理子系統)基礎設施運維管理子系統 基礎設施運維管理子系統是面向網絡服務類的重要子系統,主要功能是通過 5G 等多種網絡手段實時采集 RSU、攝像頭、雷達、車載網關等設備上報的數據和下發指令,實現對車聯網基礎設施的遠程監管與控制,是保障車聯網全域交通感知系統的穩定運行,支撐未來大規模商用和運營的重要基礎?;A設施運維管理子系統實現了集約化監控、管理、維護功能,可對接 RSU、OBU、攝像頭、激光雷達、毫米波雷達 5 類設備,提供包括管理服務、參數配置、OTA 升級、告警服務等 7 種運維服務,支持 15 種運維參數管理。(2 2)網絡監控及能力調用子系統)網絡監控及能力調用子系統 網絡監
41、控及能力調用子系統可提供面向 5G 和 V2X 網絡 2 類網絡的性能監控,并提供 20 種質量參數監控及 10 種應用服務。系統通過 MQTT 等協議實時獲取 RSU/OBU 的 5G 和 V2X-PC5 接口網絡質量,向智能網聯汽車提供關鍵的網絡質量指標,包括 RSRP、SINR、時延、丟包率等,并提供歷史的網絡質量軌跡和區域網絡質量熱力圖,用來評估某特定區域、路線或時刻的網絡質量,提供必要的網絡預知 27 能力;系統同時實現 QoS 網絡能力的調用,根據不同的業務需求提供不同的網絡性能保障。(3 3)融合業務使能子系統)融合業務使能子系統 融合業務使能子系統主要實現在聯通 MEC 環境內
42、實現路側感知設備多源數據融合及消息播發,實現車聯網業務部署端到端流程打通。系統通過 5G 網絡實現路側感知數據回傳至 MEC 平臺,融合業務使能子系統對路側感知數據進行時間和空間的雙重融合,計算決策后將決策消息通過 5G/V2X 下發到車端,充分降低車端復雜度及成本,實現毫秒級的事件響應。3.2.3 車聯網場景化產品實踐 2021 年 12 月 17 日,中國聯通與國家智能商用車質量檢驗檢測中心聯合成立“5G 車路協同聯合測試研究中心”(如圖 3-7),面向智慧交通領域開展 5G 車路協同創新場景測試、網絡新技術驗證等。同時,雙方還簽署了戰略合作協議,面向全國車企及解決方案廠商提供測試驗證服務
43、。28 圖圖 3-7 “5G 車路協同聯合測試研究中心車路協同聯合測試研究中心”發布會發布會 基于測試研究中心,中國聯通在常州搭建全國最大、基礎設施完備的 5G 獨立專網(含 MEC)車路協同測試床(如圖 3-8)。測試床總長約 3.4 公里,包括 8 個 5G 基站、14 個 RSU、34 個攝像頭、21個毫米波雷達、2 個激光雷達、7 個 CPE。測試床依托中國聯通 5G 行業專網“低時延、高可靠、彈性算力”解決方案,通過 5G 網絡切片提供高可靠通信服務,實測車端到邊緣計算節點訪問時延低至 4.53ms,平均抖動小于 0.2ms,丟包率接近 0,指標行業領先。圖圖 3-8 “5G 智能車
44、路協同測試床智能車路協同測試床”現場現場 測試床依托“5G 車路協同網絡能力服務平臺”實現車聯網基礎設施運維、網絡監控及能力調用、邊緣 AI 融合使能業務服務,基于 AI 29 做智能決策后直接下發到車端,支持 5G 和 V2X 雙路消息播發,充分降低車端復雜性和成本,支撐低速云控駕駛落地;目前已完成碰撞預警、紅綠燈提醒、限速預警、車輛逆行提醒等 10 余項業務測試(如圖 3-9)。(a)車輛碰撞提醒 (b)車輛逆行提醒 (c)限速提醒 (d)紅綠燈提醒 圖圖 3-9 “5G 智能車路協同測試床智能車路協同測試床”業務業務場景場景測試測試 3.3 工業互聯網邊緣創新實踐 3.3.1 中國聯通基
45、于 MEC 的工業互聯網基本架構 中國聯通工業邊緣計算平臺的功能架構如圖 3-10 所示。平臺提供開發服務框架和部署運營服務框架,能夠實現開發與部署的智能協同,從而實現軟件開發接口一致和部署運營自動化。南向接口集成工業傳感、工業裝備等工控接口,北向接口集成工業 APP,通過 OT 和 ICT 融合實現多種典型應用,包括工業裝備預測性維護、工業現場能耗分析、工業生產過程業務編排、工業現場設備聯網等。另外中國聯通工業邊緣計算平臺能集成多種定制化的垂直應用,以供不同的生產 30 企業選擇使用,包括生產設備在線實時狀態檢測、生產設備在線巡檢、邊緣計算平臺網絡互聯以及遠程云端管理服務等功能。圖圖 3-1
46、0 中國聯通工業邊緣計算平臺功能架構圖中國聯通工業邊緣計算平臺功能架構圖 3.3.2 工業互聯網場景化產品介紹 目前,中國聯通積極響應國家“互聯網+智能制造”戰略,開啟面向 5G 網絡的工業制造邊緣計算平臺研發及業務示范工作,為制造業的提質升級提供強有力的技術支撐。聚焦工業控制、工業數據管理和工業運營管理,中國聯通主要提供以下三種標準化平臺產品。工控云化工控云化 PLC 平臺平臺:是基于 5G 和 MEC 的工業軟件定義控制系統。通過 5G 連接、基于 MEC 邊緣計算節點的自主可控、業界領先的云化 PLC 控制器及工業操作系統,可一體化實現工業 L1L3 層的工業控制、監視操作、智能應用等功
47、能,有效替代現場 PLC、工控機、網關等設備。工控云化 PLC 包括軟件定義的控制系統、桌面系統、組態和編程套件等,集成了傳統工控機和 PLC 的全部功能,可實現PLC 輕松連接至互聯網、系統實現智能化、無需更換 PLC 硬件即可改變和升級 PLC 設備功能,并可以通過軟件升級來提高效率。單節 31 點可提供 20 個以上云化 PLC 控制器,配套提供 IEC61131-3 標準圖形化組態編程套件且內置豐富協議庫,輕松實現移動化、智能化、協同化工業控制場景。雁飛格物雁飛格物 DMP 平臺平臺:是一套支持云邊協同的設備管理平臺,提供物聯網設備統一接入、統一管理服務,橫向融通云視頻、大數據、人工智
48、能、區塊鏈等能力,并通過應用開放能力面向行業應用賦能,支持行業應用及解決方案打造。依托聯通網絡資源稟賦,實現云網深度融合,具有全域感知、物網融合、智能敏捷、云邊協同、應用聚焦、安全可信等能力優勢。工業工業 MEC 運營管理平臺運營管理平臺:主要基于 5G 技術并融合 OT+IT+CT技術,面向工業用戶提供工業設備、網絡和業務一體化的邊緣支撐服務。系統通過實現對工業要素的數字化,并將數字化賦能至各類生產應用,提升生產效率,降低運營成本。平臺主要由智能感知能力層和工業 MEC 應用層組成,完成對工業要素的運營管理。工業 MEC 運營管理平臺能夠實現 5G+工業網絡的智能感知服務,同時具備對邊緣設備
49、、網絡和業務實時感知和分析能力,能夠提供工業及物聯網終端、網絡和業務綜合分析能力,并搭建時序數據、數字孿生以及 AI 的通用能力為工業 SAAS 應用賦能,快速實現工業應用場景的落地。3.3.3 工業互聯網場景化產品實踐 中國聯通與汽車及智能制造等行業龍頭企業開展合作,打造了一系列有影響力的商用落地項目。中國聯通和合作汽車制造廠商共同打造 5G 智慧工廠(如圖 3-11),樹立全國標桿,以 5G 網絡為基礎,促進智能制造高質量發展,32 以邊緣計算平臺以及創新應用為核心,實現企業降本增效。充分利用5G 網絡在傳輸時延、丟包率等核心參數的優勢,將 OPC、Enternet、MODBUS 等多種主
50、流信息化工業以太網網絡統一替代為 5G 網絡,大幅增加網絡帶寬;信息化系統將底層信息運算分析后實時反饋指令控制設備,實現信息化系統控制設備。同時,利用數字孿生技術,實現近端工人和遠端專家協同,遠程設備維護;通過 5G+AR 技術,實現真實環境下可視化操作指導,提升新人上手速度;在現場部署高清攝像頭,利用深度學習算法生成模型、識別物件的外觀缺陷,智能檢測產品外觀缺陷;通過攝像頭采集、自動識別、展示告警方式,實現設備遠程監控和預警,提升整體運行維護效率,降低了企業運營成本。AR 安裝指導安裝指導 遠程監控系統遠程監控系統 圖圖 3-11 汽車汽車領域領域智慧工廠智慧工廠 在電子產品智能制造領域“5
51、G+工業互聯網”應用中(如圖3-12),打造精密連接器制造行業的 5G 全連接燈塔工廠,該區域包含沖壓、電鍍、成型、裝配四大關鍵制程,需利用 5G+工業互聯網創新應用技術,解決當前場域的多個痛點。借助 5G+MEC,為 AGV 大規模調度組網提供能力支撐,降低運營成本;實時采集現場視頻數據,實現模具質量自動化檢測,品控提升;采集 ORC 標簽高清圖片,實現標簽解析與快速比對;5G+AR 技術虛實結合指導一線人員操作,提升巡檢的效率。33 AGV 調度調度 自動化質檢自動化質檢 巡檢巡檢 AR 指導指導 圖圖 3-12 智能制造智能制造領域領域智慧工廠智慧工廠 中國聯通協助合作伙伴在智能制造領域
52、不斷探索前進,通過MEC 邊緣計算的開放式架構,以業務場景為驅動,推進制造企業向智造企業轉型升級,形成全新的生產制造和服務體系,優化資源要素配置效率,推動制造業高質量發展,促進先進制造業和現代服務業融合發展,為工業企業的轉型升級和持續創新賦能。34 4 總結與展望 中國聯通一方面不斷夯實研發基礎打造邊緣計算平臺,另外一方面立足運營商運維營服優勢,“賦能賦智賦值”垂直行業數字化轉型,助力 5G 市場新賽道開辟,實現業務規模推廣。標準標準制定方面:制定方面:中國聯通 MEC 基于研發沉淀,申請發明專利 99項(其中 41 項已授權),形成軟著 17 項,發表論文 21 篇,獲業內權威認證 4 項,
53、承擔及參與國際、國內、企業標準立項 16 項,發布白皮書 4 項,參與國家重大專項 2 項,以集團名義授牌聯合創新實驗室 2 個。項目成果先后獲得 SNAI 推委會 2021 年度最佳案例獎、CCSA2021 邊緣計算優秀服務獎等 21 項。產品演進方面:產品演進方面:中國聯通結合未來社會泛在無線、泛在智能等特征,將重點布局裝備制造、智慧礦山、智慧鋼鐵、服裝制造、汽車制造、智慧醫療、智慧法務、智慧應急、智慧交通九大行業場景類邊緣計算解決方案,構建產品優勢,提升邊緣價值。生態合作方面:生態合作方面:構建邊緣生態孵化環境,開放邊緣能力接口,實現邊緣應用“一點創新,全國復制”,攜手合作伙伴,共建邊緣
54、生態。在產業合作方面在產業合作方面:中國聯通聯合英特爾等產業合作伙伴推出EdgePOD 邊緣計算解決方案,提供“邊緣網絡+算力+開放平臺”融合能力;與西班牙 Telefonica 電信和韓國 KT 電訊聯合實現 5G MEC 應用互通和漫游對接,成功實現跨國 MEC 邊緣生態的互享、感知、調度和跨國漫游。我們期待與各界同仁一起,共同參與邊緣計算的技術標準研究、平臺開發、典型業務場景演示與驗證,共同推動邊緣生態蓬勃發展。35 主編主編 蔡超、邱佳慧、候迎龍 編寫組編寫組主要主要成員成員 中國聯通:馮選、張香云、張志豪、高沛、吳璟、苗甦、白樺、許歡、劉鑫 浙江九州云信息科技有限公司:劉高艷、黃舒泉、張敏 Intel:陳鋌杰,董闖,曾紅李 中興通訊股份有限公司:岳文卿、黎云華