《ODCC：2023邊緣超融合網關技術白皮書（81頁）.pdf》由會員分享，可在線閱讀，更多相關《ODCC：2023邊緣超融合網關技術白皮書（81頁）.pdf（81頁珍藏版）》請在三個皮匠報告上搜索。

1、 1 邊緣超融合網關技術白皮書 ODCC-2023-04002 編號 ODCC-2023-04002 I 邊緣超融合網關技術白皮書 ODCC-2023-04002 版權聲明版權聲明 ODCC（開放數據中心委員會）發布的各項成果，受著作權法保護，編制單位共同享有著作權。轉載、摘編或利用其它方式使用 ODCC 成果中的文字或者觀點的，應注明來源：“開放數據中心委員會 ODCC”。對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出版等侵權行為，ODCC 及有關單位將追究其法律責任，感謝各單位的配合與支持。II 邊緣超融合網關技術白皮書 ODCC-2023-04002 編寫組編

2、寫組 項目經理：項目經理：陳共龍 騰訊計算機系統有限公司 工作組長：工作組長：陳煒 騰訊計算機系統有限公司 貢獻專家：貢獻專家：湯明 阿里巴巴（中國）有限公司 何方石 百度網訊科技有限公司 龔志敏 百度網訊科技有限公司 黃偉 百度網訊科技有限公司 常金鳳 中國信息通信研究院 鄒素雯 烽火通信科技股份有限公司 王穎 烽火通信科技股份有限公司 唐衛君 思科公司(Cisco)蔣星 思科公司(Cisco)鄭飛 思科公司(Cisco)凌軍 思科公司(Cisco)白艷 中國移動通信有限公司研究院 王瑞雪 中國移動通信有限公司研究院 丁曉艷 英特爾(Intel)孫金超 英特爾(Intel)III 邊緣超融合

3、網關技術白皮書 ODCC-2023-04002 前前 言言 隨著云計算、物聯網、人工智能等技術的快速發展，數據的產生和處理速度正在以前所未有的速度增長。在這個背景下，邊緣云計算作為一種新的計算范式，正在逐漸受到業界的廣泛關注。邊緣云計算將計算和存儲任務從數據中心移向網絡的邊緣，更接近用戶，以實現更低的延遲體驗，更少的帶寬成本。然而，邊緣云計算也面臨著諸多挑戰，如：邊緣云站點資源池雖然規模不大，但是業務網絡功能需求全；邊緣云業務場景對網關性能需求較高；邊緣云機房規模較小，對成本較敏感；不同位置的邊緣云網關設備選型難等。為了解決這些挑戰，我們提出了一種面向邊緣云計算的超融合網關技術。超融合網關技術

4、是一種基于新型的網絡設備，集成了多種硬件，以滿足不同應用的需求的技術。它將傳統的網絡功能與虛擬化隔離、業務高并發技術、異構資源統一優化等先進技術相結合，實現了網絡設備的高度集成和智能化。超融合網關極大地提高了網絡的靈活性和可擴展性，同時也降低了網絡管理的復雜性和成本。在這份白皮書中，我們將詳細介紹邊緣云計算的定義、典型場景、優勢與挑戰，以及超融合網關技術的定義、形態和技術架構。我們還將深入探討面向邊緣計算的超融合網關技術，包括控制面技術、應用層技術、轉發面技術以及硬件接口層技術。我們希望這份白皮書能為業界提供一個全面的視角，理解和應用邊緣云計算和超融合網關技術。我們相信，通過這些技術，我們可以

5、更好地處理和管理大量的數據，提供更高效、更安全的服務，IV 邊緣超融合網關技術白皮書 ODCC-2023-04002 推動邊緣云計算、物聯網等技術的發展，最終實現更智能、更互聯的世界。由于時間倉促，水平所限，錯誤和不足之處在所難免，歡迎各位讀者批評指正。如有意見或建議請聯系編寫組。V 邊緣超融合網關技術白皮書 ODCC-2023-04002 目目 錄錄 版權聲明.I 編寫組.II 前 言.III 一、邊緣云計算.1（一）邊緣云計算的定義.1（二）邊緣云計算的典型場景.2 1 邊緣云游戲場景.2 2 邊緣音視頻場景.3 3 安防監控場景.7 4 工業互聯網應用場景.8 5 本地覆蓋類場景.10

6、6 場景需求總結.11（三）邊緣云計算的優勢與挑戰.11 二、超融合網關技術.12（一）超融合網關定義.12（二）超融合網關形態與技術架構.14（三）超融合網關典型網元功能.18 1 負載均衡(LB,Load Balance).18 2 網絡地址轉換(NAT,Network Address Translation).21 3 物理機和虛擬機互通（PV,Physical-to-Virtual Gateway）.25 4 彈性 IP(EIP,Elastic IP).26 5 虛擬專用網絡(VPN,Virtual Private Network).29 VI 邊緣超融合網關技術白皮書 ODCC-20

7、23-04002 6 專線(DG,Dedicated Gateway).32 7 工業與物聯網邊緣云協議轉換網關（Protocol Conversion Gateway）.35 三、面向邊緣計算場景的超融合網關關鍵技術.39（一）控制面技術.39 1 監控模塊.40 2 運營模塊.41 3 安全性模塊.42（二）應用層技術.45 1 容器隔離技術.45 2 輕量化的容器管理技術.48 3 流水線隔離技術.50（三）轉發面技術.56 1 表項規格擴容技術.56 2 協議狀態一致性同步技術.59 3 自動化測試覆蓋技術.61 4 其他技術.65（四）硬件接口層技術.66 四、結語與展望.69 五、

8、參考資料.71 六、縮略術語.72 1 邊緣超融合網關技術白皮書 ODCC-2023-04002 邊緣超融合網關技術白皮書邊緣超融合網關技術白皮書 一、一、邊緣云計算邊緣云計算 （一）（一）邊緣云計算的定義邊緣云計算的定義 圖 1 邊緣云計算定義 邊緣云計算是相對的概念，它相對于中心云而言，它部署的位置將更遠。能夠作為中心云能力的一種延伸，更加貼近用戶，將計算能力拓展至“最后一公里”。如圖 1 所示，根據邊緣計算位置的不同，可以分為區域、現場和 IoT 邊緣云。中心云機房：中心云機房：此類機房具備大于 10 萬臺服務器的規模，部署在一線城市，他們到用戶的延遲一般小于 30ms，提供了完整的云服

9、務和解決方案。區域邊緣云：區域邊緣云：此類機房部署在省會以及地級行政區城市，機房規模一般 100 到 1000 臺，延遲一般小于 10ms，提供了大部分的云服務和解決方案。2 邊緣超融合網關技術白皮書 ODCC-2023-04002 現場級邊緣云：現場級邊緣云：此類機房部署在用戶 IDC 機房現場側，一般提供一套機柜方案，和用戶 IDC 機房的機器混合部署，它的規模更小。IoTIoT邊緣云：邊緣云：此類邊緣云設備也是部署在用戶機房內，他們會使用資源更加有限的網關設備，對接各類 IoT 設備協議，令 IoT 設備能夠接入中心云，提供給用戶管理。（二）（二）邊緣云計算的典型場景邊緣云計算的典型場景

10、 1 1邊緣云游戲場景邊緣云游戲場景 圖 2 云游戲 圖 3 中心云游戲架構與邊緣云游戲架構 云游戲，簡單來說就是以云計算為基礎的游戲方式。如圖 2 所 3 邊緣超融合網關技術白皮書 ODCC-2023-04002 示，傳統游戲的運行模式都是直接在用戶的本地設備上執行（如，手機和主機），而在云游戲的運行模式下，所有游戲都在“云上”運行，并將渲染完成的游戲畫面壓縮后通過網絡傳送給用戶。云游戲大大降低了對硬件的依賴，使得用戶在普通的 PC 機/手機上也可以體驗制作精美的 3A 大作。云游戲在早期的時候，將視頻的渲染推流等能力都放置到中心云的服務器上，距離用戶遠，延遲大。玩家能夠體驗的游戲被限制在非

11、延遲敏感的小型游戲上，比如：策略對戰類，棋牌類等。近幾年，隨著邊緣計算技術的成熟和興起，越來越多的廠商開始嘗試將基于中心云的云游戲架構演進到基于邊緣云的云游戲架構。邊緣計算站點規模小，分布范圍廣，用戶可以就近接入邊緣站點，從而降低游戲時延。如圖 3 所示，在邊緣云游戲場景中，業務將渲染引擎和視頻壓縮推流引擎部署在邊緣云以降低網絡時延，從而帶來媲美傳統游戲的體驗。為了滿足大規模用戶接入的需求，邊緣云站點中需要具備負載均衡的能力，以為用戶選擇體驗最佳的推流接入服務；同時，為了大幅降低用戶體驗延遲，邊緣云站點與中心云站點之間還需要具備全局路由調度能力，以降低游戲狀態同步的延遲。2 2邊緣音視頻場景邊

12、緣音視頻場景 音視頻，主要指的是以直播、點播等為代表的視頻場景業務。國內泛娛樂直播龍頭企業，在直播業務尤其是音視頻通信方面有很 4 邊緣超融合網關技術白皮書 ODCC-2023-04002 強的技術積累，近年來自身的直播業務覆蓋音樂、脫口秀、舞蹈、戶外、體育、游戲等多個細分品類，其強大的音視頻能力也對其他ToB企業開放，同時積極嘗試采用新的技術手段優化其自身上層直播業務，進一步提升終端用戶的使用體驗。圖 4 傳統互聯網視頻直播架構與基于邊緣云的視頻直播 架構對比 在音視頻的業務中，對實時性有極高的要求，如游戲語音、直播等。這類業務需要對音頻、視頻內容的分發保證超低延，從而保證終端用戶的極致體驗

13、。但是，如何能夠在不增加業務成本的同時，保證用戶的低延時體驗，成為音視頻廠商必須解決的難題。通過與云廠商合作推進音視頻直播架構部署在邊緣節點，在更好的體驗與更低的帶寬成本之間實現了平衡。如圖 4 所示，在進行架構升級之前，客戶將音視頻直播架構部署在中心云，將視頻數據在中心云處理完成之后，再通過 CDN 節點 5 邊緣超融合網關技術白皮書 ODCC-2023-04002 分發到終端用戶?；谥行脑频闹辈ゼ軜嬘袔c劣勢：帶寬成本方面相對較高、分散在全國的終端用戶直播體驗欠佳?；谝陨蠋c劣勢，在充分了解邊緣云各項優勢的前提下，客戶考慮將基于邊緣節點升級音視頻直播架構?？蛻魧⑦吘壒濣c作為視頻源站，實

14、現就近上傳、推流、轉碼、渲染，面向本地用戶實現就近分發，實現本地化視頻鏈路質量保障，實現低成本、低延遲的新型視頻架構。在這一案例中，云廠商為客戶提供了遍布全國的邊緣算力資源和帶寬資源，幫助客戶完成了音視頻架構升級?？蛻魧崿F了帶寬成本降低，并且同時大幅提升了終端用戶的使用體驗，實現了較為明顯的降本增效。伴隨著大家閱讀信息的方式由文字轉向長/短視頻，同時也在通過文字彈幕或者直接連麥的方式參與其中。面臨成本、用戶體驗等多重壓力。6 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 5 邊緣直播場景示意圖 圖 6 邊緣直播網絡架構圖 依托于原有 CDN 資源的情況下，在邊緣云提供對主播的收

15、流、美顏、轉碼壓縮、推流到主數據中心，進行智能審核、編輯、錄制存儲等處理之后，分發資源到全球 CDN 中心，同時集成了即時通信、字幕等功能模塊。在客戶端通過 CDN 資源查看回播或制作好的長/短視頻，當觀看直播、實時語音或者文字交流時接入到邊緣計算中心。7 邊緣超融合網關技術白皮書 ODCC-2023-04002 邊緣云視頻制作中心需要大帶寬的專線接入到云主數據中心，用戶接入端需要在原有 CDN 的能力下提供實時的信息交流，邊緣融合網關需要具有大帶寬低延時、VPC、LB、EIP、安全等能力。3 3安防監控場景安防監控場景 圖 7 邊緣方案監控場景 安防監控行業主要面向智慧城市、智慧園區等場景。

16、國內安防監控龍頭企業，在安防監控業務方面有很強的技術積累和較大的市場份額，近年來業務的監控視頻考慮上云存儲，降低存儲成本。在安防監控的業務中，對彈性存儲有極高的要求，這類業務通過攝像頭采集視頻數據，在本地做聚合之后上傳到云端采集。傳統的安防監控架構則是將視頻在本地做聚合之后上傳到云中心進行存儲，該方案的特點是存儲及帶寬成本高。因此，為了降低存儲及帶寬成本，客戶采用了云邊端一體的安防監控架構?？蛻魧⒁曨l在本地做聚合之后上傳到距離攝像頭最近 8 邊緣超融合網關技術白皮書 ODCC-2023-04002 的邊緣節點，利用邊緣冗余上行帶寬，將視頻流、圖片就近上傳邊緣，進行抽幀/結構化處理，核心數據通過

17、云邊網絡回傳中心分析&存儲。如圖 7 所示，在這一案例中，云廠商為客戶提供了遍布全國的邊緣存儲資源和帶寬資源，幫助客戶完成了云邊端一體的安防監控架構升級?？蛻衾眠吘壣闲腥哂鄮挻蠓冉档鸵曨l流、圖片傳輸成本，實現了較為明顯的降本增效。4 4工業互聯網應用場景工業互聯網應用場景 工業互聯網通過系統構建網絡、平臺、安全三大功能體系,打造人、機、物全面互聯的新型網絡基礎設施，形成智能化發展的新興業態和應用模式。隨著工業 4.0 的蓬勃興起和對現場設備管控、資源優化配置、生產智能化的需求不斷提升，工業互聯網正在向扁平化、云化、智能化演進。工業場景下，傳統中心云計算的安全性、實時性難以滿足需求，需要在

18、邊緣側實現具有低時延要求、輕量化的信息與物理深度融合應用。針對智能制造與智慧工廠等應用場景，邊緣計算可就近部署關鍵應用，提供智能化運維服務、實時流數據處理、安全可靠的網絡等運行環境，并與云平臺對接，利用大數據賦能生產與管理，從而發揮工業大數據的真實價值。全自動 SMT(Surface Mount Technology)生產系統是工業互聯網的一種典型應用場景，它以生產通信產品 PCB 為主。傳統的 SMT 產線是孤島式的數據采集，沒有設備相互間的溝通串聯。依靠技術人 9 邊緣超融合網關技術白皮書 ODCC-2023-04002 員的調整經驗設定參數，同時，產線上仍需要大量人員進行設備的維護和檢測

19、，如 SPI/AOI 誤判點數過多，造成產線直通率下降，每條 SMT 產線均需要固定一名目檢人員進行二次復判。大量的目檢造成成本提升且產能下降。圖 8 使用邊緣云計算方案的 SMT 生產系統 建立基于 SMT 大數據的邊緣云計算方案是解決上述問題的關鍵。如圖 8 所示，邊緣網關部署在 SMT 產線設備側，負責實時采集、緩存 SMT 數據，并結合 AI 推理引擎對數據進行輕量級實時分析檢測。部署在邊緣云的邊緣智腦平臺會對邊緣網關上送的數據進行準實時分析和利用，對 SMT 制程、SMT 機臺參數、SPI/AOI 檢測數據等進行中輕量級分析，及時偵測與處理 SMT 生產線的異常與不良。部署在中心云上

20、的 AI 模型負責對邊緣網關上送的數據進行深度分析和訓練；AI 模型訓練后生成的輕量級 AI 推理引擎，會下發到邊緣網關；中輕量級推理引擎被推送到邊緣云上的邊緣智腦服務器。整個解決方案中，中心云與邊緣云之間的協同，以及邊緣云與邊緣網關之間的協 10 邊緣超融合網關技術白皮書 ODCC-2023-04002 同是關鍵。連接邊緣網關、邊緣云和中心云的邊緣通信網絡需要克服數據傳輸瓶頸，實現低時延和高吞吐，并對數據、計算、網絡進行整體優化以達到最佳效率，最終達到云、網、邊、端四位一體的協同。5 5本地覆蓋類場景本地覆蓋類場景 本地覆蓋類場景包含多種落地產品，如新零售產品中，線上和線下服務結合，音視頻數

21、據量較大，但都具有本地化特征，主要覆蓋門店附近（如 50 公里內）的客戶。在智慧城市，智慧園區等產品中，視頻、攝像、應用服務等數據主要圍繞自身城市，數據量大且延時敏感；在工業互聯網和醫療教育等行業中，也都較多對延時就較高訴求。因此，本地覆蓋類場景通常具有地域性，跨區搬運數據情況相對較少，客戶更多希望數據能夠快速采集，生產，分析，管理等。本地覆蓋率場景中，延時與用戶體驗密切相關，傳統的中心云（通常節點大但節點數較少）距離客戶較遠，一方面會有較大的延時直接影響客戶體驗，服務質量；另一方面，本地大量音視頻數據回源搬運到中心云節點，也會產生不少的流量費用，此時多數情況希望就近計算出一定的結果，將數據量

22、大規模減小后再進行遠距離傳輸；邊緣云節點通常較小且較數量多，離客戶城市較近，可以較好服務此類場景。11 邊緣超融合網關技術白皮書 ODCC-2023-04002 6 6場景需求總結場景需求總結 從上述典型場景中，我們可以總結得到如下的網關需求：典型場景典型場景 網元需求網元需求 典型網關形態典型網關形態 云游戲 LB，NAT，PV x86服務器網關集群；可編程交換機 電商直播 LB，NAT，EIP，Firewall x86服務器網關集群；可編程交換機 安防監控 LB，VPNGW x86服務器網關集群；可編程交換機 工業互聯網 協議轉換網關 ARM 嵌入式網關 本地覆蓋類 LB，NAT，VPCG

23、W，EIP，VPNGW，專線網關 x86服務器網關集群；可編程交換機（三）（三）邊緣云計算的優勢與挑戰邊緣云計算的優勢與挑戰 邊緣云計算的優勢包括：低延時，分布式，低功耗，靈活部署邊緣云計算的優勢包括：低延時，分布式，低功耗，靈活部署等。等。邊緣云計算站點部署在地市/區縣/園區，更接近用戶，能夠承載低時延、高帶寬的應用。邊緣云計算站點麻雀雖小，五臟俱全：（1）資源池數量多，每個資源池的計算規模小,從幾臺服務器到幾十臺服務器不等；（2）邊緣站點單點的功耗低，易于靈活部署，信息處理的總體冗余性和可靠性更高；（3）運營商邊緣云承載 UPF 和應用，有高帶寬需求，同時 EIP、NAT、負載均衡等功能需

24、求全。當前邊緣云主要存在如下的挑戰：當前邊緣云主要存在如下的挑戰：1 1、邊緣資源池雖然規模不大，但是業務要求的網絡功能全、邊緣資源池雖然規模不大，但是業務要求的網絡功能全，有SDN自動化、BGP/OSPF/靜態路由、VXLAN、防火墻安全、EIP、NAT、12 邊緣超融合網關技術白皮書 ODCC-2023-04002 負載均衡功能等需求。其中網絡、安全設備占比高，云平臺、SDN控制器部署也需要占用計算開銷，硬件網絡設備和管理/網絡功能占用計算資源將降低邊緣資源池的總體性價比。2 2、邊緣云業務場景對網關性能需求也較高、邊緣云業務場景對網關性能需求也較高，如邊緣音視頻、直播推流等場景，對路由規

25、格、轉發性能等都有較高的需求；3 3、邊緣機房規模較小，對成本較敏感、邊緣機房規模較小，對成本較敏感，如果直接采用中心云的網關獨立集群的方案，將會引入較大的成本，降低單機房可售賣的資源，影響產品演進和發展；4 4、不同位置邊緣云網關設備選型不盡相同、不同位置邊緣云網關設備選型不盡相同：地市級邊緣云采用盒式路由器作為網關百 G 端口少，采用框式路由器/框式交換機，成本高，占用機架空間大，功耗大。需要根據具體場景選擇合適的網關設備型號。綜上所述，邊緣云計算站點資源池規模不大，但功能需求全，且網關設備選型困難，既要控制成本，又要滿足大規格、業務靈活部署需求。為了應對上述挑戰，邊緣云計算市場亟需一種集

26、合多種網絡功能、且能靈活部署的超融合網關設備，以節約機房空間、降低功耗/成本，實現降本增效。二、二、超融合網關技術超融合網關技術 （一）（一）超融合網關定義超融合網關定義 超融合網關是一種新型的網絡設備，它集成了多種硬件，以滿 13 邊緣超融合網關技術白皮書 ODCC-2023-04002 足不同應用的需求。它將傳統的網絡功能與虛擬化隔離、業務高并發技術、異構資源統一優化等先進技術相結合，實現了網絡設備的高度集成和智能化。超融合網關極大地提高了網絡的靈活性和可擴展性，同時也降低了網絡管理的復雜性和成本。超融合網關的出現，對網絡的發展產生了深遠的影響。首先首先，它改變了網絡的架構，使網絡更加靈活

27、和可擴展。傳統的網絡設備通常是單一功能的，而超融合網關則將多種功能集成在一起，可以根據需要靈活地提供各種服務。其次其次，超融合網關降低了網絡的管理復雜性和成本。通過統一的控制面技術，管理員可以輕松地管理和配置網絡。最后最后，超融合網關提高了網絡的性能。通過智能化的管理和優化，超融合網關可以保證網絡的高效運行，滿足用戶的需求?？偟膩碚f，超融合網關是網絡發展的一個重要趨勢，它將網絡設備的功能、性能和管理方式提升到了一個新的水平。隨著超融合技術的進一步發展，我們可以期待超融合網關將帶來更多的創新和變革。同時，相比于部署與中心云的超融合網關，部署在邊緣云的超融合網關還有如下特點：帶來更大的資源收益帶來

28、更大的資源收益：邊緣超融合網關通常部署在資源受限的環境中，而中心云場景的超融合網關通常部署在資源豐富的數據中 14 邊緣超融合網關技術白皮書 ODCC-2023-04002 心；因此，超融合網關技術在邊緣計算場景中將帶來更大的收益。更低成本更低成本：邊緣超融合網關技術可以減少對網絡帶寬成本的需求，因為數據在邊緣設備上進行處理，而不是傳輸到中心云。邊緣站點的帶寬成本相比于中心云的成本更低。提高數據安全性和隱私性提高數據安全性和隱私性：現場級邊緣超融合網關技術可以在本地處理敏感數據，降低數據泄露的風險。而中心云場景的超融合網關技術可能需要將數據傳輸到遠程數據中心，增加了數據泄露的風險。更強的可擴展

29、性更強的可擴展性：邊緣超融合網關技術通常具有更強的分布式處理能力，可以輕松地在多個邊緣設備上部署和擴展。而中心云場景的超融合網關技術通常依賴于集中式的數據中心資源。（二）（二）超融合網關形態與技術架構超融合網關形態與技術架構 圖 9 面向邊緣云計算的超融合網關典型部署位置 如圖 9 所示為面向邊緣云計算的超融合網關典型部署位置，一 15 邊緣超融合網關技術白皮書 ODCC-2023-04002 方面可以令用戶就近接入（專線接入，基于公網 VPN 接入或者無線空口接入等），另一方面可以與中心云也采用多種方式接入。超融合網關上可以集成多種網元能力（如，LB、NAT、EIP、PVGW、VPN、協議轉

30、換網關等），并對接多種業務流量（如，對用戶提供 LB 能力以分發流量給客戶虛機，對客戶虛機提供 NAT 能力出公網等）。超融合網關是一種面向邊緣計算場景的網絡設備，將多種網元融合在一起，以滿足資源受限環境下的需求。超融合網關可以采用不同的形態和技術架構，以下是三種典型的超融合網關形態：1)1)服務器服務器+可編程交換機形態：可編程交換機形態：硬硬件架構：件架構：服務器服務器：采用通用的 x86 或 ARM 處理器，提供計算和存儲資源，支持虛擬化技術，如 Docker、KVM 等。典型場景是提升網關可支持的表項規模、提供高密度計算的能力（如加解密等）?？删幊探粨Q機可編程交換機：采用可編程交換芯片

31、，如 Tofino、Silicon One 等，支持靈活的數據包處理和轉發功能。2)2)CPUCPU 芯片芯片+交換機交換機 ASICASIC 芯片芯片+FPGA+FPGA 高度集成形態：高度集成形態：硬件架構：硬件架構：CPUCPU 芯片芯片：采用高性能的 x86 或 ARM 處理器，提供計算和存儲資源，支持虛擬化技術。交換機交換機 ASICASIC 芯片芯片：采用高性能的交換機 ASIC 芯片，如 16 邊緣超融合網關技術白皮書 ODCC-2023-04002 Tofino，Silicon One，Broadcom Trident、Tomahawk 等，支持高速數據包處理和轉發功能。高度集

32、成高度集成：將高性能 CPU 芯片、交換機 ASIC 芯片與 FPGA 集成在同一硬件平臺上，降低功耗和空間占用。3)3)CPUCPU 芯片芯片+交換機交換機 ASICASIC 芯片芯片+IPU/DPU+IPU/DPU 等高度集成狀態：等高度集成狀態：硬件架構：硬件架構：CPUCPU 芯片芯片：與方案 2 類似，采用高性能的 x86 或 ARM 處理器，提供計算和存儲資源，支持虛擬化技術。交換機交換機 ASICASIC 芯片芯片：與方案 2 類似，支持高速數據包處理和轉發功能的交換機芯片。IPU(Infrastructure Processing Unit)/DPU(Data Processi

33、ng IPU(Infrastructure Processing Unit)/DPU(Data Processing Unit)Unit)芯片芯片：是一類具有高速以太網接口、豐富的存儲和計算資源、基于硬件安全的高級網絡設備，他們能夠卸載云計算基礎設施的功能（如虛擬化管理系統、容器引擎、網絡和存儲功能等），為云計算基礎設施釋放更多的資源。在上述超融合網關形態中，軟件架構軟件架構都包含以下組件：控制面控制面：控制面主要負責網絡設備的配置和管理、狀態監控、設備運營以及安全性鑒權等。在配置和管理方面，可以采用SDN 架構（如OpenDaylight、ONOS 等）來實現；在狀態監控方面，需要引入 CP

34、U 健康檢測、內存狀態監控、表項使用率監控、端口狀態監控等組件；在設備運營方面，需要支持路 17 邊緣超融合網關技術白皮書 ODCC-2023-04002 由協議管理、配置核查、配置對賬、升級管理、變更管理等組件；在安全性鑒權方面，需要支持對接入設備的安全性管控。應用層應用層：應用層主要關注如何實現多種應用在同一臺超融合網關設備上有序的執行，并且互不影響。此類技術包括容器維度的隔離技術，以及交換機流水線級別的隔離技術等。轉發面轉發面：轉發面主要關注如何實現高性能的數據包轉發、敏捷的產品迭代等維度。比如，采用表項擴容技術支持大規模的用戶并發；使用自動化測試覆蓋技術，加速超融合網關產品的迭代發布；

35、使用協議一致性同步技術，實現狀態網關的高可用特性等。硬件層硬件層：硬件層主要關注如何將異構的硬件有機的整合，實現超融合網關產品整體性能的優化。圖 10 典型的超融合網關軟硬件架構 18 邊緣超融合網關技術白皮書 ODCC-2023-04002 如圖 10 所示是一種典型的超融合軟硬件架構，基于全開放的硬件、SAI 接口、Sonic 操作系統及開源的部署運維工具構建統一的超融合網關形態。圖 11 典型的超融合網關硬件架構 如圖 11 所示是一種典型的超融合網關硬件架構，可提供 3.2T-51.2T 的帶寬，使用基于 P4 可編程 ASIC 芯片，可自定義基礎的L2/L3 轉發流程，片上 HBM

36、提供大表相及大 buffer 轉發。VoQ 架構提供高性能的流量 Shape 和 QoS 功能，同時具體豐富的 ACL 資源提供設備安全。有 PCIE 接口和專用端口與硬件 Multi-Core x86 CPU 通信，可將有狀態的 session 和 NAT 能力卸載到 x86 CPU 處理，同時可安裝所需的 Container App 提供相關的安全和運維監控能力。（三）（三）超融合網關典型網元功能超融合網關典型網元功能 1 1負載均衡負載均衡(LB,Load Balance)(LB,Load Balance)負載均衡是一種用于在多個服務器之間分配網絡流量，以提高應用程序的可用性、性能和可擴

37、展性的網元。負載均衡網關主要有 19 邊緣超融合網關技術白皮書 ODCC-2023-04002 兩種類型，即四層負載均衡（TCP 和 UDP 協議）和七層負載均衡（HTTP 協議和 HTTPS 協議）。圖 12 負載均衡網關架構圖 如圖 12 所示，四層負載均衡網元多機器集群部署，以提高可用性和穩定性。四層負載均衡集群內的每一臺節點服務器均勻地分配海量訪問請求，并且每一臺節點服務器之間都有會話同步策略，以保證高可用。它的典型流程包括：它的典型流程包括：1)客戶端發起 TCP/UDP 類型的請求，請求到達四層負載均衡網關；2)四層負載均衡網關根據分發策略選擇一個后端業務服務器；3)將請求轉發到選

38、定的后端服務器；20 邊緣超融合網關技術白皮書 ODCC-2023-04002 4)后端服務器處理請求并返回響應；5)負載均衡網關將響應返回給客戶端。七層負載均衡網元也是多機器集群部署，并且具備集群內機器會話相互同步的能力。它的典型流程與四層負載均衡網元類似，根據業務部署的需求、流量的交互模式，有一些不同的流量路徑。具體地：1)四層和七層負載均衡聯合的形式：四層和七層負載均衡聯合的形式：七層負載均衡在接受到四層負載均衡的請求流量后，如果是首次請求 HTTPS 流量，將會調用 Key 服務器集群進行證書驗證及數據包加解密等前置操作，之后再按照流量分發策略交付給業務服務器 2)七層負載均衡單獨承載

39、流量的形式七層負載均衡單獨承載流量的形式：七層負載均衡集群直接接受客戶流量，其余流程與 1）類似。負載均衡網元包含關鍵功能的有：負載均衡網元包含關鍵功能的有：分發分發流量流量：根據預定義的策略，將客戶端請求分發到后端服務器。常見的策略包括輪詢、最少連接、源 IP 哈希等。健康檢查健康檢查：定期檢查后端服務器的健康狀況，確保流量只分發到正常運行的服務器。會話保持會話保持：為了保證用戶體驗，可以通過會話保持功能將同一客戶端的請求分發到同一臺服務器。SSLSSL 加解密終結加解密終結：在負載均衡器上處理 SSL/TLS 加密和解密，21 邊緣超融合網關技術白皮書 ODCC-2023-04002 減輕

40、后端服務器的計算負擔。緩存和壓縮緩存和壓縮：對靜態資源進行緩存和壓縮，以減少網絡延遲和帶寬消耗。負載均衡網元的典型關鍵設計一般包括：負載均衡網元的典型關鍵設計一般包括：硬件與軟件硬件與軟件：負載均衡網關可以是專用硬件設備，也可以是基于軟件的解決方案。硬件負載均衡器通常具有更高的性能，而軟件負載均衡器具有更好的靈活性和可擴展性。層次結構層次結構：可以采用單層負載均衡結構，也可以采用多層負載均衡結構，以實現更高的可用性和容錯能力。部署方式部署方式：負載均衡網關可以部署在數據中心、云環境或混合環境中，以滿足不同的業務需求。安全性安全性：負載均衡網關應具備防止 DDoS 攻擊、SYN flood 攻擊

41、等網絡安全威脅的能力。2 2網絡地址轉換網絡地址轉換(NAT,Network Address Translation)(NAT,Network Address Translation)網絡地址轉換（NAT）是一種用于在私有網絡和公共網絡之間轉換 IP 地址的網元。它允許多個設備共享一個公共 IP 地址，從而節省 IP 地址資源并提高網絡安全性。典型場景如訪問公網服務訪問公網服務：邊緣網絡只希望主動訪問公網上的業務，而不希望邊緣站點的業務直接暴露在公網上從而有被攻擊的 22 邊緣超融合網關技術白皮書 ODCC-2023-04002 風險，可以選用公網 NAT 網關為業務提供安全防護能力。圖 13

42、 NAT 網關網絡架構 如圖如圖 1313 所示，所示，NATNAT 網關典型的訪問公網服務的（網關典型的訪問公網服務的（SNATSNAT）流程包）流程包括：括：1)邊緣計算機房中的內部網絡設備發起請求，請求到達 NAT 網關集群。2)NAT 網關集群根據預先配置的規則，將內部 IP 地址和端口號轉換為公網 IP 地址和端口號。3)將轉換后的請求發送到公共網絡。4)公共網絡中的目標服務器處理請求并返回響應。23 邊緣超融合網關技術白皮書 ODCC-2023-04002 5)響應到達 NAT 網關，NAT 網關根據之前的轉換規則，將公網IP 地址和端口號轉換回內部 IP 地址和端口號。6)將響應

43、轉發給內部網絡中的設備。此外，此外，NATNAT 網關典型的提供公網服務的（網關典型的提供公網服務的（DNATDNAT）流程包括）流程包括：1)公共網絡中的用戶向指定的公網 IP 地址和端口號發起請求。2)響應到達 NAT 網關，NAT 網關根據預先配置的轉換規則，將公網 IP 地址和端口號轉換回內部 IP 地址和端口號。3)將響應轉發給內部網絡中的設備。4)邊緣計算機房中的內部網絡設備收到請求后，處理請求內容后，將返回包發送給 NAT 網關集群。5)NAT 網關集群根據預先配置的規則，將內部 IP 地址和端口號轉換為公網 IP 地址和端口號。6)將轉換后的請求發送到公共網絡中的用戶，完成整體

44、流程。網絡地址轉換的關鍵功能包括網絡地址轉換的關鍵功能包括：地址轉換地址轉換：將私有網絡中的內部 IP 地址轉換為公共網絡中的外部 IP 地址，反之亦然。這使得私有網絡中的設備可以訪問公共網絡，同時保護了內部網絡的安全。端口映射端口映射：通過端口映射，NAT網關可以將內部網絡中的多個設備映射到同一個公共 IP 地址上，從而實現多個設備共享一個公共 IP 24 邊緣超融合網關技術白皮書 ODCC-2023-04002 地址。路由功能路由功能：NAT網關通常具有路由功能，負責在內部網絡和外部網絡之間轉發數據包。防火墻功能防火墻功能：NAT網關可以提供防火墻功能，對進出內部網絡的數據包進行過濾和控制

45、，提高網絡安全性。網絡地址轉換的典型設計點包括網絡地址轉換的典型設計點包括：靜態靜態 NATNAT：靜態 NAT 是一種一對一的地址映射方式，將內部網絡中的一個 IP 地址映射到一個固定的公網 IP 地址。這種方式適用于需要固定公共 IP 地址的場景，如公共服務器。動態動態 NATNAT：動態 NAT 是一種多對一的地址映射方式，將內部網絡中的多個 IP 地址映射到一個或多個公網 IP 地址。這種方式適用于需要共享公共 IP 地址的場景，如普通上網用戶。端口地址轉換（端口地址轉換（PATPAT）：端口地址轉換是一種多對一的地址映射方式，通過端口號的映射，將內部網絡中的多個設備映射到同一個公共

46、IP 地址上。這種方式可以進一步節省 IP 地址資源。雙向雙向 NATNAT：雙向 NAT 同時支持內部網絡到外部網絡和外部網絡到內部網絡的地址轉換。這種方式適用于需要雙向通信的場景，如 VoIP 和 P2P 應用。部署方式部署方式：NAT 網關可以部署在邊緣站點、云環境或混合環 25 邊緣超融合網關技術白皮書 ODCC-2023-04002 境中，以滿足不同的業務需求。3 3物理機和虛擬機互通（物理機和虛擬機互通（PV,PhysicalPV,Physical-toto-Virtual GatewayVirtual Gateway）物理機和虛機互通網關（Physical-to-Virtual

47、Gateway，簡稱P2V Gateway）是一種用于實現物理機與虛擬機之間的通信和數據傳輸的網元。圖 14 PVGW 網關網絡架構圖 如圖如圖 1414 所示為物理機和虛機所示為物理機和虛機互通網關的典型流程。具體包括互通網關的典型流程。具體包括：1)物理機發起請求，請求到 PVGW 網關集群。2)PVGW 網關接受到 IP 數據包后，根據目的 IP 查詢隧道路由，封裝對應的 vxlan 隧道后，將請求轉發到虛擬網絡中的目標虛擬機，vxlan 隧道的外層一般包含虛擬機所在母機的 IP 等相關信息。26 邊緣超融合網關技術白皮書 ODCC-2023-04002 3)虛擬機處理請求并返回響應數據

48、包。4)響應數據包到達 PVGW 后，PVGW 剝離 vxlan 隧道信息，并根據內層目的 IP 信息，尋找到對應的物理機并轉發。物理機和虛機互通網關的關鍵功能包括物理機和虛機互通網關的關鍵功能包括：網絡適配網絡適配：將物理網絡與虛擬網絡進行適配，使物理機和虛擬機能夠互相通信。路由與轉發路由與轉發：在物理機和虛擬機之間轉發數據包，實現數據傳輸和遠程訪問。安全性安全性：提供訪問控制、流量過濾等安全功能，防止未經授權的訪問和數據泄露。網絡管理網絡管理：提供網絡管理功能，如帶寬監控、故障排查等，幫助優化網絡性能和穩定性。4 4彈性彈性 IP(EIP,Elastic IP)IP(EIP,Elastic

49、 IP)彈性IP網關是一種可以動態分配和解綁的公共IP地址的網元，通常用于邊緣云計算環境中。彈性 IP 是可以獨立購買和持有的、某個地域下固定不變的公網 IP 地址，提供訪問公網和被公網訪問的能力。普通公網 IP 和 EIP 均為公網 IP 地址，二者均可為邊緣云資源提供訪問公網和被公網訪問的能力。兩者的區別是：普通公網 IP 27 邊緣超融合網關技術白皮書 ODCC-2023-04002 僅能在 CVM 購買時分配且無法與 CVM 解綁，如購買時未分配，則無法獲得。而 EIP 是可以獨立購買和持有的公網 IP 地址資源，可隨時與 CVM、NAT 網關、彈性網卡和高可用虛擬 IP 等云資源綁定

50、或解綁。彈性彈性 IPIP 網關的關鍵功能包括：網關的關鍵功能包括：IPIP地址管理地址管理：彈性IP網關負責分配、回收和管理彈性IP地址，確保 IP 地址資源的高效利用。IPIP 地址綁定與解綁地址綁定與解綁：允許用戶根據需要將彈性 IP 地址綁定到特定的虛擬機或其他資源上，或從資源上解綁。流量轉發流量轉發：將公共網絡中的流量根據彈性 IP 地址轉發到相應的內部資源，反之亦然。高可用性高可用性：彈性 IP 網關應具備高可用性，確保在設備故障或網絡問題時，彈性 IP 地址仍能正常工作。28 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 15 EIP 網關的網絡架構 如圖如圖 1

51、515 所示，彈性所示，彈性 IPIP 網關的典型流程包括：網關的典型流程包括：1)用戶通過管理控制臺或 API 請求分配一個彈性 IP 地址。2)彈性 IP 網關從 IP 地址池中分配一個可用的公共 IP 地址，并將其與用戶的賬戶關聯。3)用戶將分配到的彈性 IP 地址綁定到特定的虛擬機或其他資源上。4)彈性 IP 網關更新路由表和地址映射規則，將彈性 IP 地址與內部資源關聯。5)公共網絡中的流量根據彈性 IP 地址被轉發到相應的內部資源，反之亦然。29 邊緣超融合網關技術白皮書 ODCC-2023-04002 6)用戶可以根據需要解綁彈性 IP 地址，并將其重新綁定到其他資源上。5 5虛

52、擬專用網絡虛擬專用網絡(VPN,Virtual Private Network)(VPN,Virtual Private Network)虛擬專用網關（VPN）是一種提供安全的網絡連接的網關，它可以在公共網絡上建立一個私有網絡，使得遠程用戶可以安全地訪問私有網絡中的資源。在邊緣云計算場景中，VPN 可以支持 IPSec 協議和 SSL 協議兩種虛擬網絡連接，打通 IDC、內部辦公網絡、移動端和云私有網絡 VPC/云聯網 CCN 全連接。圖 16 VPN 網關-租戶 VPC 與用戶 IDC 打通場景 30 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 17 VPN 網關-多個 I

53、DC 在通過 VPN 連接上邊緣云場景中實現互通 圖 18 VPN 網關-IDC 通過 VPN 主備通道實現主備容災上邊緣云 如圖如圖1616-圖圖1818所示，包含多種所示，包含多種VPNVPN網關與用戶網關與用戶IDCIDC互通的場景?；ネǖ膱鼍?。圖 16 所示為 VPN 網關-租戶 VPC 與用戶 IDC 打通場景，這是最簡單的用戶 IDC 就近上云的場景。圖 17 為 VPN 網關-多個 IDC 在通過 VPN 連接上邊緣云場景中實現互通的示意圖。用戶 IDC-1、IDC-2、IDC-3 分別通過各自的 IPsec VPN 設備接入邊緣云 VPC 型 VPN 網關，IDC-1、IDC-

54、2、IDC-3 之間不僅可以訪問 VPN 網關所屬私有網絡內的各類資源，還可以 31 邊緣超融合網關技術白皮書 ODCC-2023-04002 通過邊緣云 VPN 網關實現中轉互通，最終實現 IDC1、IDC2、IDC3 與 VPC 之間的安全通信。圖 18 是 VPN 網關-IDC 通過 VPN 主備通道實現主備容災上邊緣云的示意圖。用戶 IDC 僅需要與單個邊緣云 VPC 實現互通，在用戶 IDC 側，用戶可以部署兩臺 IPsec VPN 設備，分別與邊緣云私有網絡型 VPN 建立 IPSec VPN 通道，VPN 網關路由表配置兩條目的端一致的路由，通過優先級控制，實現主備通道效果；在發

55、生故障時，可以實現路由自動切換。虛擬專用網關的關鍵功能包括：虛擬專用網關的關鍵功能包括：安全連接安全連接：虛擬專用網關可以在公共網絡上建立一個安全的連接，保護數據的傳輸安全。認證和授權認證和授權：虛擬專用網關可以對用戶進行認證和授權，確保只有授權用戶可以訪問私有網絡中的資源。數據加密數據加密：虛擬專用網關可以對數據進行加密，保護數據的機密性。數據完整性數據完整性：虛擬專用網關可以對數據進行完整性檢查，確保數據沒有被篡改。網絡隔離網絡隔離：虛擬專用網關可以將公共網絡和私有網絡進行隔離，保護私有網絡中的資源不受公共網絡的影響。32 邊緣超融合網關技術白皮書 ODCC-2023-04002 6 6專

56、線專線 (DG,Dedicated Gateway)(DG,Dedicated Gateway)專線網關（Dedicated Gateway）是一種用于連接企業內部網絡和外部網絡（如云計算平臺、數據中心等），提供專用、高速、低延遲的網絡連接的網元。在定位上，專線網關私有網絡與物理專線建立專用通道的出入口，可以和多個物理專線間建立專用通道，實現連接多地的混合云部署。圖 19 專線網關架構圖 如圖 19 所示為專線網關的典型架構圖，在邏輯層，專線網關與用戶 IDC 內部網絡的路由器建立專用通道連接，并接受路由配置指向VPC網絡中的云服務器，實現用戶 IDC與邊緣云VPC的內網互通；在物理層，用戶的

57、 IDC 機房與邊緣云機房基于運營商提供的物理專線連接。其典型流程包括其典型流程包括：33 邊緣超融合網關技術白皮書 ODCC-2023-04002 1)企業與云計算平臺或數據中心提供商簽訂專線服務協議，建立專用連接。2)專線網關部署在企業內部網絡和外部網絡的交界處，負責連接兩個網絡。3)企業內部網絡中的設備發起請求，請求到達專線網關。4)專線網關根據路由規則，將請求通過專用連接轉發到外部網絡中的目標設備。5)目標設備處理請求并返回響應。6)響應通過專用連接到達專線網關，專線網關將響應轉發給內部網絡中的設備。專線網關的關鍵功能包括專線網關的關鍵功能包括：專用連接專用連接：專線網關提供專用的物理

58、或虛擬連接，確保網絡帶寬、延遲和穩定性。路由與轉發路由與轉發：在內部網絡和外部網絡之間轉發數據包，實現數據傳輸和遠程訪問。安全性安全性：專線網關可以提供安全性功能，如訪問控制、流量過濾等，防止未經授權的訪問和數據泄露。網絡管理網絡管理：專線網關可以提供網絡管理功能，如帶寬監控、故障排查等，幫助企業優化網絡性能和穩定性。34 邊緣超融合網關技術白皮書 ODCC-2023-04002 如下是一種典型的企業專線上云網絡架構，該專線網關用于提供企業對多云網絡的部署，經常和 SD-WAN 結合使用，以提供強大的網絡連接和管理功能。企業云專線網關通常具備強大的安全功能，如訪問控制、數據加密和身份驗證，以保

59、護企業數據的安全性。此外，它還可以提供高可用性、負載均衡和性能優化等功能，以確保企業網絡與云服務之間的可靠連接。圖 20 典型的專線接入網絡架構 以虛擬化方式部署的企業云網關，提供了豐富的 NAT、IPsec 和安全的能力，可動態為各應用模塊分配獨占的 CPU Core，均衡性能和功能需求的算力（如圖 21 所示）。圖 21 典型的虛擬化部署的企業云網關 35 邊緣超融合網關技術白皮書 ODCC-2023-04002 7 7工業與物聯網邊緣云協議轉換網關（工業與物聯網邊緣云協議轉換網關（Protocol Conversion Protocol Conversion GatewayGateway

60、）工業邊緣協議轉換網關（Protocol Conversion Gateway）是一種用于實現不同協議之間的轉換，使工業互聯網設備或物聯網設備能夠與云平臺進行通信和數據交互的網元。工業邊緣協議轉換網關是聯結物理世界與數字世界的重要橋梁，就像工業互聯網的神經結，將工業現場的產線、管道、PLC、變頻器、機器人等設備連接起來，使之成為一個有機整體，以適應現場應用低延時、高可靠、多樣化的需求，并配合邊緣智腦共同進行智能化數據處理，其典型的三層技術架構如圖 22 所示：圖 22 工業邊緣網關技術架構示意圖 1)北北 向：指邊緣網關的應用層向：指邊緣網關的應用層，主要包括工業實時流數據的預處理、現場側 A

61、I 算法、服務注冊以及與邊緣智腦（邊緣云）的連接與交互。通過北向接口邊緣智腦能對邊緣網關進行集中運維和管控，并實現系統和應用程序的遠程更新，支 36 邊緣超融合網關技術白皮書 ODCC-2023-04002 持遺留設備或專有設備的軟件 SDK。2)南南 向：指邊緣網關的物理層向：指邊緣網關的物理層，主要包括邊緣網關的智能板卡、協議轉換以及廣泛連接的各類現場設備，邊緣智腦或云端可以通過南向接口隨時掌握現場設備的運行狀態。而 OPC UA over TSN 能實現傳感器到云的傳輸，是打通現場設備與邊緣網關的重要通道，確保工業應用場景中擁有跨廠商的互操作性，并構建全新 OICT 融合生態系統。3)核

62、心層：指邊緣網關的系統層核心層：指邊緣網關的系統層，包括操作系統、Kubernetes服務以及 EdgeX Foundry 組件。目前主流的嵌入式操作系統都是基于 Linux 的，包括 CentOS、Ubuntu、Debian 和Fedora 等；Kubernetes 能提供容器化部署環境；而 EdgeX Foundry 是一組開源的開源微服務集合，可以在 Kubernetes環境中運行，其核心組件能提供微服務配置、持久性存儲庫、設備服務配對等功能，處理北向應用及其他微服務發往南向的請求。EdgeX Foundry 與平臺或供應商無關，可以由微服務或軟件組件進行升級或替換，允許服務根據設備功能

63、和用例進行擴展和縮小，支持設備/傳感器現場部署,安全且易于管理，是理想的邊緣計算平臺。IOT Edge Intelligence：為物聯網邊緣智能平臺，旨在幫助企業實現物聯網設備的智能計算和分析能力。它支持在邊緣部署的虛 37 邊緣超融合網關技術白皮書 ODCC-2023-04002 擬化環境和容器化應用程序，以實現實時的數據處理和決策能力。強大的數據集成和管理功能，可以連接和整合來自不同設備和傳感器的數據。它支持多種通信協議和數據格式，并提供數據采集、清洗、轉換和存儲的能力，以確保數據的準確性和完整性。支持在邊緣節點上運行高級分析算法和人工智能模型，以實現智能決策和預測能力。它可以將實時數據

64、與預先訓練的模型相結合，以實現實時的智能決策，提高物聯網系統的效率和響應能力。圖 23 物聯網邊緣協議轉換網關架構示意圖 IoT Edge Intelligence 與公有云之間的互聯交互可以實現數據傳輸和同步、邊緣計算和云協同、云端控制和管理以及機器學習和模型部署等功能。這種互聯交互可以提供更強大和靈活的物聯網解決方案，并充分利用邊緣設備和公有云平臺的優勢，提高系統的性能、可靠性和智能化程度（如圖 24 所示）。38 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 24 IoT 邊緣網關產品矩陣 協議轉換網協議轉換網關的關鍵功能包括：關的關鍵功能包括：協議轉換協議轉換：將工業互

65、聯網設備和物聯網設備使用的協議轉換為云平臺支持的協議，實現設備與云平臺之間的通信。數據處理數據處理：對設備發送的原始數據進行處理，如格式轉換、數據聚合等，以滿足云平臺的要求。安全性安全性：提供加密、身份驗證等安全功能，確保設備與云平臺之間的通信安全。設備管理設備管理：支持設備注冊、配置、監控等功能，幫助管理和維護工業互聯網設備和物聯網設備。協議轉換網關的典型流程包括協議轉換網關的典型流程包括：1)工業互聯網設備或物聯網設備發起請求，請求到達協議轉換網關。39 邊緣超融合網關技術白皮書 ODCC-2023-04002 2)網關對請求進行協議轉換和數據處理。3)轉換后的請求發送到云平臺。4)云平臺

66、處理請求并返回響應。5)響應通過網關到達設備，網關對響應進行協議轉換和數據處理。6)設備接收到經過轉換的響應。三、三、面向邊緣計算場景的超融合網關關鍵技術面向邊緣計算場景的超融合網關關鍵技術 （一）（一）控制面技術控制面技術 圖 25 控制面技術網絡架構圖 如圖 25 所示，超融合網關的控制面技術主要負責網絡設備的運營、監控以及接入的安全性認證等。其中，運營模塊主要包括對路由協議配置、隧道協議配置以及業務相關的策略配置等的管理，對 40 邊緣超融合網關技術白皮書 ODCC-2023-04002 賬，審計，回退等操作，同時，還兼顧設備的升級、變更等內容；監控模塊主要負責對設備各個維度的信息進行統

67、計，并在發生異常時及時發出告警，如丟包統計、端口狀態監控、內存使用率、CPU使用率等；安全性認證模塊主要對接入的設備進行準入核查，避免接入非法的設備，造成安全隱患。1 1監控模塊監控模塊 1)硬件丟包統計硬件丟包統計：硬件丟包統計是指對網絡設備中發生的丟包情況進行監控和統計。關鍵技術包括使用硬件計數器來記錄丟包數量、設置閾值來觸發告警、實時監控丟包情況并生成報告、與其他監控系統集成等。此外，還可以使用流量分析和數據包捕獲等技術來進一步分析丟包原因。2)硬件端口狀態監控硬件端口狀態監控：硬件端口狀態監控是指對網絡設備中各個端口的狀態進行實時監控和管理。關鍵技術包括獲取端口的連接狀態、速率、錯誤統

68、計等信息，使用 SNMP 或其他協議進行端口狀態查詢，設置閾值來觸發告警，實時監控端口狀態并生成報告，與其他監控系統集成等。3)流量統計流量統計：流量統計是指對網絡中的流量進行實時監控和統計。關鍵技術包括使用硬件計數器或流量采樣技術來獲取流量信息，對流量進行分類和分析，生成流量報告和趨勢圖表，設置閾值來觸發告警，與其他監控系統集成等。41 邊緣超融合網關技術白皮書 ODCC-2023-04002 4)硬表容量統計硬表容量統計：硬表容量統計是指對網絡設備中硬件表項的使用情況進行監控和統計。關鍵技術包括獲取硬件表項的使用情況，統計表項的數量和占用率，設置閾值來觸發告警，實時監控表項容量并生成報告，

69、與其他監控系統集成等。5)CPUCPU 使用告警使用告警：CPU 使用告警是指對網絡設備中 CPU 的使用情況進行監控和告警。關鍵技術包括獲取 CPU 的使用率和負載情況，設置閾值來觸發 CPU 使用告警，實時監控 CPU 使用情況并生成報告，與其他監控系統集成等。此外，還可以使用性能優化技術，如負載均衡、流量限速等來降低 CPU 的負載。2 2運營模塊運營模塊 1)路由協議管理路由協議管理：路由協議管理涉及選擇和配置適當的路由協議，如 OSPF、BGP 等，以實現網絡的動態路由和最優路徑選擇。關鍵技術包括路由協議的配置和調優、路由表的管理和更新、路由器之間的鄰居關系建立和維護、路由器的故障檢

70、測和恢復等。2)配置核查配置核查：配置核查是指對網絡設備的配置進行檢查和驗證，以確保配置的正確性和一致性。關鍵技術包括使用自動化工具進行配置核查、定義和應用配置規范和策略、檢查配置的合規性和安全性、自動修復配置錯誤等。42 邊緣超融合網關技術白皮書 ODCC-2023-04002 3)變更管理變更管理：變更管理涉及對網絡設備和配置的變更進行規范和控制，以確保變更的可控性和可追溯性。關鍵技術包括變更的申請和批準流程、變更的計劃和執行、變更的回滾和驗證、變更記錄和審計等。4)升級管理升級管理：升級管理是指對網絡設備和軟件進行升級和更新的管理。關鍵技術包括升級計劃和策略的制定、升級過程的自動化和批量

71、化、升級的驗證和回退策略、升級記錄和版本管理等。5)微服務管理微服務管理：微服務管理涉及對網絡中的微服務進行管理和監控，以確保微服務的可用性和性能。關鍵技術包括微服務的部署和擴展、微服務的監控和日志管理、微服務的故障檢測和恢復、微服務的負載均衡和容錯等。3 3安全性模塊安全性模塊 1)認證與授權認證與授權：認證與授權是指對網絡中的用戶和設備進行身份驗證和權限管理。關鍵技術包括使用身份驗證協議（如RADIUS、TACACS+）進行用戶認證、使用訪問控制列表（ACL）進行權限控制、使用單點登錄（SSO）實現用戶的統一認證和授權管理、使用角色和權限管理模型進行細粒度的訪問控制等。2)加密通信加密通信

72、：加密通信是指通過使用加密算法對網絡通信進行 43 邊緣超融合網關技術白皮書 ODCC-2023-04002 保護，以防止數據被竊聽、篡改或偽造。關鍵技術包括使用安全協議（如 SSL/TLS）建立加密通道、使用對稱加密和非對稱加密算法對數據進行加密和解密、使用數字證書進行身份驗證和密鑰交換等。3)設計與監控設計與監控：安全性模塊中的設計與監控涉及對網絡架構和安全策略的設計、實施和監控。關鍵技術包括進行安全風險評估和威脅建模、制定安全策略和政策、實施安全控制和防御措施、進行安全事件的監控和響應等。此外，還包括使用安全信息和事件管理系統（SIEM）進行日志分析和威脅檢測、進行安全審計和合規性檢查等

73、。4)設備接入認證方式設備接入認證方式：網關設備接入平臺之前，需通過身份認證。目前，支持多種方式進行網關設備接入認證方式。Username Username 認證認證：Username 認證使用配置文件預設客戶端用戶名與密碼，支持通過 HTTP API 管理認證數據。Username 認證不依賴外部數據源。Client ID Client ID 認證認證：Client ID 認證使用配置文件預設客戶端Client ID 與密碼，支持通過 HTTP API 管理認證數據。Client ID 認證不依賴外部數據源.Mnesia Mnesia 認證認證：Mnesia 認證使用 EMQ X 內置 Mn

74、esia 數據庫存儲客戶端 Client ID/Username 與密碼，支持通過 HTTP API 管理認證數據。Mnesia 認證不依賴外部數據源。44 邊緣超融合網關技術白皮書 ODCC-2023-04002 HTTP HTTP 認證認證：HTTP 認證使用外部自建 HTTP 應用認證數據源，根據 HTTP API 返回的數據判定認證結果，能夠實現復雜的認證鑒權邏輯。設備連接事件中使用當前客戶端相關信息作為參數，向用戶自定義的認證服務發起請求查詢權限，通過返回的 HTTP 響應狀態碼(HTTP statusCode)來處理認證請求。JWTJWT 認證認證：JWT(opens new wi

75、ndow)認證基于 Token 的鑒權機制，不依賴服務端保留客戶端的認證信息或者會話信息，在持有密鑰的情況下可以批量簽發認證信息，是最簡便的認證方式?？蛻舳耸褂?Token 作為用戶名或密碼（取決于插件配置），發起連接時使用配置中的密鑰、證書進行解密，如果能成功解密則認證成功，否則認證失敗。LDAPLDAP 認證認證：LDAP 認證使用外部 LDAP 服務器作為認證數據源，可以存儲大量數據，同時方便與外部設備管理系統集成。MySQL MySQL 認證認證：MySQL 認證使用外部 MySQL 數據庫作為認證數據源，可以存儲大量數據，同時方便與外部設備管理系統集成。PostgreSQL Post

76、greSQL 認證認證：PostgreSQL 認證使用外部 PostgreSQL 數據庫作為認證數據源，可以存儲大量數據，同時方便與外部設備管理系統集成。Redis Redis 認證認證：Redis 認證使用外部 Redis 數據庫作為認證 45 邊緣超融合網關技術白皮書 ODCC-2023-04002 數據源，可以存儲大量數據，同時方便與外部設備管理系統集成。MongoDB MongoDB 認證認證：MongoDB 認證使用外部 MongoDB 數據庫作為認證數據源，可以存儲大量數據，同時方便與外部設備管理系統集成。（二）（二）應用層技術應用層技術 圖 26 應用層技術架構示意圖 超融合網關

77、的應用層技術主要面向如何將多種網元能力同時融合在一套網關上，又保持網元能力相互隔離，不受影響。其核心技術包括以下幾個方面：1 1容器隔離技術容器隔離技術 容器網絡隔離容器網絡隔離：將不同的網元流量放在不同的虛擬網絡中，隔離它們之間的網絡流量，避免相互的干擾。如 Linux 內核 46 邊緣超融合網關技術白皮書 ODCC-2023-04002 的 Network Namespace 隔離、Network Policy 隔離等。容器存儲隔離容器存儲隔離：將不同的網元流量放在不同的存儲卷中，使得它們之間的存儲空間相互隔離。例如，可以將不同的應用程序放在不同的存儲卷中，避免應用程序之間的數據相互干擾和

78、泄露。容器資源限制容器資源限制：通過 Cgroups 資源限制機制，可以將不同的網元流量放在不同的 Cgroups 中，限制它們對系統資源的使用。例如，可以限制不同的應用程序對 CPU、內存、磁盤 IO等資源的使用，避免資源爭用和系統崩潰。在容器隔離技術方面，傳統的虛擬化技術開銷較大，安全性較弱。最近，一種新的虛擬化技術 Firecracker 被提了出來。這是一種輕量級的虛擬化技術，旨在提高應用程序的性能和安全性。圖 27 Firecracker 架構示意圖 47 邊緣超融合網關技術白皮書 ODCC-2023-04002 如圖 27 所示，Firecracker 運行在用戶空間，并使用基于

79、Linux 內核的虛擬機(KVM，Kernel-based Virtual Machine)創建微虛機。用戶可以通過 RESTful APIs 控制 Firecracker 進程，這些 API包含許多常見的容器配置操作，例如配置容器的 vCPU 數量或者啟動計算機。它提供內置的速率限制器，使您能夠精細地控制同一臺計算機上數千個微虛擬機使用的網絡和存儲資源。您可以通過 Firecracker API 創建和配置速率限制器，并定義支持突發或特定帶寬/操作限制的靈活速率限制器。Firecracker 的主要特點包括：1)快速啟動快速啟動：Firecracker 可以在幾毫秒內啟動虛擬機，這比傳統虛擬

80、化技術快得多。這是通過使用 KVM 和 Jailer 來實現的，它們可以在 Linux 內核中提供更快的虛擬化。2)內存去重內存去重：Firecracker 可以在多個虛擬機之間共享內存頁面，從而減少內存使用量。這可以提高性能并降低成本。3)高密度高密度：Firecracker 可以在同一臺物理機上運行數千個虛擬機，這是通過內存去重和 CPU 共享等技術實現的。這可以提高硬件利用率，降低成本。4)安全性安全性：Firecracker 使用了多種安全技術來保護虛擬機和主機之間的隔離，包括 seccomp、namespace、cgroups 和SELinux 等。這 可 以 提 高 安 全 性 并

81、 減 少 攻 擊 面。48 邊緣超融合網關技術白皮書 ODCC-2023-04002 Firecracker 的實現基于Rust 編程語言，這使得它具有高效、安全和可維護性等優點。Firecracker 已經在 AWS Lambda 和Fargate 等生產環境中成功部署。圖 28 微虛機(MicroVM)啟動時間效果評估(FC,Firecracker)如圖 28 所示，實驗結果表明，Firecracker 相比現有工作提升了性能和安全性。Firecracker可以在幾毫秒內啟動虛擬機，并且可以在同一臺物理機上運行數千個虛擬機，這比傳統虛擬化技術快得多且更加高效。此外，Firecracker

82、還可以在內存和 CPU 超額訂閱比率高達 20 倍的情況下運行，而且在亞馬遜的 Lambda 產品生產環境中已經成功處理了數萬億個事件。2 2輕量化的容器管理技術輕量化的容器管理技術 為了應對邊緣計算場景資源受限的問題，輕量化的容器管理技術是非常重要的。相比于 K8s 技術，輕量化的容器管理技術需要易于使用且兼容性強，以幫助用戶更有效地運行和管理容器化的應用程序。其中 K3s 是一項典型的技術，它包括以下特點：49 邊緣超融合網關技術白皮書 ODCC-2023-04002 輕量級輕量級：K3s 的設計目標是輕量級和簡單性，它消除了許多傳統容器管理系統的復雜性和冗余功能。這使得 K3s 非常適合

83、在資源有限或需要快速啟動和運行容器的環境中使用。易于使用易于使用：K3s 提供了一個簡單易用的命令行界面，用戶可以很容易地創建、運行和管理容器。此外，K3s 還提供了一些高級功能，如網絡和存儲管理，這些功能都可以通過簡單的命令進行操作。兼容性兼容性：盡管 K3s 是一個輕量級的容器運行時，但它仍然保持了與 Docker 和 Kubernetes 的兼容性。這意味著用戶可以在 K3s 中運行任何設計為在 Docker 或 Kubernetes 中運行的應用程序，而無需進行任何修改。K3s 是一個輕量級的容器管理技術，它是由 Rancher Labs 開發的，旨在提供一個簡單、輕量級且易于使用的容

84、器運行時環境。Kubernetes 是一個 10 個字母的單詞，簡寫為 K8s。Kubernetes 的一半就是一個 5 個字母的單詞，因此簡寫為 K3s。K3s 沒有全稱，也沒有官方的發音 K3s 是輕量級的 Kubernetes。K3s 易于安裝，僅需要 Kubernetes 內存的一半，所有組件都在一個小于 100 MB 的二進制文件中。K3s 是一個完全兼容 K8s 的發行版，使用基于 sqlite3 作為默認存儲機制的輕量級存儲后端。同時支持使用 etcd3、MySQL 和Postgre，最大程度減輕了外部依賴性，K3s 僅需要現代內核和 50 邊緣超融合網關技術白皮書 ODCC-2

85、023-04002 cgroup 掛載。圖 29 K3s 的高可用架構 如圖 29 所示是 K3s 的高可用（HA）服務器集群的架構：Server 節點指的是運行 k3s server 命令的主機，control plane 和數據存儲組件由 K3s 管理。Agent 節點指的是運行 k3s agent 命令的主機，不具有任何數據存儲或 control plane 組件。Server 和 Agent 都運行 kubelet、容器運行時和 CNI。3 3流水線隔離技術流水線隔離技術 流水線隔離技術是一種在可編程交換機中實現所有內存資源可以共享，并令模塊之間相互隔離的方法，以提高網絡性能和安全性：

86、流水線架構流水線架構：可編程交換機的流水線架構是實現隔離的基礎。流水線架構允許數據包在交換機內部按照預定的順序和規則 51 邊緣超融合網關技術白皮書 ODCC-2023-04002 進行處理，從而實現高效的數據包處理。隔離策略隔離策略：在流水線隔離技術中，需要定義明確的隔離策略，以確保不同流量類型之間的隔離。這包括流量的分類、優先級設置、資源分配等。匹配與動作匹配與動作：可編程交換機中的匹配與動作是實現流水線隔離的關鍵。通過對數據包的匹配和執行相應的動作，可以實現不同流量類型之間的隔離。資源分配資源分配：在流水線隔離技術中，需要合理分配交換機內部的資源，如內存、處理器等，以確保不同流量類型之間

87、的隔離和性能保障。優先級管理優先級管理：流水線隔離技術需要對不同流量類型設置不同的優先級，以確保關鍵流量的優先處理和網絡性能的保障。在流水線隔離技術方面，現有工作仍然有一些問題。比如，現有的 ASIC 可編程芯片僅支持部分內存的跨應用之間共享（比如，Tofino 芯片中的 stateful RAM），對于其他 RAM（如，Match-Action 中的 TCAM，SRAM）不支持跨組件共享，無法實現多種應用的融合。為了應對上述問題，一種新的架構Menshen（“門神”）被提了出來，它能夠提供一種高性能、可擴展和資源有效的隔離機制。Menshen 設計了一組輕量級硬件原語實現對共享資源（如 RA

88、M）52 邊緣超融合網關技術白皮書 ODCC-2023-04002 的標記，在每個數據包上，硬件原語都使用數據包的模塊 ID 進行索引，以確定該數據包在該資源上使用的配置。此外，Menshen通過修改現有的 RMT(Reconfigurable Match Tables)編譯器（例如 Tofino的編譯器）的方式，來實現共享資源隔離分區的管理。圖 30 門神軟硬件架構圖 如圖 30 所示，Menshen 的包含如下的關鍵技術點：1)基于空間的分區基于空間的分區：Menshen 使用空間分區來實現隔離。具體來說，Menshen 將交換機資源（如流表和狀態內存）在不同的模塊之間進行空間分區，以確保

89、不同模塊之間的數據包不會相互干擾。Menshen 使用了一種稱為“模塊 ID”的機制來標識不同的模塊，并使用這些模塊 ID 來進行空間分區。2)分段表分段表：Menshen 使用分段表來實現狀態內存的隔離。具體來說，Menshen 將狀態內存分成多個段，每個段都有自己的流表和狀態內存。這種機制可以確保不同模塊之間的狀態內存不會相互干擾，并且可以減少狀態內存的訪問沖突，提高 53 邊緣超融合網關技術白皮書 ODCC-2023-04002 并發性能。3)多級多級 CAMCAM 查找查找：Menshen 使用多級 CAM 查找來加速流表匹配。具體來說，Menshen 使用了一種稱為“CAM Look

90、up”的機制來進行流表匹配。CAM（Content-Addressable Memory）是一種可以同時進行查找和存儲的內存，可以大大加速流表匹配的速度。Menshen 使用了多級 CAM 查找來進一步加速流表匹配的速度。4)內存訪問表內存訪問表：Menshen 使用內存訪問表來加速狀態內存的訪問。具體來說，Menshen 使用了一種稱為“MA Table”的機制來進行狀態內存的讀寫操作。MA Table 是一種可以同時進行讀寫操作的內存，可以大大減少狀態內存的訪問時間和硬件資源的使用。5)前饋結構前饋結構：Menshen 使用了一種稱為“前饋結構”的機制來實現模塊之間的通信。具體來說，Men

91、shen 使用了一種稱為“Packet Forwarding Graph”的數據結構來描述數據包在不同模塊之間的傳遞路徑。在 Packet Forwarding Graph 中，每個節點表示一個模塊，每條邊表示數據包從一個模塊傳遞到另一個模塊。Menshen 使用前饋結構來實現 Packet Forwarding Graph 中的數據包傳遞路徑，以減少模塊之間的通信延遲，提高性能。6)軟件控制軟件控制：Menshen 的控制平面是一個運行在主機上的軟件 54 邊緣超融合網關技術白皮書 ODCC-2023-04002 程序，可以通過控制平面來配置和管理交換機。具體來說，控制平面可以向交換機發送控

92、制消息，以配置交換機的流表和狀態內存?？刂破矫孢€可以監控交換機的狀態，并根據需要進行故障排除。實驗結果表明，它可以提供高性能的數據包處理能力，并且可以在高速網絡環境下處理大量的數據包，同時保持較低的延遲和較高的吞吐量。以下是 Menshen 實驗中具體提升的性能數據：圖 31 吞吐和數據包處理速度（左：硬件優化版本；右：未硬件優化版本）1)如圖 31 所示，在實驗中，Menshen 可以實現高達上百 Gbps的吞吐量。同時，Menshen 可以實現高達 1.5 億個數據包每秒的處理速度。相比之下，傳統的交換機通常只能處理幾百萬個數據包每秒，而 Menshen 可以實現更高的數據包處理速度，可以

93、滿足高速網絡環境下的需求。55 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 32 延遲實驗結果 2)如圖 32 所示，在實驗中，Menshen 可以實現非常低的延遲，通常在幾微秒到幾十微秒之間。相比之下，傳統的交換機通常需要幾百微秒甚至幾毫秒的延遲，而 Menshen 可以實現更低的延遲，可以提高數據包處理的效率。圖 33 多應用并行執行時相互的影響 3)如圖 33 所示，Menshen 能夠實現較好的多應用之間的隔離。當將模塊/應用1的配置重新修改之后，并不會影響另外2個應用的吞吐。56 邊緣超融合網關技術白皮書 ODCC-2023-04002（三）（三）轉發面技術轉發面技

94、術 圖 34 轉發面技術維度圖 超融合網關的轉發面技術主要關注數據包在網絡設備中的轉發過程，包括表項擴容技術、協議一致性同步技術、自動化測試技術等。1 1表項規格擴容技術表項規格擴容技術 表項規格擴容技術主要關注如何在網絡設備中存儲和管理大量的轉發表項，以支持高性能的數據包轉發?；诠５谋眄棿鎯诠５谋眄棿鎯Γ和ㄟ^哈希函數將轉發表項映射到固定大小的內存空間，實現高效的查找和更新操作。為了解決哈希沖突，可以采用開放尋址、鏈式尋址等方法。分布式表項存儲分布式表項存儲：將轉發表項分布在多個存儲設備或節點上，通過負載均衡和數據分片技術實現規模擴展和性能提升。57 邊緣超融合網關技術白皮書 ODC

95、C-2023-04002 有狀態會話壓縮技術有狀態會話壓縮技術：通過分析卸載在可編程數據面中有狀態會話的冗余的字段，并進行字段壓縮、字段合并、字段分離等操作，可以將有狀態會話的表項規模提升。通過外擴通過外擴 DRAMDRAM 擴展資源擴展資源：有許多硬件具有擴展查找資源的能力，比如帶有大內存 HBM 的 FPGA，IPU/DPU 網卡等。當前的可編程開發方案主要通過手動調參的方式尋找最優資源分配方案，非常耗時，且需要豐富的底層硬件知識。為了解決這個問題，一種去除表項依賴的方案 Cetus 被提了出來，它能夠自動化的分析表項之間的依賴關系，并進行高效的依賴去除，使得多個表項能夠被同時放在流水線的

96、同一個步驟中執行。圖 35 Cetus 整體架構圖 圖 35 所示 Cetus 方案的整體架構圖。在給點了輸入的 P4 程序之后，Cetus 會自動化的分析出 P4 表項之間的變量依賴關系（寫后讀；寫后寫；讀后寫），然后通過變量換名法、Action 合并法等技巧，將依賴關系盡可能的消除。58 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 36 三種變量依賴關系 圖 37 依賴消除法示例，左圖（Action 合并法解決寫后寫依賴），右圖（變量換名法解決寫后讀依賴）如圖 37 所示為示例的兩種變量依賴消除方案。1)在在 ActionAction 合并法中合并法中，對相同變量 b 進

97、行寫的操作，被合并到一個 Action 中，控制平面屆時下發不同的 Match 條件匹配不同的 Action 即可，此時兩個表項就可以合并到流水線的相同步驟中并行執行；2)在變量換名法中在變量換名法中，將需要讀和寫的共享變量 a 復制一份為 59 邊緣超融合網關技術白皮書 ODCC-2023-04002 a_0。然后讓執行寫的表項(即表 t2 的表項)對變量 a 操作，而執行讀的表項(即表 t1 的表項)并不會對變量 a 的數值造成改變，因此，可以對復制的變量 a_0 操作。此時兩個表項就可以合并到流水線的相同步驟中并行執行；圖 38 Cetus 的實驗效果 如圖 38 所示，該項目已經在公司

98、運行了一年，實驗效果表明，在 10 個 P4 項目上（包括 6 個開源項目，4 個公司項目），此類編譯問題的調試開發時間可以從天級別降低到分鐘級別。Cetus能夠最多將 11 個 stage 占用減少為 7 個 stage 占用，且優化的時間從 19s 到11 分鐘（注，本文還提出了編譯器級別的強制優化技術，優化了PHV 資源的分配，因此占用了較多的優化時間）。2 2協議狀態一致性同步技術協議狀態一致性同步技術 網關之間狀態信息同步技術主要關注如何在多個網關設備之間共享和同步狀態信息，以實現負載均衡、故障切換和數據一致性。常見的狀態信息同步技術包括：強弱一致性同步技術強弱一致性同步技術：強一致

99、性狀態同步技術強調網關之間 60 邊緣超融合網關技術白皮書 ODCC-2023-04002 的狀態會話等信息需要時刻保持一致，此技術同步開銷較大；而弱一致性狀態同步技術則允許某些時段，網關之間的狀態信息，可以不一致，比如周期性的同步狀態信息等。狀態同步協議狀態同步協議：通過網絡協議在網關設備之間傳輸狀態信息，如使用 VRRP（Virtual Router Redundancy Protocol）實現虛擬 IP 地址的故障切換，或使用 BFD（Bidirectional Forwarding Detection）檢測鏈路故障和拓撲變化。分布式數據庫分布式數據庫：采用分布式數據庫技術在網關設備之間

100、存儲和同步狀態信息，如使用 NoSQL 數據庫（如 Cassandra、Redis 等）實現高可用性和彈性擴展，或使用分布式事務和一致性協議（如 Paxos、Raft 等）保證數據一致性。Redplane是一種面向可編程網關有狀態信息一致性同步的技術，分為強一致性同步和弱一致性同步兩種類型，以應對不同場景需求。如，NAT 網關、LB 網關以及防火墻等場景，一般采用強一致性狀態同步協議；而弱一致性狀態同步協議一般適用在對精度要求不高的場景，如大象流統計等。圖 39 強一致性狀態同步協議 61 邊緣超融合網關技術白皮書 ODCC-2023-04002 如圖 39 為強一致性同步協議的流程，其大致步

101、驟為：1)初始化初始化(initial(initial 狀態表項狀態表項 +停等協議停等協議)：新流 f1 的數據包達到 switch-1，switch-1 向 state store 發起初始化entry，并更新 count。entry 在 state store 完成存儲前，數據包在 switch 和 state store 之間流轉（避免浪費交換機片內存儲緩存轉發數據包）。2)更新（停等協議）更新（停等協議）：switch-1 收到流 f1 的包 pkt2,直接請求備份統計數據 3)讀取讀?。簊witch-1 掛了。路由切換到了 switch-2 4)狀態遷移狀態遷移：switch-2

102、收到沒有見過的流 f1 包 Pkt4，啟動初始化。State store 反饋 ack 以及當前存儲的流 f1 的計數器。Switch-2 從 state store 恢復到 switch-1 同步過來的計數 對于弱一致性狀態同步協議，基本流程與上述流程類似，只是不需要對每個數據包/流都同步狀態，而是周期性同步狀態。3 3自動化測試覆蓋技術自動化測試覆蓋技術 自動化測試覆蓋技術是指利用自動化工具和技術來實現對軟件系統的測試覆蓋，其包括的關鍵技術內容包括：測試用例生成測試用例生成：自動化測試覆蓋技術需要能夠生成有效的測試用例來覆蓋軟件系統的各個功能和路徑。關鍵技術包括使 62 邊緣超融合網關技術

103、白皮書 ODCC-2023-04002 用模型驅動測試、隨機測試、符號執行等方法來生成測試用例，以及使用生成算法和啟發式方法來提高測試用例的質量和覆蓋率。自動化測試執行自動化測試執行：自動化測試覆蓋技術需要能夠自動執行測試用例，并收集測試結果和覆蓋信息。關鍵技術包括使用自動化測試框架和工具來執行測試用例，以及使用斷言和日志來驗證測試結果和記錄覆蓋信息。覆蓋度評估覆蓋度評估：自動化測試覆蓋技術需要能夠評估測試的覆蓋度，以確定測試是否足夠全面和有效。關鍵技術包括使用代碼覆蓋工具和靜態分析工具來分析測試覆蓋率，以及使用覆蓋度指標和報告來評估測試的覆蓋程度。異常和錯誤處理異常和錯誤處理：自動化測試覆蓋

104、技術需要能夠處理測試過程中的異常和錯誤情況。關鍵技術包括使用異常處理機制和斷言來捕獲和處理異常，以及使用錯誤處理和恢復機制來處理錯誤情況，確保測試的穩定性和可靠性?；诩糁Φ臏y試效率優化技術基于剪枝的測試效率優化技術：該技術對測試覆蓋率進一步探索，將保證有效的測試覆蓋率的前提下，提升整體測試的效率，將無用的測試分支刪除；基于路由規則的網絡連通性覆蓋測試基于路由規則的網絡連通性覆蓋測試：該技術基于基礎網絡中交換機上的路由配置、ACL 規則等信息，自動化生成所有可能的互通性測試樣例，以快速驗證基礎網絡配置的有效性。63 邊緣超融合網關技術白皮書 ODCC-2023-04002 在自動化測試方面，現

105、有工作主要通過路徑覆蓋率指標來衡量是否能夠將所有潛在場景都測試覆蓋到，但此類方案容易產生路徑爆炸問題，導致測試周期過長，降低了產品發布的效率。為了解決這個問題，一種名叫 Meissa 的方案被提了出來，它能夠自動化的分析不合理的測試路徑，并進行剪枝，從而提升測試效率。圖 40 Meissa 方案架構圖 如圖 40 所示為 Meissa 的方案架構圖，其基本步驟為：1)分析分析 CFGCFG：在給定了 P4 程序、以及下發的業務表項后，Meissa 會自動化的分析 P4 程序的控制流得到 CFG(Call Function Graph)；2)CFGCFG 中僅包含中僅包含 2 2 類類 node

106、node：Predicate node(條件)，Action node(動作)；3)更新條件數值更新條件數值：每次移動到 Action node，就更新當前存儲的變量數值(如，dstIP，srcPort 等)；64 邊緣超融合網關技術白皮書 ODCC-2023-04002 4)條件滿足判斷條件滿足判斷：每次到 Predict node，就根據存儲的變量數值，利用 Z3 求解是否有能夠達到當前 Node 的數據包（數據包頭字段作為變量，其他作為常量）；a)不滿足，則當前分支裁剪；b)滿足，則繼續移動。直到分析到程序終止節點(丟包、轉發等)5)驗證測試驗證測試：注入產生的測試數據包，驗證程序流經的

107、路徑是否符合預期。圖 41 有效和無效路徑示例 如圖 41 為有效和無效路徑的示意圖。(a)中路徑為有效測試，沒有產品矛盾的條件；(b)為無效路徑，因為 dstIP 已經被賦值成了192.168.0.1，條件分支內的路徑永遠不可能達到，因此可以剪枝；(c)也為無效路徑，因為如果 srcPort=80 成立，則不可能等于443，因此后續條件內的路徑不可能到達，可以剪枝。65 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 42 實驗效果 如圖 42 所示為實驗效果，對于簡單的應用，比如 Router，mTAG，ACL，switch，Meissa 可以在 100s 以內完成分析，比現

108、有的方案快400倍；對于復雜的網關gw-1,gw-2，Meissa比如Aqulia快22倍。對于網關 gw-3 和 gw-4，Aquilia 在 1 個小時之內還不能夠分析完，Meissa 在 150s 內產生了能夠 100%覆蓋測試路徑的測試樣例。4 4其他技術其他技術 1)DetNetDetNet（確定性網絡）技術（確定性網絡）技術：在一個網絡域內的網關之間給承載的業務提供確定性業務保證的能力，包括時延、時延抖動、丟包率等，特別是應用在工業互聯網場景。相關的技術要求包括：時鐘同步等，所有網關設備都可以使用 IEEE 1588 精確時間協議將其內部時鐘同步到1 s-10 ns的精度。2)零擁

109、塞丟失零擁塞丟失：通過調整數據包的傳送并為臨界流（critical flow）分配足夠的緩沖區空間，以消除網關的隊列擁塞。3)超可靠的數據包交付超可靠的數據包交付：可以通過多個路徑發送序列數據流的 66 邊緣超融合網關技術白皮書 ODCC-2023-04002 多個副本，并消除目的地處或附近的副本。不存在故障檢測和恢復周期，每個數據包都被復制并被帶到或接近其目的地，因此單個隨機事件或單個設備故障不會導致丟失任何一個數據包。（四）（四）硬件接口層技術硬件接口層技術 圖 43 硬件接口層技術架構圖 超融合網關底層會接入各種各樣的硬件類型，如 FPGA、CPU 和交換機 ASIC 芯片等，如何順利接

110、入這些異構的硬件設備，并按硬件特性將上層應用功能卸載到不同的硬件上，是硬件接口層需要解決的問題。如圖 43 所示，總體來說，硬件接口層包含如下硬件抽象層、設備驅動層、中斷處理、硬件管理層等關鍵技術：硬件抽象硬件抽象層（層（HALHAL）：硬件抽象層是操作系統與硬件設備之間的一個接口，它提供了一種方法，使得操作系統可以在不 67 邊緣超融合網關技術白皮書 ODCC-2023-04002 知道硬件細節的情況下與硬件交互。HAL 隱藏了硬件的復雜性，使得操作系統可以統一地處理不同硬件設備。設備驅動設備驅動：設備驅動是操作系統與硬件設備之間的另一個關鍵接口。驅動程序將操作系統的通用指令轉化為特定硬件設

111、備的專用指令。每種硬件設備都需要一個特定的驅動程序，以便操作系統能夠正確地控制和管理該設備。中斷處理中斷處理：中斷處理是操作系統響應硬件設備請求的一種機制。當硬件設備需要操作系統的注意時（例如，數據已經準備好從硬件設備讀?。?，它會發送一個中斷信號。操作系統會響應這個中斷，暫停當前的任務，處理中斷請求，然后恢復之前的任務。硬件管理層硬件管理層：該層主要負責管理硬件的狀態，并能夠根據硬件的資源限制，上層的應用需求等，自動化的將合適的任務分配到合適的硬件上運行。它包括：程序切片、任務分配、資源求解和硬件狀態監控等模塊。目前主流的網關開發方式是面向一個特定的平臺，比如面向可編程交換機、x86 服務器、

112、或者 FPGA。然而各種平臺的性能和資源等各有優劣，僅在一種平臺上實現網元能力未必能夠達到最優的性價比。另一種方式，是將網元的不同模塊實現在不同的硬件上，并將這些異構硬件有機的組合起來，比如 x86+FPGA，x86+可編程芯片等等。但是手動開發的過程工作量非常大，對專業性要求非常高，68 邊緣超融合網關技術白皮書 ODCC-2023-04002（如，不同平臺得使用不同的語言開發，交換機 ASIC 采用 P4/NPL，x86 CPU 采用 C+，FPGA 采用 Verilog 等），容易出錯，并且必須隨著拓撲或硬件資源的變化而重復操作。為了解決這個問題，一種能夠自動化的整合異構資源方案Flig

113、htplan 被提了出來，它能夠根據開發者的注釋，自動化的分隔程序，并將不同的程序功能，根據底層資源的優勢與特點，進行恰當的模塊卸載和優化。圖 44 Flightplan 架構圖 如圖 44 所示為 Flightplan 的架構圖，它是一個與目標無關的編程工具鏈，其工作的整體流程如下所示：1)程序拆分程序拆分：根據開發者的注釋，利用 Flightplan 編譯器定義的語言自動拆分 p4 程序到不同的部分。2)模塊需求抽象模塊需求抽象：Flightplan 分析各個 P4 程序模塊的資源需求，如底層硬件的限制（比如，鏡像特性、數據包復制特性、高性能計算特性等），不同的功率、吞吐量和延遲特性的需求

114、。69 邊緣超融合網關技術白皮書 ODCC-2023-04002 圖 45 示例硬件的指標數據庫 3)硬件資源能力數據匯總硬件資源能力數據匯總：將已經具備的硬件資源能力按照不同的維度存儲到數據庫中，以供后續最優方案求解。如圖45 所示，為可編程交換機 ASIC 芯片、FPGA 以及 CPU 的吞吐、功耗等指標；4)拓撲信息收集拓撲信息收集：實際網絡的拓撲和設備信息。5)硬件資源求解硬件資源求解：根據上述輸入條件進行最優分配方案求解。6)輸出輸出：上述優化目標可以求解的時候，輸出 3 個組件：a)模塊分配到不同硬件上的方案 b)用注釋標記了的分片程序 c)運行時配置程序。以保證不同的模塊程序之間

115、可以協同、互通，在目標網絡拓撲下完成特定網絡功能。7)分別編譯分別編譯：各個分片好的程序段，根據各自分配到的平臺，使用對應的編譯工具鏈編譯生成。8)運行運行：運行時配置程序協調各個平臺的組件如何協同通信。四、四、結語與展望結語與展望 70 邊緣超融合網關技術白皮書 ODCC-2023-04002 邊緣超融合網關技術是一種新型的技術，它集成了多種硬件，以滿足不同應用的需求。它將傳統的網絡功能與虛擬化隔離、業務高并發技術、異構資源統一優化等先進技術相結合，實現了網絡設備的高度集成和智能化。邊緣超融合網關極大地提高了網絡的靈活性和可擴展性，同時也降低了網絡管理的復雜性和成本。本文從邊緣云計算的定義、

116、典型場景以及挑戰切入，引出了邊緣超融合網關技術的必要性，并對超融合網關的形態、技術架構，典型網元能力進行了詳實的介紹；最后，面向邊緣云計算場景，本文以技術架構的角度從控制面、應用面、轉發面以及硬件層面分別介紹了最新的技術，以供產業生態在實際落地時參考。隨著邊緣計算的發展，邊緣超融合網關技術將面臨以下挑戰和機遇：技術創新技術創新：未來邊緣超融合網關技術需要不斷創新，以滿足不斷變化的邊緣計算需求。例如，通過引入人工智能和機器學習技術，實現更智能的數據處理和分析。安全與隱私安全與隱私：隨著邊緣計算的普及，邊緣設備將面臨更多的安全威脅。邊緣超融合網關技術需要加強安全防護能力，確保數據和設備的安全。標準

117、化與互操作性：為了實現邊緣計算的廣泛應用，邊緣超融合網關技術需要遵循統一的標準和規范，以實現不同廠商設備之間的互操作性。71 邊緣超融合網關技術白皮書 ODCC-2023-04002 跨領域應用跨領域應用：邊緣超融合網關技術有望在各個領域得到廣泛應用，如智能交通、工業自動化、智能醫療等。這將為邊緣超融合網關技術帶來更多的市場機遇。與云計算的融合與云計算的融合：邊緣計算并非要取代云計算，而是與云計算相輔相成。邊緣超融合網關技術需要與云計算技術實現深度融合，以實現邊緣-云協同的計算模式?？傊?，邊緣超融合網關技術作為邊緣計算的關鍵技術之一，將在未來物聯網、5G 和人工智能等領域發揮重要作用。面對挑戰

118、和機遇，邊緣超融合網關技術需要不斷創新和發展，以滿足日益增長的邊緣計算需求。五、五、參考資料參考資料 本文參考了一些前沿技術文章，列表如下：1.Agache A,Brooker M,Iordache A,et al.Firecracker:Lightweight virtualization for serverless applicationsC/17th USENIX symposium on networked systems design and implementation(NSDI 20).2020:419-434.2.輕量級的 k8s-k3s,https:/docs.k3s.io

119、/zh/3.Wang T,Yang X,Antichi G,et al.Isolation mechanisms for High-SpeedPacket-Processing pipelinesC/19th USENIX Symposium on Networked Systems Design and Implementation(NSDI 22).2022:1289-1305.4.Li Y,Gao J,Zhai E,et al.Cetus:Releasing p4 programmers from the chore of trial and error compilingC/19th

120、USENIX Symposium on Networked Systems Design and Implementation(NSDI 22).2022:371-385.72 邊緣超融合網關技術白皮書 ODCC-2023-04002 5.Kim D,Nelson J,Ports D R K,et al.Redplane:Enabling fault-tolerant stateful in-switch applicationsC/Proceedings of the 2021 ACM SIGCOMM 2021 Conference.2021:223-244.6.Zheng N,Liu M,

121、Zhai E,et al.Meissa:scalable network testing for programmable data planesC/Proceedings of the ACM SIGCOMM 2022 Conference.2022:350-364.7.Sultana N,Sonchack J,Giesen H,et al.Flightplan:Dataplane disaggregation and placement for p4 programsC/18th USENIX Symposium on Networked Systems Design and Implem

122、entation(NSDI 21).2021:571-592.六、六、縮略術語縮略術語 1.邊緣云計算邊緣云計算：這是一種分布式計算范式，將計算任務和數據存儲從中心數據中心移向網絡的邊緣，更接近數據源，以減少延遲和帶寬使用。2.CDN(Content Delivery Network)CDN(Content Delivery Network)：內容分發網絡，是一種系統，通過在各地部署節點服務器，將網站內容分發到最接近用戶的服務器，以加快網頁加載速度。3.SMT(Surface Mount Technology)SMT(Surface Mount Technology)：表面貼裝技術，是一種在電

123、路板上安裝電子組件的方法，組件直接貼在電路板表面，而不是通過孔插入。4.PCB(Printed Circuit Board)PCB(Printed Circuit Board)：印刷電路板，是用于物理支持和電氣連接電子組件的設備。5.AOIAOI（Automatic Organic InspectionAutomatic Organic Inspection）：又名自動光學檢查，73 邊緣超融合網關技術白皮書 ODCC-2023-04002 運用高速精度視覺處理技術，檢測 PCB 上各種不同的錯裝及焊接缺陷。6.SPISPI（Solder Paste InspectionSolder Past

124、e Inspection）：又名錫膏檢測，是對于焊錫印刷的質量檢查及對印刷工藝的驗證和控制。7.SONiC(Software for Open Networking in the Cloud)SONiC(Software for Open Networking in the Cloud)：云中開放網絡的軟件，是一個由微軟開發的開源網絡操作系統。8.K8S(Kubernetes)K8S(Kubernetes)：是一個開源的容器編排系統，用于自動化部署、擴展和管理容器化應用程序。9.ASIC(ApplicationASIC(Application-Specific Integrated Circu

125、it)Specific Integrated Circuit)：應用特定集成電路，是為特定應用定制設計的集成電路，本白皮書中一般指交換機 ASIC 芯片。10.VXLAN(Virtual Extensible Local Area Network)VXLAN(Virtual Extensible Local Area Network)：虛擬可擴展局域網，是一種網絡虛擬化技術，用于在數據中心中創建大規模隔離的網絡。11.VPC(Virtual Private Cloud)VPC(Virtual Private Cloud)：虛擬私有云，是一種在公共云基礎設施上創建私有網絡環境的服務。12.TSN

126、(TimeTSN(Time-Sensitive Networking)Sensitive Networking)：時間敏感網絡，是一種用于實時通信的網絡技術。13.SNMP(Simple Network Management Protocol)SNMP(Simple Network Management Protocol)：簡單網絡管理協議，是一種用于網絡設備管理和監控的互聯網標準協議。74 邊緣超融合網關技術白皮書 ODCC-2023-04002 14.RADIUS(Remote Authentication DialRADIUS(Remote Authentication Dial-In

127、User Service)In User Service)：遠程認證撥號用戶服務，是一種網絡協議，用于提供中心化的網絡訪問認證、授權和賬戶管理。15.TACACS(Terminal Access Controller AccessTACACS(Terminal Access Controller Access-Control System)Control System)：終端訪問控制器訪問控制系統，是一種用于網絡設備的遠程身份驗證和訪問控制的協議。16.FPGAFPGA（Field Programmable Gate ArrayField Programmable Gate Array）:一種半定制可編程器件，本文中通常用來作為可編程芯片的存儲補充。17.ToRToR（Top of RackTop of Rack）：通常指接入層交換機。