《中移智庫:面向工業互聯網的確定性網絡協同技術白皮書(2024年)(42頁).pdf》由會員分享,可在線閱讀,更多相關《中移智庫:面向工業互聯網的確定性網絡協同技術白皮書(2024年)(42頁).pdf(42頁珍藏版)》請在三個皮匠報告上搜索。
1、面向面向工業互聯網工業互聯網的確定性的確定性網絡協同技術白皮書網絡協同技術白皮書(2022024 4 年)年)牽頭編寫單位:中國移動通信有限公司研究院工業互聯網產業聯盟(工業互聯網產業聯盟(AIIAII)中移智庫中移智庫2022024 4 年年 6 6 月月聲聲明明本報告所載的材料和信息,包括但不限于文本、圖片、數據、觀點、建議,不構成法律建議,也不應替代律師意見。本報告所有材料或內容的知識產權歸工業互聯網產業聯盟和中國移動所有(注明是引自其他方的內容除外),并受法律保護。如需轉載,需聯系本聯盟并獲得授權許可。未經授權許可,任何人不得將報告的全部或部分內容以發布、轉載、匯編、轉讓、出售等方式使
2、用,不得將報告的全部或部分內容通過網絡方式傳播,不得在任何公開場合使用報告內相關描述及相關數據圖表。違反上述聲明者,本聯盟將追究其相關法律責任。工業互聯網產業聯盟聯系電話:010-62305887郵箱:編寫說明編寫說明本報告主要研究面向工業互聯網的確定性網絡協同技術,通過該研究報告可對工業互聯網確定性網絡的研究和后續的標準制定起到參考作用。牽頭編寫單位:中國移動通信有限公司研究院參與編寫單位:北京郵電大學中興通訊股份有限公司北京科技大學浪潮集團有限公司中國信息通信研究院華為技術有限公司新華三技術有限公司紫金山實驗室工業互聯網產業聯盟公眾號編寫組成員編寫組成員(排名不分先后):劉鵬、王晶、黃震寧
3、、陸璐、許方敏、李斌、張曉琦、姜永、趙俊峰、朱瑾瑜、張恒升、付韜、李廣鵬、李培、汪碩目目錄錄一、范圍.1二、術語與縮略語.1三、確定性網絡的標準化發展現狀.4(一)IEEE 時間敏感網絡 TSN.5(二)IETF 確定性網絡 DetNet.8(三)3GPP 5G+TSN、5G+DetNet.10(四)CCSA 確定性網絡.13四、確定性網絡要解決的問題.14(一)保障單域網絡的時延.15(二)保障端到端跨域網絡時延的協同.16五、端到端確定性網絡協同框架.17(一)端到端橫向跨網絡域.18(二)端到端縱向跨功能平面協同.20六、端到端確定性網絡協同技術.24(一)現場網與車間網協同技術.24(
4、二)工廠內網與工廠外網協同技術.25(三)移動網與承載網協同技術.26(四)增強確定性網絡協同技術.32七、發展建議.34(一)確定性網絡的場景和技術分類分級.34(二)應用確定性需求和網絡確定性能力映射.34(三)網絡與計算確定性技術協同.351一、范圍本報告主要研究內容包括:在業界主流的確定性技術和標準的基礎上,從端到端角度分析確定性網絡需要解決的問題,描述了工業互聯網確定性網絡端到端技術協同架構。研究各技術在工業互聯網部署的協同性,主要包括車間網絡與現場網絡、企業網絡與廣域網、移動網和承載網等,并給出發展建議。二、術語與縮略語下列縮略語與術語適用于本報告:AFApplication Fu
5、nction應用功能AMFAccess and MobilityManagement Function訪問與移動管理功能ARAugmented Reality增強現實AVBAudio and Video Bridging音視頻橋接工作組BBUBase Band Unit基帶處理單元BEBest Effort盡力而為BGPBorder Gateway Protocol邊界網關協議CPRICommon Public Radio Interface通用公共無線接口CNCCentralized Network集中式網絡配置2ConfigurationCUCCentralized User Config
6、uration集中式用戶配置DetNetDeterministic Networking確定性網絡DCSDistributed Control System分布式控制系統DIPDeterministic IP確定性IP網絡DNData Network數據網絡DSCPDifferentiated Services CodePoint差分服務代碼點DS-TTDevice Side TSN Translator設備側TSN轉換器EDNEnhanced DeterministicNetworking增強確定性網絡GNSSGlobal Navigation SatelliteSystem全球導航衛星系統
7、GPSGlobal Positioning System全球定位系統GTPGeneral Packet Radio ServiceTunneling Protocol通用分組無線業務隧道協議IEEEInstitute of Electrical andElectronics Engineers電氣與電子工程師協會IETFThe Internet Engineering TaskForce互聯網工程任務組IGPInterior Gateway Protocol內部網關協議IPInternet Protocol互聯網協議3IP-RANInternet Protocol-Radio AccessNe
8、tworkIP無線接入網ITInformation Technology信息技術MACMedia Access Control媒體介入控制層MESManufacturing ExecutionSystem制造執行系統MPLSMulti-Protocol Label Switching多協議標簽交換NFVNetwork Function Virtualization網絡功能虛擬化NW-TTNetwork Side TSN Translator用戶設備UE和網絡側TSN轉換器PTNPacket Transport Network分組傳送網QoSQuality of Service服務質量OTOpe
9、ration Technology操作技術P2PPoint-to-Point點對點PCFPolicy Control Function策略控制功能PREOFPacket Replication,Eliminationand Ordering Functions報文復制、消除和排序功能RANRadio Access Network無線接入網RFCRequest For Comments征求意見稿,IETF的發布標準RRCRadio Resource Control無線資源控制RRHRemote Radio Head射頻拉遠頭4RRURemote Radio Unit射頻拉遠單元SCADASupe
10、rvisory Control and DataAcquisition監控與數據采集SDNSoftware Defined Network軟件定義網絡SLAService-Level Agreement服務級別協議SMFSession Management Function會話管理功能SPNSlicing Packet Network切片分組網TSNTime Sensitive Network時間敏感網絡UEUser Equipment用戶設備UPFUser Plane Function用戶面功能uRLLCUltra Reliable Low LatencyCommunication超可靠低延
11、遲通信VRVirtual Reality虛擬現實WPTWireless Power Transmission無線電能傳輸三、確定性網絡的標準化發展現狀越來越多的應用對網絡時延的上界/下界提出了嚴格且明確的訴求,傳統數據通信網絡提供的“盡力而為”服務已不能滿足。如工業中的運動控制需要保證毫秒級的時延和微秒級的抖5動1,電力差動保護也需要毫秒級的時延保障2,其他如游戲、視頻業務也期望得到盡可能穩定、優質的網絡服務,時延和抖動等控制在數十毫秒以內,從而保障良好的業務體驗。標準化組織如電氣與電子工程師協會 IEEE、互聯網工程任務組IETF、第三代合作伙伴計劃 3GPP、中國通信標準化協會 CCSA等
12、也已經開展了標準制定。(一一)IEEE 時間敏感網絡時間敏感網絡 TSNIEEE 于 2006 年首先開展確定性網絡標準的研制,成立了“音視頻橋接 AVB”工作組,研究音視頻局域網絡的確定性;2012 年更名為“時間敏感網絡 TSN”工作組3,將應用場景擴展至工業、車載以及前傳等,其包括時間同步、低時延、可靠性和資源管理四個部分,如圖 3-1 所示:圖 3-1 TSN 組件TSN 工作組至今已經發布一系列核心標準,包含基礎標準、配置標準以及增強標準:(1)基礎標準:1)IEEE Std 802.1Q-2018:橋梁和橋接網絡62)IEEE Std 802.1AB-2016:站點和媒體訪問控制連
13、接發現3)IEEE Std 802.1AS-2020:時間敏感應用程序的定時和同步4)IEEE Std 802.1AX-2020:鏈接聚合5)IEEE Std 802.1CB-2017:可靠性的幀復制和消除6)IEEE Std 802.1CS-2020:鏈接本地注冊協議(2)配置標準:1)IEEE Std 802.1BA-2021:音頻視頻橋接(AVB)系統2)IEEE Std 802.1CM-2018:時間敏感前傳網絡(3)增強標準:1)IEEE 802.1ABcu-2021:站點和媒體訪問控制連接發現修正案:YANG 數據模型2)IEEE 802.1ABdh-2021:站點和媒體訪問控制連
14、接發現-修正案:支持多幀協議數據單元3)IEEE Std 802.1CBcv-2021:可靠性的幀復制和消除修正案:信息模型、YANG 數據模型和管理信息庫模塊。4)IEEE 802.1CBdb-2021:可靠性的幀復制和消除修正案:擴展流識別功能5)IEEE Std 802.1CMde-2020:時間敏感前傳網絡修正案:前端配置文件的增強,以支持新的前端接口、同步和合成標準6)IEEE Std 802.1Qbu-2016:橋梁和橋接網絡修正案:框架優先權77)IEEE Std 802.1Qbv-2015:橋梁和橋接網絡修正案:增強排定流量8)IEEE Std 802.1Qca-2015:橋梁
15、和橋接網絡修正案:路徑控制和預留9)IEEE Std 802.1Qch-2017:橋接和橋接網絡修正案:循環排隊和轉發10)IEEE Std 802.1Qci-2017:橋接和橋接網絡修正案:逐流過濾和管理11)IEEE Std 802.1Qcc-2018:橋接和橋接網絡修正案:流保留協議(SRP)增強和性能改進12)IEEE Std 802.1Qcp-2018:橋接和橋接網絡修正案:YANG 數據模型13)IEEE Std 802.1Qcr-2020:橋梁和橋接網絡修正案:異步流量成形14)IEEE Std 802.1Qcx-2020:橋梁和橋接網絡修正案:連接故障管理的 YANG 數據模型
16、15)IEEE Std 802.1Qat-2010:虛擬橋接局域網修正案:流保留協議(SRP).16)IEEE Std 802.1Qav-2009:虛擬橋接局域網修改案:時間敏感流的轉發和排隊增強TSN 的標準是全球確定性網絡的基礎標準,其他標準組織的標準均基于 TSN 標準中提供的機制進一步擴展或者增強而制定。8(二二)IETF 確定性網絡確定性網絡 DetNet國際互聯網工程任務組 IETF 于 2015 年成立“確定性網絡DetNet 工作組”4,沿用 TSN 的技術體系,解決基于 IP 等網絡層的確定性問題。DetNet 網絡參考模型(多域)如圖 2-2 所示:圖 3-2 DetNet
17、 網絡參考模型(多域)DetNet UNI 參考接口是確定性終端到確定性網絡的連接參考點,其提供終端到確定性網絡的確定性服務連接。DetNetUNI 可以提供多種能力接口,例如,它可以將與特定網絡技術相關的數據封裝添加到確定性網絡流上;它也可以提供與預留資源相關的可用性狀態信息給終端;它可以提供時鐘同步服務給終端;它也可以攜帶消息給未使用控制器的分組網絡以便分組節點將相關資源進行預留。當前 DetNet 工作組已經發布標準 18 項,包括場景、架構、數據面的封裝、YANG 模型配置以及安全性考慮等:1)RFC 8557確定性網絡(DetNet)問題聲明92)RFC 8578確定性網絡(DetN
18、et)應用場景3)RFC 8655確定性網絡(DetNet)架構4)RFC 8938確定性網絡(DetNet)數據面框架5)RFC 8939確定性網絡(DetNet)數據面:IP6)RFC 8964確定性網絡(DetNet)數據面:MPLS7)RFC 9016確定性網絡(DetNet)流和服務信息模型8)RFC 9023確定性網絡(DetNet)數據面:IP over TSN9)RFC 9024確定性網絡(DetNet)數據面:TSN overMPLS10)RFC 9025確定性網絡(DetNet)數據面:MPLS overUDP/IP11)RFC 9037確定性網絡(DetNet)數據面:M
19、PLS overTSN12)RFC 9055確定性網絡(DetNet)安全考慮13)RFC 9056確定性網絡(DetNet)數據面:IP overMPLS14)RFC 9320確定性網絡(DetNet)有界時延15)RFC 9546基于 MPLS 的確定性網絡 OAM16)RFC 9551確定性網絡 OAM 架構17)RFC 9550確定性網絡報文排序18)RFC 9566基于 MPLS over UDP/IP 的確定性網絡報文復制、消除和排序10當前,DetNet 工作組正在面向數據面進行增強和擴展,其中 需 求 文 稿 已 經 采 納(draft-ietf-detnet-scaling-
20、requirements),面向規??蓴U展的確定性網絡進一步制定標準。(三三)3GPP 5G+TSN、5G+DetNet國際 3GPP 從 R16 開始引入 TSN 機制,支持最基本的 5 個IEEE TSN 協議,并對 5G 網絡進行時間同步機制和確定性服務保障增強,R17 階段對 R16 進一步增強,并支持基于 5G 的確定性能力開放,當前標準研究已經完成 R18 詳細設計,支持了DetNet、跨域確定性。3GPP 5G+TSN 的標準發展歷程如下:1)R16 階段TS 22.261 明確 5G 支持以太及 LAN 轉發能力TR 22.804 明確 TSN 作為 5G 系統關鍵特性TS 2
21、3.501 提出 5G 作為 802.1Q 中 TSN 網橋,5GS 支持TSN 橋接管理和配置TS 23.502 規定 5G TSN 控制面流程TS 23.503 規定 5G TSN QoS 配置框架TS 24.519 定義 5G TSN DS-TT 與 TS-TT 網元的協議設計TS 24.535 定義 5G TSN AF 與 DS-TT 和 TS-TT 的協議設計TS 29.244 定義時間敏感信息的用戶面控制接口詳細設11計TS 29.512 定義時間敏感通信的 QoS 等詳細設計TS 29.522 定義時間敏感通信的能力開放2)R17 階段TS 23.501 提出 TSC 概念,構建
22、 TSCTSF 能力TS 23.502 更新 IP PDU 的 TSC 功能,TSC TSF 核心網響應流程、發現和選擇流程,規定 TSN GM 和 5GS 時鐘 TSCAI 映射,澄清使用 TSCTSF 提供的時間同步服務TS 23.503 更新 TSCTSF 發現和選擇流程TS 24.501 支持時間同步TS 24.535 增強 gPTP 機制,支持 PTPTS 29.512 支持 TSC 開放TS 29.513 TSC 的策略控制流程TS 29.514 支持 TSC 開放TS 29.519 存儲 TSC 數據TS 29.522 支持 TSC 開放TS 29.591 支持 TSC 開放TS
23、 29.244 用戶面控制接口詳細設計更新TS 29.510 定義 TSCTSF 注冊和發現3)在 R18 階段TS 23.501 提出 DetNet 概念,構建 5G 與基于 IP 層的確定性網絡協同能力;提出 5G 和傳輸網絡的跨域確定性協同,進12一步支持時間同步能力開放TS 23.502 支持 DetNet 配置流程,支持時間同步能力開放、N3 確定確定性等業務流程TS 23.503 規定 DetNet QoS 配置框架,支持時間同步能力開放、N3 確定確定性的策略控制TS 29.585 規定 SMF/CUC 和 AN-TL、CN-TL 交互的協議交互TS 24.501 規定時間同步狀
24、態詳細定義TS 24.539 UMIC 中傳遞時間同步狀態信息TS 29.122 BAT 適應能力/偏移適配TS 29.507 時間同步訂閱事件處理TS 29.512 BAT 適應能力/偏移適配,DetNet 信息交互TS 29.513 TSC、時間同步狀態信息、DetNet 的策略控制流程TS 29.514 BAT 適應能力/偏移適配,DetNet 信息交互TS 29.522 TSC 和時間同步狀態信息能力開放TS 29.534 時間同步簽約擴展TS 29.539 DetNet 所需 NW-TT 字段擴展TS 29.565 時鐘同步狀態報告,支持 IETF draft-ietf-detnet
25、-yangTS 29.503 簽約數據更新TS 29.504 簽約數據更新13TS 29.505 簽約數據更新TS 29.518 AMF 相關流程更新TS 29.571 通用數據更新TS 29.244 用戶面控制接口詳細設計(四四)CCSA 確定性網絡確定性網絡中國通信標準化協會 CCSA 各標準技術工作委員會和特設任務組從 2018 年起均已經開展面向運營商網絡、下一代移動無線網絡、工業互聯網的確定性網絡行業標準的制定:1)2021-0277T-YD 電信網絡的確定性 IP 網絡總體架構和技術要求2)2021-0278T-YD 電信網絡的確定性 IP 網絡控制面技術要求3)2022-0759
26、T-YD 電信網絡的確定性 IP 網絡設備技術要求4)2021-0993T-YD 電信網絡的確定性 IP 網絡 面向匯聚層邊緣云的技術要求5)2021-CCSA-116 工業互聯網 確定性網絡技術要求6)2022-CCSA-32 網絡 5.0 確定性業務分類分級需求7)2020B60 面向物聯網應用的確定性網絡技術需求分析研究8)2021B80 工業互聯網 企業確定性網絡關鍵技術及自運營系統研究149)2022B60 5G 確定性通信業務保障方法研究10)2021B91 新一代無線網絡確定性技術研究11)2021B133 5G 網絡確定性時間感知技術研究12)2020B39 PON 支持低時延
27、和確定性時延技術的研究13)2023-0107T-YD 5G 移動通信網支持時間敏感網絡(TSN)技術要求(第二階段)雖然各行業和標準化組織都已經開展確定性網絡技術的研究以及標準的制定,確定性網絡目前僅在局域網或專用大型設備中應用,還未廣泛應用。TSN 的時延控制機制適用于范圍較小的二層網絡,對于長距離、拓撲復雜的網絡,TSN 的可擴展性并不夠優異;DetNet 雖然面向 IP 層,但由于繼承了 TSN 的技術,也面臨和 TSN 一樣的問題,目前正在致力于制定可擴展的標準。5G 引入 TSN 機制的復雜性對于后期的應用是一個很大的挑戰。除了個別局域網的業務,大部分業務都是需要跨越多域以及多種接
28、入方式的,因此需要確定性網絡技術的協同。目前業界對于確定性網絡技術協同技術的研究尚處于起步階段,各標準化組織尚未有確定性網絡協同技術標準發布,所以研究確定性網絡協同技術是非常必要的。四、確定性網絡要解決的問題確定性網絡通過對網絡數據轉發行為進行控制,從而實現可預期、可規劃的,將帶寬、時延、抖動和丟包率等控制在確定的范圍內5。其中,帶寬資源可以通過資源預留協議、軟硬15切片資源隔離等方式實現,丟包率可以通過多發選收等技術實現。時延和抖動是確定性網絡所關注的最核心的方面,包括網絡的單跳時延和端到端時延6,通常表現在單臺網絡設備對于報文的收發時間的控制,以及與上下游節點的相互配合。(一一)保障保障單
29、域單域網絡的時延網絡的時延網絡的單跳時延主要由單跳傳播時延和節點內時延組成,其中傳播時延是指數據包在鏈路上傳播的時延,主要取決于網絡設備之間的鏈路距離及鏈路傳輸速率。在一個穩定的網絡拓撲中,鏈路距離及鏈路速率相對穩定,因此鏈路時延幾乎沒有變化的空間。節點內時延主要包括報文的處理、排隊、發送和重傳等,特別是節點中的排隊時延是造成長尾效應的主要因素。當沒有任何網絡擁塞,數據報文進入緩沖隊列的時延幾乎為零,但是網絡一旦有擁塞發生,報文必須在網絡設備(路由器、交換機)中排隊等待。這個時間不是固定的,與網絡繁忙程度以及隊列排隊機制相關。網絡負載比較輕的時候,不需要排隊,無排隊時延;負載較重時,排隊則可能
30、時延很大(幾十到幾百毫秒都有可能)。所以,鏈路時延的可降低空間十分有限,達到低時延進而實現確定性網絡的關鍵在于減少節點內的時延。圖 4-1 網絡單跳時延16確定性網絡中,可以事先調度規劃好關鍵事件的發生序列。各個子系統之間通過通信任務的特定調度規劃和數據包的處理調度,使確定性任務處于一種無沖突的狀態,避免了信息在交換過程中不可控制的排隊,有效地降低了設備的緩存成本以及傳輸等待而導致的時延,從而使得整個網絡的關鍵數據包的傳送處于確定的狀態。圖 4-2(a)和(b)分別給出了在傳統 IP 網絡和確定性網絡中的端到端傳送時延的概率密度分布,可以看到確定性網絡的時延和抖動是有上界的。(a)傳統 IP
31、網絡(b)確定性網絡圖 4-2 網絡時延概率密度(二二)保障端到端保障端到端跨域跨域網絡時延網絡時延的的協同協同網絡的端到端時延是指業務請求從客戶端發出之后,一直到數據中心進行處理所經過的所有網絡鏈路和設備的時延。如圖 4-1 所示,網絡端到端單向時延包括以下 4 種。(1)無線側時延:無線側時延主要是指業務數據從端側發出,經無線空口被無線接入網(RAN)接收的時延。17(2)回傳網時延:從基站連接至用戶面功能(UPF)的時延,這段網絡不同的運營商采用不同的技術,如分組傳送網、切片分組網以及 IP 無線接入網技術等。(3)UPF 處理時延:UPF 作為 5G 核心網的用戶面網元,是RAN 與數
32、據網絡(DN)之間的連接點,負責完成數據報文的識別和重封裝。其中,服務質量映射、深度包檢測等功能處理會帶來一定的時延。UPF 的部署位置隨著 5G 核心網下沉,可能在城域接入、匯聚、核心、骨干等多個位置。(4)IP 承載網時延:IP 承載網主要指省際骨干網和部分城域網,以及互聯網,采用的是 IP 網絡技術。圖 4-3 端到端的網絡時延通常除了局域網業務,其他需要訪問外網或者互聯網的業務都需要經過多個網絡域,包括跨越局域網、運營商不同自治域的網絡以及不同運營商之間的網絡,單個設備的確定性轉發無法保障全局的確定性。當前確定性網絡的轉發面技術如流量整形、隊列調度等均以解決單跳時延為基礎,缺少了基于端
33、到端時延保障的考慮。五、端到端確定性網絡協同框架18端到端的確定性網絡不僅要解決網絡設備對報文處理的時延,也需要協同多域、多運營商的全局時延?;谝陨显瓌t,端到端確定性網絡的架構如圖 6-1 所示。(一)(一)端到端橫向跨網絡域端到端橫向跨網絡域從網絡域的角度看,端到端的確定性網絡包括 3 個部分:工廠內網、工廠外網及跨網絡域。圖 5-1端到端確定性網絡架構1.工廠內網以工業為例,工廠內網通常分為信息網絡和生產網絡7,其中離用戶站點較近的生產網絡對時延有一定的要求。傳統的生產網絡采用的總線或工業以太網技術,可以保障時延,但是無法適應工業互聯網趨勢下的互聯互通要求,這也是 TSN 網絡深入工業想
34、要解決的問題。TSN 的一系列流量控制的機制,適用于企業規模的網絡,TSN 在工業的融合發展趨勢,促使信息19和生產系統在網絡層互聯和應用層語義一致,實現不同系統的互聯互通。2.工廠外網工廠外網主要是指運營商網絡,包括 5G 無線側、接入網、匯聚網和骨干網。工廠外網的確定性是端到端確定性網絡的關鍵環節之一,目前暫無明確的方案,可以考慮采用資源預留的方式優化重要業務的部分時延。匯聚和接入網絡主要采用PTN/SPN/IP-RAN 等技術,也都在一定程度上考慮了網絡時延的需求,不過是否需要進一步的基于二層或者 3 層網絡的確定性技術支持還有待驗證。骨干網基于 IP 協議實現,所以基于 3 層的確定性
35、技術是主要的選擇。5G 邊緣計算的興起使得數據中心和 UPF 逐漸融入到運營商的融合/接入網絡中。以 UPF 為分界點,回傳網和承載網可能采用不同的技術和協議,這兩部分網絡也有不同的控制面。流量從用戶側發出,到 UPF 之前,通過 5G 系統的控制面來管理和配置,在 UPF 之后即進入固網的范圍。5G 系統對于流量的 QoS 有著比較復雜和較為全面的控制,但是在 UPF 之后,僅僅映射為固網 IP 協議的差分服務代碼點 DSCP 字段8,DSCP 共定義了64 種,但是現階段并未在現網中應用。所以一方面流量在 5G網絡中并沒有實現嚴格的確定性,另一方面在 UPF 之后無法得知其具體的 QoS
36、需求,也無法實現確定性?,F階段 3GPP 開始啟動對確定性機制的引入,即使兩部分網絡都實現了確定性,也需要充分感知和交互,才能實現端到端的確定性。203.跨網絡域跨網絡域的情況包括跨同一個運營商網絡的多個網絡域,不同網絡域所采用的網絡技術可能不同;也包括跨不同運營商的網絡,如 quality on demand9,用戶通常通過某一運營商的網絡接入,訪問其他運營商網絡中的服務。同時也指不同的局域網之間的互聯。確定性的業務流在各個網絡域都需要被識別才能保證其快速有序的轉發,可能涉及時間同步、頻率同步、非同步技術的結合,確定性流量標識的解析和重封裝,各域所劃分時間片的協商等機制。因此,需要跨域互通的
37、管理系統來建立有效的協商和確定性轉發機制,以保證業務流的及時到達,該系統可能根據網絡規模,通過集中式或者分布式部署。由于各網絡域可能使用不同的調度、整形技術,如時延敏感門控調度、循環隊列調度、剩余時間調度、異步調度等,不同技術對時延和抖動的影響各有不同,為滿足端到端時延/抖動SLA 指標,可以在不同技術域邊界額外放置時延/抖動調整器,對經過當前域的確定性業務的時延或者抖動做二次調整。時延/抖動調整器可以通過多種技術實現,具體方案還待進一步研究。(二二)端到端縱向端到端縱向跨功能平面協同跨功能平面協同確定性網絡的實現技術包括數據面、控制面和管理面,需要各功能平面協同來保障端到端的確定性。211.
38、數據面數據面技術是確定性網絡的基礎,包括流量整形、隊列調度、標簽解析等,這些機制規定了網絡設備中時間敏感流的排序和轉發規則,可以單個或者組合使用,達到不同的確定性效果。(1)流量整形:單個業務的流量可能會呈現出規律性,如工業類的應用、物聯網設備周期性的數據采集等,對于整體的網絡流量,通常是無規則的。需要在網絡設備處對無規則的流量進行整形,滿足一定的規律分布,從而便于后續的處理。IEEE802.1Qav 定義了基于信任的整形,通過信任消耗和累積算法來決定每種流量是否發送和等待10。(2)隊列調度:網絡設備內部對報文或流的處理一般是基于隊列先進先出的原則,通過對報文所對應的收發隊列的控制,可以調整
39、其在某個網絡設備發送的時間,從而達到逐流逐報文可控的效果。IEEE 802.1 Qbv11是典型的隊列調度機制,也是循環隊列調度12以及異步流量整形13等調度的基礎。(3)標簽解析:消息在不同網段傳輸時,由于不同網絡的實現技術不同,可能需要對標簽進行重新解析和封裝。例如,從二層網到三層網絡,時間敏感流的關鍵字段需要從以太網幀中解析出來,封裝成 IP 報文。(4)周期映射:一些非時間同步的確定性網絡實現機制,如確定性 IP14,需要基于循環隊列的機制對上下游設備進行標簽映射。22(5)富語義識別:報文中可能攜帶其他的擴展信息,如應用的需求信息、時間戳等信息,需要能夠對這些擴展信息進行識別,從而滿
40、足多樣化的數據面功能的擴展。2.控制面控制面端到端時延和抖動保障方面可以有多種技術手段,例如:(1)拓撲生成:確定性網絡的部署可能是分階段的,演進過程中并非所有設備都支持確定性網絡的功能,可能采取隧道技術或者疊加層的方式,因此需要具備確定性網絡設備和拓撲生成的功能。(2)SLA 指標分解:端到端總 SLA 指標分解成各個網絡段的的多段 SLA 指標,各網絡分別提供滿足指標的服務。(3)QoS 參數映射:通過二層幀頭的源、目的 MAC 地址和優先級區分業務和 QoS 等級,通過確定性流標識和分類分級信息區分確定性業務和 SLA 服務等級;為保證端到端統一的 QoS服務,網絡邊界節點需要做參數映射
41、和轉換;(4)路徑計算:根據分解的 SLA 指標,各網絡域分別計算滿足需求的業務路徑,域內根據業務分類分級信息選擇合適的確定性路由,也可以通過集中控制方式由控制器規劃顯式路徑;(5)資源預留:資源預留是保障確定性網絡服務的基礎,傳統的資源預留協議15或基于流量工程擴展的資源預留協議16協議目前應用得并不是特別廣泛,一方面原因是之前確定性業務并未興起,另一方面原因是降低了網絡資源利用率。所23以需要在提升資源預留的粒度和準確度上,并且需要改進廣域網絡對應流聚合情形下的資源預留方案。(6)流聚合:在大多數大規模確定性網絡中,由于業務的多樣性,需要進行流量聚合,詳細定義聚合策略,如開始和結束時間、流
42、量類型和特征。3.管理面管理面需要實現確定性網絡的跨域互通管理、資源管理配置、性能檢測、多用戶配置和能力調用等功能。(1)跨域互通管理:配置確定性網絡流量在不同網絡域的策略,可能包括域間的資源分配和協商等功能。(2)資源管理配置:可以是一些基本的網絡配置,也可以是特定的資源,如 YANG 模型、端口、周期映射關系等。(3)性能監測:通過獲取網絡反饋來調整轉發策略,定位故障,并根據歷史數據預測網絡擁塞。(4)多用戶配置:確定性網絡需要考慮一定的應用方的需求,在視頻、游戲等應用中,涉及用戶之間的交互,因此需要保持同一應用中多用戶的一致性,從而達到最優的業務體驗,需要同時考慮路徑選擇和流聚合策略等。
43、(5)能力調用:向用戶云開放確定性網絡的能力,如路徑計算、門控制列表等。用戶云通常包括基本的網絡配置功能,但對于復雜的網絡管理或者控制面功能,可以通過調用大網的能力實現。24六、端到端確定性網絡協同技術本章節提出一些確定性網絡技術協同方案,作為當前確定性網絡的補充,實現端到端的確定性網絡保障。(一)(一)現場網與車間網現場網與車間網協同技術協同技術工業網絡對通信的實時性有著較高的要求,傳統的工業以太網針對特定的應用領域開發了許多專有的協議來保障通信需求,如 EtherCAT、PROFINET 和 TTEthernet 等,但是它們都是行業的專有協議,彼此互不兼容,無法在同一網絡中實現互操作,為
44、了解決這一問題,TSN 應運而生,TSN 技術標準制定了一系列機制,將工業以太網和 TSN 結合,可以確?;蚋纳埔蕴W流量的實時傳輸,并進一步促進工業網絡中的 IT/OT 融合,滿足各類工業場景的通信需求。工業網絡中對 TSN 的應用主要通過 TSN 交換機來實現。TSN交換機可以實現 TSN 的一系列功能,包括時鐘同步、資源預留、流量調度等,時鐘同步作為 TSN 交換機最基本的功能,可以在每一臺 TSN 交換機中實現。根據不同的應用場景,可以選擇具備不同功能的 TSN 交換機,例如,對時延要求高的應用,可以使用具有 Qbv、Qbu 等功能的交換機來保障關鍵流量的確定性時延;對可靠性要求高的應
45、用,可以使用具有 802.1CB 功能的交換機來減少數據包的丟失以提升可靠性。TSN 在網絡中需要提供的網絡指標包括帶寬、延遲、抖動、丟包率、可靠性等等,25對于中小規模的靜態網絡,TSN 的流量規劃調度往往可以提供高質量的調度方案。(二二)工廠內網工廠內網與與工廠外網工廠外網協同技術協同技術本節主要面向工廠內網和外網的協同互聯場景。例如DetNet 可以在 IP 層,解決 3 層網絡與 2 層網絡孤島連通的場景,RFC9024 提 TSN 疊加 DetNet MPLS 的場景及方案,L3 層使用 DetNet 實現確定性技術,與 TSN 網絡連通。DetNet MPLS 域邊緣節點提供業務代
46、理(service proxy)功能,實現 TSN 流和DetNet 流的映射,將 TSN 流關聯到 DetNet 流,可能一對一,也可能是多個 TSN 流映射到一個 DetNet 流。TSN 相關信息,如流處理需求,優先級,隊列操作等屬性,需要通告到 DetNet 網絡,TSN 的 Stream ID 及其相關參數及需求,需要轉化成DetNet Flow-ID 及相關參數及需求,其流識別規則及流映射需要采用管控平面方法實現。目前產業界代表性確定性 IP 技術 DIP,基于 IP 分組轉發技術做到端到端時延抖動不超過需求閾值,且時延抖動上限與數據包所經過的 IP 節點跳數無關,主要適用于遠程手
47、術、在線 VR 游戲、電網繼電保護、天車遠程駕駛等場景。確定性 IP網絡的轉發架構主要包括控制面的資源預留、數據面的確定性轉發,在入口邊緣節點處進行確定性流準入條件判定,必要時進行確定性流量整形;出口邊緣節點參與資源預留的信令過程。26DIP 面向廣域網設計,同時也可以應用在工廠內網。從工廠內網到外網的鏈接轉換過程中,需要配置好周期映射的關系,消除內網和外網周期頻率的偏差,以及適應不同網段的速率和周期大小的設置問題。圖 6-1 確定性 IP 網絡架構(三三)移動網與承載網協同技術移動網與承載網協同技術1.5G+TSN 技術(1)5G 前傳+TSN通過 TSN 技術來提升包括前傳、回傳網絡在內的
48、 5G 傳輸網的質量,實現確定性傳輸,IEEE 802.1CM-2018 和 802.1 CMde-2020 對 TSN 作為移動前傳網絡進行了規范。標準解決了使用以太網將蜂窩無線電設備連接到遠程控制器的問題,有望在 5G 小型蜂窩網絡以及未來基于云的無線接入網絡的技術設計中發揮重要作用。面向工業企業園區內工業互聯網規劃和部署,時間敏感網絡與移動前傳網絡融合部署的場景主要有如下三類:271)車間級:車間內部及生產線上,部署有大量異構的傳感器和控制器,分別具有高并發接入和高可靠、強實時傳輸要求。其中,不同類型數據通過前傳網絡傳送至車間綜合接入點的MEC 進行本地實時處理,支持閉環控制。此時前傳網
49、絡為主要承載網絡,傳輸范圍為車間內;2)樓宇級:樓宇內部,部署有大量監控器和移動機器人,具有高帶寬和高可靠傳輸要求。其中,監控數據和機器人控制數據通過前傳網絡傳送至樓宇綜合接入機房的 MEC 進行本地實時處理,支持實時調度。此時前傳網絡為主要承載網絡,傳輸范圍為樓宇內;3)園區級:園區內部,部署有大量監控器或巡檢機器人,具有高帶寬傳輸要求。其中,監控數據一般通過前傳網絡傳送至園區綜合接入機房的 MEC 進行本地實時處理和存儲。此時前傳網絡為主要承載網絡,傳輸范圍為園區內;面向室外生產作業環境(如石油開采、電力傳輸)的工業互聯網規劃和部署,時間敏感網絡與移動前傳網絡融合部署的場景主要有如下兩類:
50、1)生產單元級:室外大型生產單元(如抽油機、變電站)附近,部署有大量異構的傳感器、監控器和控制器,分別具有高并發接入、高帶寬傳輸和高可靠、強實時傳輸要求。其中,不同類型數據通過前傳網絡傳送到室外生產單元接入點的 MEC進行本地實時處理,支持閉環控制。此時前傳網絡為主要承載網絡,傳輸范圍為生產單元附近;282)生產區域級:室外大型生產單元之間需要進行協同調度與控制,具有高可靠、強實時傳輸要求。其中,數據通過前傳網絡傳送到區域生產調度室的 MEC 進行本地實時處理。此時前傳網絡為主要承載網絡,傳輸范圍為生產區域內;(2)5G TSN 端到端同步技術軟件定義 5G TSN 同步網絡基于集中式控制和管
51、理架構,通過引入控制平面,提供智能化的同步網絡配置管理、保護恢復、故障管理以及性能管理等功能,防止同步網絡定時環、PTP 廣播風暴、同步網絡配置錯誤等問題,方便同步網絡規劃部署,增強同步網絡運行安全可靠性,提升同步網絡運維管理效率?;?SDN/NFV 技術,通過軟件定義的方式可以將網絡的主要工作簡化為傳遞時間同步消息,并將協議級別的逐跳補償從專用時鐘設備解耦成網絡功能。一方面通過 SDN 控制器可以獲取相關鏈路參數信息(例如,鏈路長度,物理鏈路特性等),并且可以獲取節點參數,例如網元的類型,振蕩器特性以及任何其他根據 SDN 規則以可編程方法添加的參數信息;另一方面,通過將時間同步構建為網絡
52、功能,完成集中式的時間誤差補償。結合 SDN、NFV 技術實現軟件定義的網絡時間同步后,時間誤差補償數據可以匯集到計算平臺進行處理。(3)5G TSN 融合組網根據工業互聯網中確定性業務的 SLA 不同,支持 5G 系統與TSN 系統融合的 5G TSN 組網架構如圖 7-4 所示,從層次上分為數據平面、控制平面和業務應用。29數據平面:主要包括 TSN 數據平面和 5G 數據平面。TSN 數據平面主要包括終端設備(端站、工業設備、工業控制器等),5G 數據平面主要包括網絡側的網關功能設備、5G 核心網用戶平面功能、5G 接入網、NW-TT、DS-TT。網關功能設備和設備側TSN 轉換器是實現
53、 5G 系統與 TSN 系統的協同融合的關鍵部件,主要用于實現 5G 系統與 TSN 系統之間的時間同步,并為業務流提供端到端傳輸通道??刂破矫妫褐饕?5G 系統控制器、TSN 系統配置器和 5GTSN 協同控制器。5G 系統控制平面中的訪問與移動管理功能AMF、會話管理功能 SMF、策略控制功能 PCF 以及與 TSN 控制平面相關的 TSN 應用功能 AF 等功能模塊,形成為 5G 系統的控制器。TSN 系統配置器主要包括 CUC 和 CNC,TSN 系統配置包含網絡側與用戶側兩個部分。5G TSN 協同控制器掌握全局網絡狀態,北向接口面向網絡應用 APP 提供抽象的網絡信息,獲取服務
54、需求,其南向接口與單域控制器(5G 系統控制器和 TSN 系統配置器)進行交互,以支持 5G TSN 全網的協調配置。業務應用:由于 5G TSN 融合架構兼備 5G 技術和 TSN 技術優勢,具有寬帶接入、大規?;ヂ?、實時連接、時間敏感連接等特性,因而可以廣泛應用于數據融合、智能電網、工業自動化、數字交通等多個領域,賦能工業互聯網數字化、網絡化、智能化。30圖 6-2 5G TSN 組網架構目前,如何面向工業互聯網對 5G 和 TSN 技術進行融合組網部署是產業界、學術界、標準組織研究的熱點。3GPP R16 版本主要定義了采用網絡側和用戶側 TSN 轉換器實現 5G-TSN 組網方式,實現
55、端到端確定性通信;工業互聯網產業聯盟(AII)定義了三種 5G TSN 融合組網方式,分別是 TSN over 5G uRLLC、5G承載網 over TSN、5G 作為 TSN 系統網橋。2.UPF 增強技術當前,移動網絡終端接入后遵循 3GPP 若干協議規定,UPF支持 GTP17所攜帶的移動網的各類參數,但是解析后通過 N6接口發送給后續承載網的報文中,除了 DSCP 字段,不會向固網輸出任何關于應用、用戶等的信息。意味著移動核心網中的Qci,Qfi 等具體包括業務需求的參數無法被承載網感知,承載網的服務質量便無法得到保障。即使承載網具備網絡切片、確定性網絡等功能,也無法很好的和業務需求
56、匹配。31端到端的確定性網絡需要不同網段之間的協同,所以需要移動網的控制面以及數據面與承載網進行交互,包括控制面的參數配置同步,以及數據面的參數解析和重新封裝。以基于時間戳的確定性網絡轉發機制為例,總體時延 T 應等于分配給核心網和承載網的時延之和,由于路徑上承載網在移動網后面,則需要進一步的策略規則制定。實現方式簡述:(1)如果報文在移動網絡傳輸過程中消耗時間正常,需要重新封裝應用對網絡的需求信息,可以通過讀取 Qci 的對應表獲取時間要求信息(2)如果報文在移動網絡傳輸過程中已經消耗過多時間,但并未超過總體時延,則承載網絡可以選擇更快速的轉發路徑,也可以按照原本路徑轉發(3)如果報文在在移
57、動網絡傳輸過程中已經超時,則承載網絡可以選擇丟棄報文,并向移動網反饋重新發送報文,則再與核心網溝通重新發送報文。進一步,控制面要解決的問題是如何讓 UPF 根據 Qci,Qfi等信息寫入詳細的應用需求。一種方式為,UPF 具有 FAR 轉發行為規則的功能,其中 Transport level marking 是可以對轉發報文 IP 頭部添加指定的 DSCP 標記,即可以重新定義Transport level marking,在現有的 DSCP 標記處擴展?;蛘遀PF 新增功能,寫入詳細的應用參數信息。另一種方式是 UPF具備 PDR 識別流的功能并可以進行分類,例如通過 Local F-TEI
58、D 字段,網絡示例,UE IP 等信息的任意組合識別。32數據面要解決的問題是如何考慮移動網已經消耗掉的時延,傳遞給 IP 網絡,可以通過對 GTP 的修改,攜帶應用的需求信息。GTP 報文中包括 Pn 字段,為 N-PDU 號標志位(Number Flag),長度 1 位,標記是否存在一個可選的 N-PDU 號字段,有則值為1,無則為 0??梢詫?Pn 字段設置為 1,之后通過擴展字段來攜帶具體的應用參數信息。(四四)增強增強確定性網絡確定性網絡協同協同技術技術隨著園區網絡確定性技術的日趨成熟,跨越 IP 確定性網絡的各種應用場景也應運而生,確定性網絡面臨多方面挑戰:多樣化的服務質量需求、大
59、規模網絡連接和流量需求、差異化確定性轉發機制,需要不同層次資源和路由的協同。增強確定性網絡(Enhanced Deterministic Networking,EDN)基于上述需求,以資源、路由的協同滿足業務多層次時間確定性的需求。1.資源確定性資源確定性是提供確定性網絡服務的基礎,是指滿足節點內、鏈路處理的確定性指標達成的資源以及對應資源的處理機制(比如鏈路帶寬、隊列及其調度算法)。需要對網絡進行整體資源規劃,建模異構確定性資源,為不同級別的確定性轉發能力提供保障。EDN 將確定性資源統一抽象為確定性“鏈路”,不同的資源類型或資源能力都是為確定性路由層提供不同的“鏈路”,這些鏈路具有確定性路
60、由可感知的確定性屬性。確定性鏈路可33以是提供確定性傳輸的子網,也可以是點對點 P2P 鏈路。通過確定性鏈路的抽象,對路由層屏蔽不同資源的細節,由確定性鏈路集合、子網之間相互協同構成具有端到端的確定性服務能力的邏輯拓撲。EDN 針對不同資源類型和能力,在數據面攜帶通用隊列資源調度信息,涵蓋 Qbv、CBS、ATS、基于截止時間的調度、周期調度等隊列調度機制,報文依據此信息可以得到對應的轉發和調度,保證業務的端到端時延和抖動確定性。2.路由確定性傳統的路由只具備可達性,確定性需求如時延抖動等只作為算路約束條件,路徑隨網絡拓撲的實時變化而發生改變,不具備 SLA 能力,無法滿足多種確定性級別的需求
61、。為了滿足分類分級確定性業務的需求,EDN 基于統一建模后的確定性鏈路資源,生成和發布具有不同 SLA 能力的確定性路由,例如域內使用 IGP 基于確定性時延度量計算確定性路由,跨域使用 BGP 基于精確的時延/抖動指標計算確定性路由。區別于傳統可達路由,確定性路由本身都是由確定性鏈路構成,通過路由選擇匹配不同的確定性鏈路資源,從而提供不同的路由轉發服務?;谏鲜龃_定性鏈路計算出的路徑,由于與底層具體隊列調度機制相關,除原有可達性外,還可以體現由底層機制保障的時延和抖動信息,因此此類路由稱為確定性路由?!百Y源確定性”通過規劃攜帶確定性能力的網絡資源,對確定性資源進行統一建模,形成增強確定性鏈路
62、?!奥酚纱_定性”基于資源層面提供的統一建模的確定性鏈路計算確定性保34障路徑并進行時隙化編排,下發域內或跨域的確定性路由,提供確定性承載能力。七、發展建議確定性網絡目前標準已經走向成熟,但是仍需在確定性網絡的場景和技術分類分級、應用確定性需求和網絡確定性能力映射,網絡與計算確定性技術協同方面展開進一步研究:(一一)確定性網絡的場景和技術分類分級確定性網絡的場景和技術分類分級端到端的確定性網絡技術的協同需要根據業務需求將確定性業務映射到不同的確定性服務等級。同時,確定性網絡的服務的等級,需要綜合業務的需求及網絡的能力,來決策確定性網絡相關的技術選擇和試點規劃。當前確定性業務的場景需求和技術分類分
63、級還未完全明確。為了更好地進行確定性網絡技術的協同,有必要對確定性網絡的場景和技術分類分級進一步研究,以滿足確定性業務多樣化需求和 SLA 指標達成。(二二)應用確定性需求和網絡確定性能力映射應用確定性需求和網絡確定性能力映射不同應用對網絡的時延、抖動、丟包率等指標有著不同的需求,確定性網絡的終極目標是保障應用確定性需求。網絡QoS 越高,傳輸機制越復雜,成本也越高,因此不能一味地追求高質量的網絡 QoS,而是要“因地制宜、對癥下藥”,綜合考慮性能和成本之間的平衡。當前細分應用場景眾多,無法直35接從業務質量需求中提取出網絡的確定性傳輸需求。為了解決上述問題,需要解決應用的確定性需求和網絡的確
64、定性能力之間的映射問題。(三三)網絡與計算確定性技術協同網絡與計算確定性技術協同針對工業控制系統向著廣域化、云化發展的趨勢,網絡與計算確定性技術協同可以為下一代工業控制系統提供實時算力和實時傳輸保障。網絡確定性主要關注的是網絡的實時性能力,如時延和抖動的控制;計算確定性則更多地關注算法的穩定性和執行效率,確保計算任務能夠穩定執行并在有限的時間內得到結果。網絡確定性技術和計算確定性技術分屬兩個不同的領域,相互協同為工業系統提供融合確定性保障仍面臨諸多挑戰。下一步,希望與產學研各界凝聚共識,攜手探索確定性網絡協同技術領域,解決當前確定性網絡協同技術發展過程中存在的標準體系尚不完善、關鍵技術尚不成熟
65、等問題,共同推進產業發展!36參考文獻1 IEC 62443.Security for industrial automation and control systems:ISA/IEC62443S.2007.2 5G 確定性網絡產業聯盟.5G 確定性網絡 電力系列白皮書 I:需求、技術及實踐R.2020.3 IEEE.Official website of the IEEE 802.1 time-sensitive networking(TSN)taskgroup.OnlineAvailable https:/www.ieee802.org/1/tsn.4 IETF.Official web
66、site of the IETF deterministic networking(detnet)workinggroupS.OnlineAvailable https:/datatracker.ietf.org/wg/detnet.5劉鵬,杜宗鵬,李永競,等.端到端確定性網絡架構和關鍵技術J.電信科學,2021,37(9):10.6段曉東,劉鵬,陸璐,孫滔,李志強.確定性網絡技術綜述J.電信科學,2023,39(11):1-12.7 工業互聯網產業聯盟(AII).工業互聯網網絡連接白皮書R.20188 IETF.Definition of the Differentiated Service
67、s Field(DS Field)in the IPv4 andIPv6 Headers:RFC2474S.1998.9 Quality on demandS.OnlineAvailable https:/www.camaraproject.org.10 IEEE.IEEE Standard for local and metropolitan area networks-forwarding andqueuing enhancements for time-sensitive streams:802.1QavS.2009.11 IEEE.IEEE Standard for local and
68、 metropolitan area networks-enhancementsfor scheduled traffic:802.1QbvS.2015.12 IEEE.IEEE Standard for local and metropolitan area networks-cyclic queuing37and forwarding:802.1QchS.2015.13 IEEE.IEEE Standard for local and metropolitan area networks-bridges andbridged networks amendment:asynchronous
69、traffic shaping:802.1QchS.2020.14 強鸝,劉冰洋,于德雷,等.大規模確定性網絡轉發技術J.電信科學,2019,35(9):12-19.15 IETF.Resource reservation protocol(RSVP):RFC2205S.1997.16 IETF.RSVP-TE:Extensions to RSVP for LSP tunnels:RFC3209S.2001.17 3GPP.General packet radio system(GPRS)tunnelling protocol user plane(GTPv1-U):TS29.28S.2015.