1、演講人：王豪杰演講單位：中國移動研究院目目 錄錄01場景與安全需場景與安全需求求02現有技術分析現有技術分析03PHYSecPHYSec技術思技術思路路04總結與展望總結與展望場景與安全需求場景與安全需求01Chapter one網絡攻擊日漸頻繁，無處不在!在Internet上每天有超過1億次的網絡攻擊，每秒超1000次以上的攻擊發生。攻擊者企圖訪問用戶個人或組織的信息數據，沒有一家公司能幸免中國數據安全法中國網絡安全法中國個人信息保護法 中國密碼法網絡安全審查辦法關鍵信息基礎設施保護條例網絡安全等級保護條例(征求意見)網絡安全審查辦法(修訂)商用密碼管理條例(修訂征求意見)網絡產品安全漏洞管

2、理規定網絡數據安全管理條例(征求意見)201620182019202020212022德國電信安全法2.0德國安全要求目錄歐盟網絡安全法GDPR工業和信息化部關于工業大數據發展的指導意見工業和信息化領域數據安全管理辦法(試行)(征見)英國電信安全業務守則草案PCI-DSS v4.0全球100多個國家已對數據安全提出要求；中國、英國、德國、歐盟相繼頒布網絡安全法案，要求通信網絡確保數據傳輸安全用戶入算上載樣本數據、算內及算間訓練生成模型及參數、下載訓練后的模型及參數，涉及敏感數據的頻繁交互，存在泄露、竊聽的風險智算中心A遠端用戶入算網絡數據上傳：端到端安全加密,確保樣本數據安全模型下載：端到端安

3、全加密,確保模型框架、參數安全算間網絡參數傳遞：端到端安全加密,確保模型框架、參數安全算內網絡數據轉移：存儲節點直接(對象文件)，需確保樣本數據安全數據讀?。河嬎愎濣c訪問文件存儲節點(讀)，需確保樣本數據安全歸檔寫回：計算節點訪問文件存儲節點(寫)，需確保模型與參數安全模型復制：存儲節點直接(文件對象)，需確保模型與參數安全承載網絡智算中心B入算網絡入算關鍵訴求：用戶訪問以及用戶數據的安全關鍵能力：高安全、低開銷算內關鍵訴求：AI模型架構、參數核心資產的存儲、使用安全關鍵能力：低時延、高吞吐、低開銷安全，不占用算力，不影響算效算間關鍵訴求：數據與協議安全，防竊聽關鍵能力：高安全、高吞吐、低開銷

4、智算中心內實現網絡安全機制的從無到有，入算網絡和算間網絡實現安全防護能力的由低到高；面向算內、入算和算間的不同訴求，研究合適的安全加密機制用戶智算中心BEthernet智算中心AEthernet算間網絡上述智算中心網絡場景的底層承載網絡主流技術是以太網，為了應對上述日益嚴峻的數據安全挑戰，須對以太網提供安全認證、密鑰管理以及數據加解密能力，構筑以太網安全機制，為新型智算中心提供安全數據傳輸能力現有技術分析現有技術分析02Chapter one智算中心采用CLOS組網來滿足日益增長的轉發規模需求，通用性有明顯優勢。智算中心的AI典型Leaf-Spine組網，ALL-TO-ALL通訊，100GE/

5、400GE/800GE接口，1K計算節點(3232)訓練和推理*：*2023 usenix，Accelerating Distributed MoE Training and Inference with Lina，HKU 模型：Mixture of Experts(MoE)通訊方案：all-to-all800GEspine交換機spine交換機spine交換機spine交換機core交換機core交換機TORTORTORTOR400GE100GERack1323232256168128Rack32優勢可以實現計算節點與計算節點，計算節點與存儲節點，存儲節點與存儲節點之間的安全加密管控復雜O?

6、：N臺Server 全網需維護?安全連接（SA會話）每連接1對密鑰，全網管理維護2?個密鑰靜態時延增加超30%：以4 Hops為例，server-to-server典型靜態鏈路時延?.?考慮TLS/RDMASec/IPSec加解密時延最優性能1s，靜態時延增加=?/?.?%劣勢帶寬開銷增加至少21字節：TLS逐包增加21B開銷，RDMASec逐包增加40B開銷，IPSec逐包增加48B開銷須升級硬件支持：在AI計算場景下，將TLS/IPSec/PSP安全加密功能卸載到硬件，需要Server硬件支持*RFC5042提出RDMASec基于IPSec改進，Google在2022年發布基于IPSec

7、ESP的改進方案PSPTLS/RDMASec*/IPSec等端到端安全加密方案，服務器間實施典型的ALL-TO-ALL通訊方案；但沒有網絡的參與，計算節點之間部署端到端方案成本、難度和算力代價較大spine交換機spine交換機spine交換機spine交換機core交換機core交換機TORTORTORTOR優勢管控復雜度低?:Server-TOR,TOR-Spine,Spine-Core部署MACSec，全網維護=44N安全連接（SA會話）靜態時延增加32%：4 Hops 以4 Hops為例，Server-to-server典型靜態時延?.?Server-to-server使能MACSec

8、時典型靜態時延 3.77?靜態時延增加=?3.77 2.85?/2.85 32%劣勢帶寬開銷增加至少32字節：對64B包而言，逐包開銷增加超30%須升級硬件支持：在AI計算場景下，須將MACSec安全加密功能卸載到硬件，需要Server升級硬件支持，需要交換機升級硬件支持*MACSec2017版本，IEEE802.1AEcg支持VLAN in clear端到端加密方案，此方案優劣勢同 TLS/RDMASec/IPSec智算中心內采用MACSec鏈路級安全加密方案*，服務器間實施典型的ALL-TO-ALL通訊方案；MACSec在管控復雜度有改進，但10多年前主要面向傳統園區設計，時延開銷無法滿足

9、智算時代需求spine交換機spine交換機spine交換機spine交換機core交換機core交換機TORTORTORTOR比較項RDMASecMACsec?Sec加密層級應用層/傳輸層鏈路層新層次？加密開銷帶寬開銷增加36%帶寬開銷增加30%接近0？加密時延靜態時延增加35%靜態時延增加32%靜態時延增加 10%？加密配置相對復雜O?簡單O?簡單O?？加載難度Server升級硬件支持Server升級硬件支持，交換機升級硬件支持易升級易部署？最佳 最差 一般競爭分析：智算中心最關注算效，通訊時延*對算效影響大Server-to-Server端到端時延每降低1us，有效算力線性度提升3%IB

10、控標靜態時延?1.2?TOR ServerServer?1.2?*AI訓練和推理，對每一次迭代通訊的尾時延敏感；HPC小包通訊，對RTT時延敏感各項性能指標對比分析設定新安全性能目標，兼顧成本、代價方面，探索智算時代的以太網安全新機制PHYSecPHYSec技術思路技術思路03Chapter one199419952006NowL2PHYL3L4L5TimeTLS/DTLSIPSecMACSecPHYSecsoftwareSoftware+hardwareHardwareHardwareMACIPTCPMACIPMACMACCipher textCipher textCipher textCi

11、pher textRDMASecHardware2022MACUDPCipher textIP PacketMACPCSPMAPMAPMDMACSec/RDMASecxAUIPMAPCSMACMACPCSPMAxAUIMACSec/RDMASec PHY 探索新層次：網絡安全的思想是把密碼學技術應用到網絡的不同層次；在智算時代，是完善傳統安全機制還是探索“更底層的加解密技術”，解決現有技術方案的安全漏洞與性能瓶頸？RDMASec在IPSec和TLS基礎上優化，基于硬件實現，優勢是能夠降低部分時延，但功耗、成本較高，時延仍然影響算效；PHYSec在以太網物理層實現加解密，避免兩次背靠背轉換，具有

12、極低時延、更低功耗和成本等優勢？PacketMACPCSPMAPMAPMDxAUIPHYSec光模塊加密接口芯片加密PacketMACPCSPMAPMAPMDxAUIPHYSecor可以在多個參考點實現PHYSec越往下，不同速率PHY實現的方案區別越大1G/2.5GBASE-X5G/10GBASE-R50G/100GBASE-R25GBASE-R200G/400GBASE-R800GBASE-R以太網物理層可實現PHYSec參考點：64B/66B碼塊和virtual lane是兩種比較可行的實現位置；不同層次位置實現加解密具有不同的數據防護特點MAC(Preamble+Padding+FCS

13、)RSMAC(Preamble+Padding+FCS)RSPMDPMAPMDPMAMAC(Preamble+Padding+FCS)RSPMDPMAAMDeskewAM LockBlock SyncMAC(Preamble+Padding+FCS)RSPMDPMACWMCWM LockRS-FECRS-FECSymboldistributionReorderPMAPMAPMAPMAMAC(Preamble+Padding+FCS)RSPMDPMAAMDeskewAM LockRS-FECSymboldistributionReorderPMAEn/Decode(8B/10B)En/Decod

14、e(64B/66B)(De)ScrambleEn/Decode(64B/66B)(De)ScrambleEn/Decode(64B/66B)(De)Scramble256B/257B256B/257BEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleaveMAC(Preamble+Padding+FCS)RSPMDPMAAMDeskewAM LockRS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/Inte

15、rleavePMDPMAAMDeskewAM LockRS-FECSymboldistributionReorderPMADistribution/InterleaveL1.5L1基于“碼塊”加密的L1.5層PHYsec在PHY芯片內實現Encryption/Decryption功能MAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleaveMAC(Preamble+Pa

16、dding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleavePMDPMA光模塊SerdesPMDPMADencryptionSerdes光模塊Encryption技術優勢：安全功能硬化，高吞量 安全加密能力不占用設備CPU資源，安全能力卸載 實現底層光通道不感知(OTN/SPN)的端到端數據加密加密后的64B/66B400GE400GE400GE400G OTN64B/66BGMPOTUOTUGMP6

17、4B/66BL1.5-PHYSec400GEL1.5-PHYSec基于“比特流”加密的L1層PHYsec在光模塊內實現Encryption/Decryption功能MAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReorderPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleaveMAC(Preamble+Padding+FCS)RSAMDeskewAM LockPHY芯片RS-FECSymboldistributionReor

18、derPMAEn/Decode(64B/66B)256B/257B(De)ScrambleDistribution/InterleavePMDPMAAM LockEncryption光模塊SerdesPMDPMAAM LockDencryptionSerdes光模塊技術優勢：安全功能可插拔、硬化，高吞量 無需升級設備硬件，即可具備安全加密能力 安全加密能力不占用主設備資源，安全能力卸載 實現端口-端口的鏈路級數據加解密AMAMAMAMVLane1VLane2VLane3VLane4400GEL1-PHYSecL1-PHYSec400GE關閉PHYSec，所有功能即原以太網物理層規范的功能；開啟

19、PHYSec，PCS或PMA層無感知，PHYSec不修改與上下子層的接口；不修改或占用已有功能協議及協議承載方案，避免后向兼容問題（原有功能未來演進可能會改變既有的使用方式、頻率）R 兼容性：PHYSec技術方案在以太網物理層實現，須兼容IEEE802.3以太物理層標準，不影響標準規范的功能與協議R 互通性：同一層次方案，要求技術與協議一致，滿足互聯互通要求。協議承載方案，要求少占用或不占用業務帶寬R 一致性：PHYSec原則上要求采用一套解決方案和協議。協議的承載方式可以根據PHY邏輯子層的要求變化，但要求遵循前述兼容性、互通性PHYSec原則上可支持通道、鏈路不同層次的技術方案，類似MAC

20、Sec（802.1AEbw-2013 for port，802.1AEcg-2017 for channel），實施部署載體可以是PHY接口，也可是光模塊或其他載體對于IEEE802.3標準規范的100G/200G/400G/800G/1.6T以太接口，物理層及PHY各邏輯子層技術方案雖有差別，但都基于64/66B碼塊、virtual lane實現，提供了實現方案的一致性基礎總結與展望總結與展望04Chapter one高價值用戶L1.5-PHYSec 智算中心A智算中心BL1-PHYSecL1-PHYSecTOP訴求：低時延、高吞吐靈活專線TOP訴求：高安全、低開銷L1-PHYSecL1.5

21、-PHYSecOTN/WDM 40 KM 40KMTOP訴求：低時延、高吞吐TOP訴求：高安全、高吞吐算間（短距互聯）算內算內算間（長距互聯）入算數通短距光模塊加密數通短距光模塊加密數通短距光模塊加密SPN IP/Eth over OTN/WDM/CWMDTBD：1、在新的層次定義加密解密對象，定義幀結構和協議，與上下游生態企業達成共識2、新機制如何實現接近0的低開銷，盡量不占用用戶帶寬3、新機制如何實現ns級的時延，基本不影響智算中心的算效？4、新機制如何保證加解密協議參數的可靠傳遞，不發生錯誤比較項RDMASecMACsecPHYSec加密層級應用層/傳輸層鏈路層物理層加密開銷帶寬開銷增加36%帶寬開銷增加30%接近0加密時延靜態時延增加35%靜態時延增加32%靜態時延增加幾十ns加密配置相對復雜O?簡單O?簡單O?加載難度Server升級硬件支持Server升級硬件支持，交換機升級硬件支持更換光模塊易升級易部署 最佳 最差 一般目標：在以太網物理層實現低開銷、低時延、易配置、易部署的數據安全方案