《ODCC:運營商智能網卡需求場景白皮書(2022)(23頁).pdf》由會員分享,可在線閱讀,更多相關《ODCC:運營商智能網卡需求場景白皮書(2022)(23頁).pdf(23頁珍藏版)》請在三個皮匠報告上搜索。
1、1運營商智能網卡需求場景白皮書ODCC-2022-05002分布式存儲技術與產業分布式存儲技術與產業分析報告分析報告編號 ODCC-2022-05002運營商智能網卡需求場景白皮書開放數據中心標準推進委員會開放數據中心標準推進委員會2022-04 發布發布I運營商智能網卡需求場景白皮書ODCC-2022-05002版權版權聲聲明明ODCC(開放數據中心委員會)發布的各項成果,受著作權法保護,編制單位共同享有著作權。轉載、摘編或利用其它方式使用 ODCC成果中的文字或者觀點的,應注明來源:“開放數據中心委員會 ODCC”。對于未經著作權人書面同意而實施的剽竊、復制、修改、銷售、改編、匯編和翻譯出
2、版等侵權行為,ODCC及有關單位將追究其法律責任,感謝各單位的配合與支持。II運營商智能網卡需求場景白皮書ODCC-2022-05002編制說明編制說明本報告由中國移動通信研究牽頭撰寫,在撰寫過程中得到了多家單位的大力支持,在此特別感謝以下參編單位和參編人員:參編單位(排名不分先后):中國移動通信研究院、中國電信研究院、銳捷網絡股份有限公司、中興通訊股份有限公司、華為技術有限公司、弘協網絡科技(北京)有限責任公司參編人員(排名不分先后):王瑞雪,秦鳳偉、吳林澤、吳航、閻松明、趙寶鑫、郭力軍、劉紅巧、曾宏寬項目經理:王瑞雪 III運營商智能網卡需求場景白皮書ODCC-2022-05002前言前言
3、數據中心作為數字經濟領域基礎設施,成為 5G、人工智能、大數據等新興信息技術應用的核心載體。算力時代,數據中心從聚集業務彈性伸縮靈活部署向聚焦超大規模、多樣性的數據處理轉變,提升單位時間單位能耗下的運算能力及質量成為核心訴求。業務快速發展驅動數據中心網絡向高帶寬和新型網絡協議發展,數據增長驅動網卡端口速率從 10G快速向 25G和 100G+演進,由于摩爾定律放緩,CPU算力增長無法匹配 IO 數據帶寬增長的需求。同時邊緣計算及虛擬化技術的發展不斷驅動運營商核心設備云化部署,給算力資源處理效率帶來巨大挑戰。由于CPU不適合處理大量并行固定模式的計算,導致算力資源消耗與網絡及業務性能提升難成比例
4、,將這些服務卸載在專用硬件的需求迫在眉睫。網卡作為連通算力資源和網絡的核心部件,成為最理想的卸載位置。智能網卡是一種專注于加速網絡、存儲、安全等業務的專用處理器,除具備標準網卡的數據轉發能力外,還引入網絡加速、硬件卸載以及可編程能力,支持將不適合主機 CPU處理的高性能數據處理卸載到硬件芯片執行,提升業務處理性能,充分釋放算力資源。由于時間倉促,水平所限,錯誤和不足之處在所難免,歡迎各位讀者批評指正。如有意見或建議請聯系 。IV運營商智能網卡需求場景白皮書ODCC-2022-05002目錄目錄版權聲明.I編制說明.II前言.III一、智能網卡產業現狀分析.1(一)智能網卡類型.1(二)智能網卡
5、產業及應用情況.2二、運營商引入智能網卡場景分析.3(一)OVS 卸載.3(二)彈性裸金屬.5(三)存儲卸載.6(四)虛擬網元業務加速.71 vDPI.82 vFW.83 vLB.9(五)高性能無損網絡.11(六)端到端可視化運維能力卸載.12三、總結與展望.13(一)標準化現狀及推進思路.13(二)國產化現狀及推進思路.14(三)業務需求差異性與網卡通用性的取舍博弈.14四、參考文獻.15V運營商智能網卡需求場景白皮書ODCC-2022-05002五、縮略詞.16一、一、智能網卡產業現狀分析智能網卡產業現狀分析智能網卡經過多年探索與實踐,應用場景及產業發展前景已逐漸清晰,但智能網卡的技術架構
6、仍然處在發展完善之中,包括上游的芯片廠家推出不同芯片解決方案,中游的智能網卡廠家針對不同的應用場景開發了不同的智能網卡產品,提出了在不同場景下的解決方案。(一)(一)智能網卡類型智能網卡類型智能網卡一方面受計算平臺芯片產業發展的影響,另一方面也受到智能網卡市場需求推動,目前衍生了不同的技術架構。其中主要有 SoC、FPGA、NP、ASIC 四種基本類型。SoC:SoC 是廣泛采用多核 CPU 片上系統,具有較高的性價比和非常強的編程靈活性,但存在功耗高、轉發性能低的劣勢。SoC 提供了性能和可操控性的平衡,可用于各種場景的功能卸載。FPGA:FPGA 被廣泛用于各種網絡、通信設備中,具有很好的
7、可編程特性,功能擴展靈活,但存在成本略高、高性能 FPGA 開發周期長的劣勢。FPGA 兼具性能和靈活性,適用于智能網卡需求尚未完全明確、功能沒有完全固化的階段,功耗低于 SoC 卡,通過 FPGA 迭代開發來應對智能網卡應用場景需求的變化。NP 具有功耗較低、開發效率較高等特點,處理性能基本接近 ASIC。由于采用硬件技術解決了多核并發帶來的資源互斥問題,同等功能的網絡特性用NP 微碼開發要簡單很多,能效比更是遠高于通用 CPU。但 NP 的技術門檻高,生態上不成熟,主要用于數通產品,適合轉發加速。ASIC 具有功耗低、性能強、效率高的優勢,但其定制開發成本高、生產周期長,由于邏輯處理被 A
8、SIC 硬件固化,因此功能擴展和靈活性方面有較大限制,主要功能固定。ASIC 卡適合大規模使用,很難應對復雜的應用場景?;谝陨纤姆N基本架構可對智能網卡進行簡單分類,但實際上單一芯片架構通常難以滿足復雜多樣的場景需求。SoC 通過 CPU 做業務功能加速,雖然具備編程靈活、功能強大的優點,但性能和功耗方面存在瓶頸。FPGA、NP、ASIC性能方面比較強,但編程靈活性方面存在短板。因此,除了 SoC 片上系統 CPU加速外,智能網卡主要以 SoC+FPGA、SoC+NP、SoC+ASIC 增強形態出現,同時也因基礎架構的不同而適用于不同場景。(二)(二)智能網卡產業及應用情況智能網卡產業及應用情
9、況智能網卡首先由國外互聯網云商進行先期探索,并驗證了智能網卡能夠有效提升云數據中心效能。國內阿里巴巴、騰訊等互聯網企業也積極研發智能網卡產品,降低其硬件投入和運營能耗,提升其云數據中心產品及服務的競爭力。Amazon 的 AWS 在 2013 研發了 Nitro 產品,將數據中心開銷(為虛機提供遠程資源,加密解密,故障跟蹤,安全策略等服務程序)全部放到專用加速器上執行。隨后基于 Nitro 項目,Amazon 于 2013 年推出第一代智能網卡 AWSNitro C3,主要解決了服務器虛擬化層 Hypervisor 的卸載分擔問題,把Hypervisor 層削薄,把一部分能力轉移到智能網上。微
10、軟在 2015 年將第一代 Azure SmartNIC 部署在計算服務器中。微軟選擇了 FPGA 方案,能夠不消耗主機 CPU 核資源,滿足 SRIOV 硬件的延遲、吞吐量和利用率要求,并支持 SDN 功能,具備高可維護性,即可適應新功能的可編程性,又能利用定制硬件的性能和效率。阿里巴巴集團在 2016 年啟動了 X-Dragon 神龍項目,明確提出虛擬機性能損失應降為 0。X-Dragon 芯片可以讓部署神龍芯片的設備完全具有虛擬機的特性,包括虛擬機的接口,實現裸金屬和虛擬機同樣的擴展和管理功能,和現有的云環境可以通過私有接口或 Open API 無縫集成。騰訊在 2020 年推出第一代水
11、杉智能網卡,實現了云主機的 vSwitch 功能下沉到智能網卡,物理機網絡功能也下沉到智能網卡,在提升了服務器內網絡性能的同時,也使云主機和物理機具有相同的硬件架構。二、二、運營商引入智能網卡場景分析運營商引入智能網卡場景分析從運營商角度來說,云化 NFV 的發展從最初的大區集中式的 10G 網絡的數據中心需求變成分布式數據中心,集中大區數據中心帶寬由 10G 已經發展到了25G,并朝著 100G 發展。而邊緣數據中心則承載著更高帶寬、更低時延的視頻、工業互聯網等業務,對網絡帶寬、存儲性能都有著極其嚴苛的需求。傳統的DPDK/SPDK 在消耗了足夠的 CPU 資源的基礎上已經無法滿足更大帶寬(
12、25G 以上)以及更高存儲性能(50MPPS)的需求。此外,受限于裸金屬架構及虛擬化平臺能力,導致裸金屬服務器無法像虛擬機一樣彈性部署,資源調度不靈活。同時,一些新的技術,如無損以太網、RDMA 等技術應運而生,以數據為中心的處理器-智能網卡(Data Processing Unit)架構也由此誕生。(一)(一)OVSOVS 卸載卸載網絡流量激增及業務需求演進推動數據中心網絡向高帶寬和新型傳輸體系發展。云服務商為租戶提供虛擬機租賃業務,并依賴虛擬交換機(vSwitch)收發數據包。中國移動云數據中心普遍采用 NFV/SDN 架構,虛擬交換機 vSwitch采用開源組件 OVS(Open vSw
13、itch)進行增強開發;同時在每臺計算節點上為OVS 預留固定的物理核資源,實現計算節點 vSwitch 轉發。由于 CPU 不適合處理并行固定模式計算,導致 vSwitch 轉發性能提升與算力資源消耗難成比例,無法滿足高速率網卡限速轉發要求。且后摩爾定律時代,算力增長速度與數據中心網絡傳輸速率增長速度不匹配,且差距持續增大,將網絡功能卸載到專用硬件芯片的需求愈發急迫。將 vSwitch 卸載到智能網卡,實現網絡功能硬件卸載和加速,釋放主機算力資源用于其它業務處理。根據網卡芯片能力及場景成熟度,存在轉發面卸載及全卸載兩種模式。轉發面卸載模式:僅將非常消耗 CPU 資源的轉發面卸載到網卡,控制面
14、仍運行在主機中,轉發面卸載模式具有如下特征:轉發功能卸載到網卡上,從而降低 OVS 計算服務器上的資源占用,釋放轉發面算力資源,計算節點可部署更多的虛擬機。通過將現有 OVS+DPDK 的快速流表查找轉發卸載到智能網卡,流量優先匹配智能網卡的流表,完成快速查表轉發,并完成 VxLAN 封裝解封裝,CAR 限速等功能;通過上述方式,即可以減少轉發時 CPU 資源的消耗,也能提升轉發性能及表項規格。全卸載模式:將控制面和轉發面一起卸載到網卡上,實現對主機側算力資源零消耗,全卸載模式具有如下特征:控制面和轉發面同時卸載到網卡上,全面釋放轉發面和控制面算力資源,計算節點可部署更多的虛擬機。由于控制面業
15、務邏輯復雜,對網卡有額外算力要求,依賴板載 CPU 支持。圖1 vSwitch全卸載模式架構此外,當前 SDN vSwitch 實現的軟轉發功能面臨如下挑戰:通過物理 CPU 綁核實現的 vSwitch 軟轉發通過軟件實現轉發,可支撐的帶寬有限??刂泼婢W元所需轉發帶寬在 10GE15GE 之間,可通過 OVS 綁核預留資源實現。但隨著服務器計算密度變大,所需 OVS 轉發帶寬變大導致 OVS預留資源隨之增加也無法滿足數據面高轉發要求,故需要使用 OVS 卸載,即通過硬件網卡實現 OVS 轉發。SDN vSwitch 實現轉發技術需要在 vSwitch 內創建流表五元組(源目的 IP地址、源目的
16、端口號、協議類型),以實現消息包的快速轉發,但是在現網中,有些網元如 VoLTE、SBC、5G 消息等需要連接上千用戶,這些用戶產生的大規模流表達到 2000 萬以上,無法通過 OVS 綁核實現,導致現網同時建設增強二層(部署 VoLTE SBC、5G 消息等大流表網元)、SDN 2 種類型的資源池,引入 OVS 卸載后可解決流表問題,統一資源池組網到 SDN,實現更高的資源共享度及利用率、減少規劃建設復雜度。(二)(二)彈性裸金屬彈性裸金屬運營商網絡為滿足不同業務部署需求,除提供虛機資源外,也提供裸金屬服務器,通過將虛擬化軟件、操作系統和應用直接安裝在硬件上,讓租戶獨享主機資源,具有強大的安
17、全隔離特性,性能可媲美傳統物理主機。但受限于裸金屬架構及虛擬化平臺能力,導致裸金屬服務器無法像虛擬機一樣彈性部署,開通管理成本高、交付運維效率低,資源調度不靈活;同時,由于主機側缺少虛擬化軟件,租戶無法使用云盤功能,降低了存儲網絡靈活性和安全性。為了克服裸金屬服務器的上述缺點,裸金屬硬件加速很快走進了我們的視野,使得裸金屬變為云化裸金屬。云化裸金屬服務基于現有虛擬化云平臺的新型計算類服務,兼容虛擬機的彈性和物理機的性能及功能特征,與傳統的虛擬化技術相比,云化裸金屬服務不僅保留了普通云服務器的彈性體驗,而且保留了物理機的性能與特性,同時擁有物理機級別的資源隔離優勢,特別適合上云部署傳統非虛擬化場
18、景的應用,此外支持嵌套虛擬化技術。云化裸金屬服務通過將傳統虛擬化平臺中的管理、網絡和存儲等模塊卸載到智能網卡上,為用戶提供與虛擬機一樣體驗的彈性服務,實現裸機與虛擬機統一的發放與管理流程,實現虛擬化與裸金屬統一部署,具有以下特征:裸金屬服務器全自動化發放,滿足分鐘級彈性伸縮能力。通過控制臺自助申請,無需人工介入,即可完成自動化鏡像安裝、網絡配置、云盤掛載等功能,簡化客戶配置;完全兼容虛擬化平臺云盤系統,支持云盤啟動能力,免操作系統安裝,滿足租戶按需進行云硬盤的掛載和卸載,滿足彈性存儲的要求,減少本地盤成本,也使得存儲網絡無需暴露給用戶操作系統,減少網絡攻擊等安全隱患,同時兼容虛擬機鏡像系統;兼
19、容虛擬機 VPC 網絡,實現裸金屬服務器和虛擬機網絡互通,支持自定義網絡實現裸金屬服務器之間互通,實現靈活組網。圖2 彈性裸金屬卸載架構(三)(三)存儲卸載存儲卸載近年來越來越多視頻、數據庫等業務上云,對云存儲的性能需求越來越高,原有采用內核態 ISCSI 或存儲廠商自研的平臺協議,其性能受制于內核本身性能模塊,無法滿業務需求。因此 SPDK 應運而生,但 SPDK 本質是采用 CPU 換性能的策略,隨著存儲 IO 性能的不斷提高,消耗的 CPU 資源也越來越多,導致COST 服務器本身的資源利用率不斷下降。因此,將存儲網絡協議?;虼鎯蛻舳诵遁d到智能網卡上,可以減少主機側 CPU 的開銷,提
20、高主機側 CPU 資源利用率,同時在裸金屬場景下也可以避免存儲網絡協議棧在客戶 OS 暴露而引發的存儲網絡安全風險。在后端存儲平臺上一般會支持不同的存儲介質,從 SATA 的 HDD,SATA 的 SSD 和 NVMe SSD,從而構建出面向不同應用的存儲服務。智能網卡中的存儲卸載主要包括兩部分內容:1ISCSI 或 RBD 存儲客戶端卸載智能網卡上擁有 ARM 或者 x86 的 CPU,因此可以在智能網卡上實現 ISCSI或 RBD 客戶端,配合 SPDK 用戶態加速框架提升存儲轉發性能帶寬。2NVMe-oF 的卸載隨著存儲介質的發展和高性能存儲需求的提升,存儲接口正在由傳統的ISCSI 向
21、 NVMe 演進。采用 NVMe-oF(NVMe over Fabric)協議可以把 NVMe 協議在系統中提供的高性能、低延遲和低協議負擔的優勢進一步發揮到基于高速網絡的 NVMe 共享存儲系統互聯結構中,NVMe-oF 可以使用不同的高速的網絡傳輸協議來實現 NVMe 功能,即可以支持多種類的 Fabric 網絡,包括 FC(FibreChannel)、IB(InfiniBand)、RDMA、TCP 等,考慮到網絡傳輸協議的高性能和兼容性問題,業界目前選擇基于以太網的 RDMA(RoCEv2)居多。在智能網卡上實現卸載 NVMe-oF 功能,可以在計算節點側提供原生 NVMe 的后端存儲接
22、口,通過高性能的 RDMA 網絡協議(如 RoCEv2)連接到存儲端,在存儲側使用智能網卡硬件實現的 NVMe Target 管理 NVMe SSD,整個存儲網絡傳輸端到端 bypass 主機 CPU,并且沒有任何的協議轉換消耗,為云主機提供了與本地 NVMe 性能接近的高性能彈性遠端存儲。圖3 智能網卡實現NVMe-oF硬件加速綜上所述,采用智能網卡卸載存儲面處理不但可以顯著提升存儲性能,同時也提高 COST 服務器自身的 CPU 利用率。也可以利用硬件加速支持 NVMe-oF 的協議達到原有 CPU 無法達到的存儲性能。(四)(四)虛擬網元業務加速虛擬網元業務加速1 1 v vDPIDPI
23、DPI(Deep Packet Inspection)設備為例,作為應用層載荷深度檢測核心設備,承擔流量識別、分析、控制等功能,是運營商實現流量經營、網絡安全關鍵設備。隨著 UPF 等設備部署位置邊緣化,配套 DPI 設備也虛擬化部署邊緣云通用服務器中,喪失設備專用性導致報文處理效率大幅降低,設備功能受限。同時,隨著車聯網、5G 消息、AR/VR 等業務興起,DPI 設備分析處理的業務種類日益增加,這些計算密集型、規模并行型業務對設備時延、帶寬等提出更嚴苛要求。類比專用設備實現架構,結合智能網卡芯片能力,可以看出,GTP 隧道解封裝、同源同宿流量分發等強轉發功能可以下沉,通過網卡硬件加速芯片(
24、如FPGA)進行功能卸載和加速,將七層業務識別、報文復用等依賴復雜計算的功能下沉到網卡板載 CPU 處理。該架構下,可大幅提升設備處理性能,降低流量處理時延,解決流量非同源同宿問題,保障分析結果準確性及完備性;同時,網卡硬件提供豐富的報文匹配、隧道封裝/解封能力,可實現流量就近處理,減少流量到主機的繞轉,突破虛擬化 DPI 設備報文復用等功能限制。圖 4 智能網卡實現 DPI 卸載2 2 v vFWFW隨著云計算和虛擬化技術在企業里的應用,通過使用虛擬化技術將基于軟件實現的網絡功能與底層硬件解耦,提供豐富的網絡安全功能與部件,包括防火墻、反病毒、入侵檢測防御系統(Intrusion Detec
25、tion and PreventionSystem,IDPS)等,來實現安全資源的統一管理、靈活部署、彈性伸縮,保障企業業務的安全性、可靠性及敏捷性。但是相對于通用或嵌入式硬件實現的安全設備來說,虛擬安全設備在性能和資源占用上還存在一定的劣勢。如 VM 上部署的虛擬防火墻,在對 DC 內 VM 間東西向流量進行安全防護時,會對服務器網卡 I/O 產生非常大的影響,包括影響服務器 vSwitch 的其他網絡轉發。對于 IPS、內容過濾這些依賴正則匹配的安全業務,如果沒有硬件加速能力,也會消耗大量的虛擬機計算資源,影響整體安全業務處理性能。此外,當防病毒軟件開啟實時防護時,會對虛擬化平臺的 CPU
26、、內存和磁盤 I/O 帶來巨大的壓力,并影響業務的正常運行;未來隨著 AI 技術在安全產品上進一步應用,AI 訓練和推理性能也是影響虛擬化安全產品進一步推廣和應用的關鍵因素。智能網卡充當硬件防火墻會話處理的快路徑,提升防火墻整機吞吐量,在產業界已經有很多實踐,未來隨著智能網卡的產業化,兼容更多的服務器,智能網卡技術在虛擬防火墻快路徑卸載、AI 加速、IPS 模式匹配加速、加解密加速上,能夠減少對虛擬機 CPU 資源的消耗,獲得較好的經濟效益。圖 5 智能網卡實現 FW 卸載3 3 v vLBLB在基于云的架構中,軟件化的負載均衡被越來越多的使用和部署,對于軟件負載均衡(以下簡稱軟件 LB)而言
27、,其優點在于靈活性和彈性擴展,但缺點是無法媲美硬件的性能。硬件負載均衡設備絕大多數通過在設備主板或控制板卡中集成專用芯片來提升設備底層數據包處理能力和延遲,并通過 FPGA 可編程芯片提升抵御 DDoS 攻擊和四層 TCP 建立連接和吞吐能力。為了彌補軟件 LB 在性能方面的不足,業界普遍采用的方案是將 CPU 密集型功能卸載到宿主機的硬件智能網卡和 SSL/TLS 加解密卡上,來防止軟件 LB 系統資源耗盡,從而提升軟件 LB 的處理性能。因此,軟件 LB 在選擇智能網卡時,通常會選擇基于 FPGA 的智能網卡,保持和硬件 LB 接近的物理硬件架構。智能網卡對軟件 LB 輔助增強的典型場景:
28、通過智能網卡實現降低軟件 LB的系統資源消耗,四層負載均衡能力加速,高性能 NAT44/NAT64 能力,抵御大流量 DDoS 攻擊。在業務流量中,如果混合了攻擊流量,通過智能網卡和軟件 LB 的配合,可以有效的過濾攻擊流量,保障正常交互的業務流量轉發至軟件 LB,充分保護軟件 LB 的系統資源不被攻擊所蠶食,此方案場景可提供類似專用硬件的高性能保護,同時提供云環境的靈活性和敏捷性。此外,由于 FPGA 可以重新編程,因此隨著威脅的發展和變化,可以持續迭代和增強安全防護能力。圖 6 智能網卡實現 vLB 卸載引入智能網卡最大的挑戰是會增加云 IaaS 基礎架構的復雜度,在宿主機服務器上需適配不
29、同的智能網卡,同時不同軟件 LB 支持的智能網卡類型、品牌也存在差異。除數據面的適配以外,通常引入智能網卡還需要管理面的集成和策略、配置編排,例如,在 DDoS 攻擊防護場景,攻擊防護策略、黑白名單等都會存在更新和變化,需要對智能網卡進行必要的管理。(五)(五)高性能無損網絡高性能無損網絡算力時代,數據中心更聚焦對數據的高效處理,隨著多樣性算力演進及存儲性能提升,網絡丟包和時延成為任務處理性能瓶頸,須具備高性能無損的交換能力。高性能交換網絡核心是端網協同,端側運行高性能存儲協議,提升報文處理性能,網側構建低時延、高吞吐轉發能力,動態感知網絡質量并向端側反饋,指導端側高效執行網絡流控及多路徑切換
30、。圖 7 端邊融合的高性能網絡架構圖傳統網卡僅支持 TCP/IP 協議,高性能協議依賴 CPU 處理,性能難達預期。借助智能網卡的可編程能力,硬件卸載 NVMe over Fabric、RDMA 等高性能網絡協議棧,提升端側協議處理性能;板載 CPU 處理擁塞控制算法并執行流控及路徑切換,與網側無損技術協同構建零丟包、低時延、高吞吐的總線級交換網絡。當前業界智能網卡軟硬件設計缺乏針對該場景的支持,如缺少大容量高性能緩存,導致防抖動性能較差;缺少描述符預讀取機制,導致數據接收延遲增加,測試數據無法達到預期。后續需從軟硬件協同架構設計等方向持續推動智能網卡技術體系成熟。(六)(六)端到端可視化運維
31、能力卸載端到端可視化運維能力卸載傳統 SNMP 協議采用分鐘級輪詢機制來監管網絡狀態,無法反映路徑、丟包、時延等真實網絡狀態;隨著 VxLAN、RDMA 等協議部署,網絡轉發行為愈發黑盒;隨流技術在原始數據報文中增加 IOAM 檢測頭,在業務轉發路徑中根據檢測頭進行數據采集,再通過集中檢測單元計算檢測結果,能夠精確測量每條業務的丟包率/時延信息,精確還原業務轉發面路徑信息。隨流檢測技術作為業界實現可預期網絡的熱門技術,當前主要依賴于硬件接入交換機或軟件 OVS 實現,其中:采用硬件交換機作為隨流檢測起終點時,受限于交換芯片能力,存在如下問題:起點 TOR 采樣表項數量不足,一般只有 100k
32、級別的數量,不足以支撐大量的探測采集。起點和終點的采樣性能有限,基本都不足 100G 的采樣以及上送能力。終點 TOR 作為最后一跳,由于需要采樣上送服務器(無法在轉發到接口后打時間戳),所以時延不準。采用軟件交換機(ovs)作為起終點時,會大量消耗 Host 端 CPU 資源,且裸機側無法實現。引入智能網卡后,隨流檢測報文由網卡側進行識別、染色、統計、上報,封裝解封裝,即網卡作為隨流檢測的起點和終點,TOR/Spine 設備作為隨流檢測報文的過路設備,僅進行識別和上報,最終由網卡進行隨流檢測報文的解封裝。圖 8 端到端可視化運維能力卸載引入智能網卡后,整網的 INT 能力無論從性能、功能、容
33、量等方面都得到了“質”的提升,配合“管控析平臺”極大提升了端到端可視化運維的能力。由于監控的起點分散在不同的網卡側,可監控的流表的數量取決于網卡側的能力,一般來說,網卡的流表能力都在 M 級別,使得整網的流監控粒度得到充分擴展。TOR、Spine 設備都是過路設備,對 IOAM 報文的處理不需要進行封裝解封裝IOAM 操作,只需要識別為 IOAM 報文以及上報相應的檢測信息,大幅降低對交換芯片的轉發壓力(從不到 100G 能力提升到 T 級別),從而提升了整網的監控能力。TOR 僅作為過路設備,可以獲取精確的時延。三、三、總結與展望總結與展望(一)(一)標準化現狀及推進思路標準化現狀及推進思路
34、隨著智能網卡技術的大規模發展和應用,越來越多的廠商加入了智能網卡的產業中來,但因其網絡、存儲、管理卸載的特性本身都與 NFVI 層強關聯,并且涉及的標準化或開源組織眾多,導致智能網卡整體標準組織或開源項目相對匱乏,導致業界各個廠商均有自身的私有實現,難以形成統一的產業標準和共識,從而導致各廠家仍采用端到端煙囪式模式部署,成本居高不下,功能性能參差不齊,使得智能網卡給運營商帶來的優勢大打折扣,阻礙智能網卡大規模部署。目前,產業界逐漸意識到該問題,并推動 Intel IPDK,linux OPI 等開源項目成立。同時,越來越多的廠商開始參與統一標準的制定,推動智能網卡標準和開源成熟,并依托各廠商新
35、技術及現網驗證,逐步推動標準落地,實現異廠商解耦。智能網卡不僅是網卡自身硬件架構的革新,也對上層應用軟件、底層驅動等各層級軟件棧提出新的適配要求,需持續推動智能網卡軟硬件協同設計,構建豐富完善軟件生態。(二)(二)國產化現狀及推進思路國產化現狀及推進思路國內智能網卡產業鏈雖在如火如荼地發展,但由于起步比較晚,國產化替代選擇較少,特別在芯片產品化上,與國外存在較大差距。無論是 AWS 自研的Nitro 卡,還是在商用領域獨領風騷的 Mellanox BF 系列網卡都具備深厚的技術積累以及產品領先性。目前,國內已有很多科技公司及創業公司投身智能網卡研發工作,但不容忽視的客觀事實是國內主流芯片方案在
36、功能、性能上仍存在較大差距。隨著中國企業軟、硬件實力增強以及軟、硬解耦的趨勢發展,經過一段時間的培育,中國智能網卡產業必將涌現出一批本土企業。同時通過國內芯片環境的逐漸改善,芯片的制造成本、供給能力也將得到極大的優化,國際巨頭把控市場的局面必將被打破,市場將迎來新的變局。在這大環境下,運營商應從實際業務出發,通過具體場景牽引,制定軟硬件解耦規范,讓更多的國內智能網卡企業能參與到運營商的網絡建設中,進而加速推動國內智能網卡產業的蓬勃發展。(三)(三)業務需求差異性與網卡通用性的取舍博弈業務需求差異性與網卡通用性的取舍博弈智能網卡誕生的目的是要完成從以計算為中心到以數據為中心的這一個轉型,其挑戰顯
37、而易見,分別體現在軟硬件兩個不同的方面。運營商引入智能網卡存在場景覆蓋云基礎設施能力增強、NFV 網元加速、網絡性能加速及運維能力提升等場景。當前智能網卡系統及芯片種類較多,單一芯片架構通常難以滿足復雜多樣的場景需求。SoC 通過 CPU 做業務功能加速,雖然具備編程靈活、功能強大的優點,但性能和功耗方面存在瓶頸。FPGA、NP、ASIC 性能方面比較強,但編程靈活性方面存在短板。因此,除了 SoC 片上系統CPU 加速外,智能網卡主要以 SoC+FPGA、SoC+NP、SoC+ASIC 增強形態出現,同時也因基礎架構的不同而適用于不同場景。所以在選擇智能網卡類型需結合業務場景,在網絡靈活性、
38、可編程能力、網絡性能等多方面進行評估,選擇合適的智能網卡類型。另一方面,智能網卡要真正取代 CPU,需要具有全面的數據網絡卸載、存儲卸載以及安全的能力,智能網卡一方面需要具有通用性,而另一個方面又要保持高性能,這本身就是一個非常有挑戰性的課題。如何保持這兩方面的平衡就需要大家從實際需求出發,找到最合適自己的場景。在硬件不同,軟件也沒有統一標準的情況下,目前業界急需各個云廠商、網卡廠商一起共同為智能網卡軟硬件的融合以及規范化、標準化做出自己的貢獻。四、四、參考文獻參考文獻1 中國移動 DPU 技術白皮書2 軟硬件融合:超大規模云計算架構創新之路3 算力時代:連接+算力+能力4 算力網絡:云網融合
39、 2.0 時代的網絡架構于關鍵技術52021 中國 DPU 行業發展白皮書6 2021 中國智能網卡研討會報告運營商智能網卡部署場景探索及思考7 從網絡虛擬化,看智能網卡發展史8 中國智能網卡(SmartNIC)行業概覽(2021)五、五、縮略詞縮略詞CPUCentral Processing Unit中央處理器SoCSystem on Chip系統級芯片FPGAField Programmable Gate Array現場可編程邏輯門陣列NPNetwork Processor網絡處理器ASICApplicationSpecificIntegratedCircuit專用集成電路SDNSoftw
40、are Defined Network軟件定義網絡VMVirtual Manufacturing虛擬機DPDKData Plane Development Kit數據平面開發套件SPDKStoragePerformanceDevelopmentKit存儲性能開發套件RDMARemote Direct Memory Access遠程直接數據存取NFVNetwork Functions Virtualization網絡功能虛擬化OVSOpen vSwitch開放虛擬交換標準VXLANVirtual extensible LAN虛擬擴展局域網VPCVirtual Private Cloud虛擬私有云
41、ISCSIInternetSmallComputerSystemInterface小型計算機系統接口SATASerialAdvancedTechnologyAttachment hard diskSATA 硬盤HDDHard Disk Drive硬盤驅動器NVMeNonVolatileMemoryHostController Interface Specification非易失性內存主機控制器接口規范ARMAdvanced RISC MachinesARM 處理器IBInfiniBand無限帶寬技術TCPTransmission Control Protocol傳輸控制協議COSTCommer
42、cial Off-The-Shelf商用貨架產品DPIDeep Packet Inspection深度報文檢測ARAugmented Reality增強現實VRVirtual Reality虛擬現實IPSIntrusion Prevention System入侵防御系統AIArtificial Intelligence人工智能LBLoad Balancing負載均衡DDoSAntiDistributedDenialofService防御分布式拒絕服務TLSTransport Layer Security安全傳輸層協議NATNetwork Address Translation網絡地址轉換IaaSInfrastructure as a Service基礎設施即服務SNMPSimpleNetworkManagementProtocol簡單網絡管理協議TORTop of Rack接入交換機