《中科馭數：2024年IaaS on DPU(IoD)：下一代高性能算力底座技術白皮書（71頁）.pdf》由會員分享，可在線閱讀，更多相關《中科馭數：2024年IaaS on DPU(IoD)：下一代高性能算力底座技術白皮書（71頁）.pdf（71頁珍藏版）》請在三個皮匠報告上搜索。

1、版權聲明本白皮書版權屬于主編和聯合編寫發布單位，并受法律保護。轉載、摘編或利用其它方式使用本白皮書文字或者觀點應注明來源。標準引用格式為“IaaS on DPU(IoD):下一代高性能算力底座技術白皮書，2024 年7 月，中科馭數等”。違反上述聲明者，版權方將追究其相關法律責任。前言DPU 是當下算力基礎設施的核心創新之一。如果把 CPU 比做大腦，那么 GPU 就好比是肌肉，而 DPU 就是神經中樞。CPU 承載了應用生態，提供了通用型算力；GPU 提供了高密度各類精度的算力，特別是在智算領域，對系統算力大小有決定性作用；DPU負責數據在各種 CPU 之間、CPU 與 GPU、以及 GPU

2、 與 GPU 之間高效流通，很大程度上決定了系統是否能協同工作。DPU 作為數據中心的第三顆“主力芯片”，主要通過其專用處理器優化數據中心的網絡、存儲、安全等處理性能，助力服務器運行效率顯著提升，有效降低成本。因此，在新型數據中心建設時，圍繞 DPU 構建數據中心網絡的基礎設施，在其上掛載了各種計算、存儲資源的節點，對于系統的資源彈性、運行效率、性能都大有益處。但是這種使用方式的變化，需要對現有云計算架構進行一定程度的變革，才能充分發揮出 DPU的優勢。云計算中的頭部企業 AWS 與阿里云在 DPU 的應用方面也有成功案例，借助其軟硬件全棧自研的優勢，快速完成了云計算系統的改造工作，實現了 D

3、PU 大規模落地部署，在降低自身運營成本的同時為客戶提供更好的使用體驗，并產生了可觀的經濟效益。這種正向循環促進了相關技術棧的快速迭代與成熟，也幫助他們發展成為云計算業務領域的領軍企業。隨著眾多芯片廠商投身到 DPU 技術領域后，業界對 DPU 的產品形態定義逐漸清晰，DPU 的技術標準也在不斷完善。從此 DPU 不再是行業巨頭的“專享”技術，基礎設施與云計算相關產業參與者都在尋求一種簡單高效的方法，將 DPU 的優勢運用到自身業務系統之中，例如 Red Hat、VMware、Palo Alto 等公司紛紛推出相關解決方案。這些方案背后共同的本質思想是：將云計算的 IaaS 層組件從服務器側卸

4、載后圍繞 DPU 構筑高性能算力底座，與 AWS、阿里云的技術路線不謀而合。我們將這種思想所代表的技術路線統一歸納命名為“IaaS on DPU(IoD)”技術路線，簡稱 IoD。本文重點闡述了 IoD 技術的構成以及與當前主流云計算體系的融合方案，從計算、網絡、存儲、安全、管控等幾個方面進行深度分析，論證了基于 DPU 構建云計算基礎設施服務（IaaS）的性能優勢與建設路徑。隨著 DPU 技術的成熟，不論從功能完備性、系統穩定性還是性價比角度，DPU 均已經具備在大規模生產環境落地應用的條件。某種程度上，IoD 技術已成為下一代高性能算力底座的核心技術與最佳實踐。目錄前言ii第 1 章 云計

5、算發展趨勢11.1云計算系統已經成為數字世界的“操作系統”.11.1.1云計算的發展歷程.11.1.2云計算技術特點.21.2AI 產業催生高性能云計算需求.31.2.1AI 技術發展概述.31.2.2云計算性能對 AI 計算影響重大.41.2.3主流 AI 訓練的云計算支撐架構.51.3IaaS on DPU(IoD)算力底座技術路線.61.3.1IoD 發展歷程.61.3.2IoD 技術路線解析.71.3.3高性能云計算的規格定義.101.4IoD 高性能云計算應用范式.131.4.1“兼容并包”的公有云.131.4.2“安全強大”的私有云.141.4.3“小巧精美”的邊緣云.151.4.

6、4“異軍突起”的智算云.151.4.5“電光火石”的低時延云.16第 2 章 云計算業務模型分析182.1當前主流云計算體系結構.182.1.1硬件部分.182.1.2基礎軟件.192.1.3云管平臺.192.1.4業務服務.202.2計算業務分析.202.2.1裸金屬服務器.21目錄2.2.2虛擬機.212.2.3容器.222.2.4GPU 服務器.222.2.5應用場景與選擇策略.232.3網絡業務分析.242.4存儲業務分析.252.5安全業務分析.262.6平臺服務業務分析.272.6.1數據庫.272.6.2中間件.272.6.3服務治理.28第 3 章 高性能云計算基礎設施建設路徑

7、293.1通用算力技術分析.293.1.1CPU 的計算能力發展歷程.293.1.2云計算卸載技術為 CPU 算力提升帶來的優勢.303.1.3IoD 技術為 Hypervisor 卸載提供最佳支撐.323.2智算算力技術分析.343.2.1GPU 的計算能力發展歷程.343.2.2GPU 算力提升帶來與網絡吞吐的矛盾現狀.353.2.3無損網絡技術為 AI 訓練帶來的性能提升.363.3云計算網絡技術分析.383.3.1云計算網絡是算力連通的基礎.383.3.2云計算網關是算力開放的門戶.393.3.3高性能云計算需要網絡卸載進行性能提升.393.4云計算存儲技術分析.423.4.1單一存儲

8、技術方案無法滿足云計算要求.423.4.2云存儲需要引入新技術突破性能限制.433.4.3IoD 技術可以提升存算分離架構下的處理性能.443.5云計算安全技術分析.453.5.1紛繁龐雜的云計算安全體系.453.5.2安全處理性能提升需要異構算力加持.46All Rights Reservediv目錄3.5.3安全卸載技術在高性能云安全中至關重要.473.5.4DPU 將成為可信計算服務中的重要組件.473.5.5IoD 技術助力構建“零信任”網絡.483.6云計算服務治理技術分析.503.6.1服務治理技術是云原生時代的重要基礎.503.6.2傳統服務治理技術的局限性.503.6.3IoD

9、 技術帶來新的服務治理模式.513.7IaaS on DPU(IoD)高性能云計算全景.51第 4 章 高性能云計算系統架構持續演進534.1高性能云計算可觀測性建設.534.1.1可觀測建設是云計算運維體系的關鍵環節.534.1.2當前觀測方法所面臨的難題.544.1.3高性能云可觀測性建設建議.554.2輕量級虛擬化系統演進架構革新.564.2.1輕量級虛擬化技術演進路線.564.2.2輕量級虛擬化技術為云計算帶來新氣象.574.2.3DPU+輕量級虛擬化=新一代技術革命.584.3“一云多芯”系統融合.594.3.1“一云多芯”的應用困境.594.3.2IoD 技術有助于完善“一云多芯”

10、的服務評估體系.59第 5 章 高性能云計算為 PaaS 服務賦能615.1高性能大數據計算服務.615.2高性能中間件服務.625.3高性能數據庫服務.62第 6 章 未來展望64All Rights Reservedv第 1 章 云計算發展趨勢1.1 云計算系統已經成為數字世界的“操作系統”1.1.1 云計算的發展歷程云計算技術的最初起源可以追溯到 20 世紀 50 年代 Christopher Strachey 發表的Time Sharing in Large Fast Computer論文，開啟了對虛擬化技術探討的大門。隨后的 60 年代，以 IBM 與 MIT 為首的產業與學術巨頭紛

11、紛投入相關研究并在虛擬化領域取得了眾多突破，最具代表性的事件是 1974 年，Gerald J.Popek 和 Robert P.Goldberg發表論文Formal Requirements for Virtualizable Third Generation Architectures，提出了波佩克與戈德堡虛擬化需求（Popek and Goldberg virtualization requirements）和 I 型與 II型虛擬化類型。隨著虛擬化技術的不斷成熟與基礎算力設施能力的提升，使得具備“彈性、按用計量、在線、無限”這幾個云計算典型特征的業務類型逐步具備了落地應用的可行性，期間

12、虛擬化技術領域也涌現出了 Qemu、Xen、KVM 等眾多明星項目。終于在 2006 年，Google 時任 CEO Eric Schmidt 在搜索引擎大會上首次提出“Cloud Computing”概念，亞馬遜在同年成立了亞馬遜網絡服務公司（AWS），云計算產業轟轟烈烈的發展起來。2010年，OpenStack 項目創建，標志著云計算技術進入平民化時代，將云計算行業發展正式推向了高潮。云計算技術的另一個分支，容器技術起源于 20 世紀 70 年代 Unix V7 引入的 chroot工具，并在 2009 年以 LXC 形式成為 Linux 內核的容器管理器。容器技術憑借顯著的輕量化優勢取得

13、快速發展并借助 CNCF 社區進行大力推廣，在 2018 年發布的云原生技術定義中，容器被確立為云原生的代表技術之一。隨著業務的多樣化發展，云原生技術逐漸顯現出強大的統治力，成為未來發展的主要方向。伴隨著云計算的蓬勃發展，當前世界上的主要算力基礎設施幾乎都是通過云計算技術進行管理與調度，可以說云計算技術已經成為數字世界的“操作系統”。1.1 云計算系統已經成為數字世界的“操作系統”1.1.2 云計算技術特點云計算的發展呈現出顯著的業務驅動特征，當前 AIGC、IoT、5G/B5G、Web3.0 等行業的發展一方面要求云計算技術能為其提供融合性的底層技術支撐，能夠按需以裸金屬、容器或虛擬機形式承

14、載上層業務，另一方面對云計算性能也提出了前所未有的要求。于是我們看到，OpenStack 社區涌現出大量容器相關項目，如 Zun、Magnum、Kyrur等，CNCF 社區中的 Kubevirt、Metal3等項目也逐漸成熟，這些都是為提供多模態服務類型做出的努力。同時，融合了 CPU、GPU 與 DPU 的“3U 一體”新型服務器成為當前云計算算力基礎設施的主力形式，CPU 負責調度管理與運行業務進程，是通用“算力”的承載組件，GPU 負責提升大規模并行運算能力，是智算“算力”的核心引擎，DPU 負責算力集群基礎設施卸載與集群的聯通，三者通力合作，構成了高性能云計算的基礎底座。歷史的經驗告訴

15、我們，技術的發展總是呈現出螺旋式上升的樣貌。也總有人調侃，當前的問題都可以在故紙堆中找到答案。雖然異構運算并非新鮮事物，但隨著單項技術的突破與不同技術領域間的融合，在當下，如圖1.1所示的基于“3U 一體”的融合算力基礎設施構建的融合性云計算平臺，正是支撐不斷爆發的上層業務應用運轉的最佳實踐方案。圖 1.1:“3U 一體”融合基礎設施總體來說，當前云計算技術的發展呈現出如下典型特征：業務承載多?；癁榱藵M足業務向云端平滑遷移的需求，會要求云平臺能夠適配業務系統的當前情況，從容器、虛擬機、裸金屬中選擇最佳的云上承載方式。例如對硬件設施有特All Rights Reserved21.2 AI 產業催

16、生高性能云計算需求殊需求的業務需要通過裸金屬承載，對操作系統有特殊需求的業務以虛擬機承載，其余業務以容器承載。計算性能極致化在 AIGC 大爆發的背景下，上層業務系統從網絡性能、存儲性能、安全性能等眾多方面都對云平臺提出了更高的要求，百 G 級別的以太網絡接入能力已經逐漸成為云計算系統的標配，400G 的無損網絡接入也逐漸在行業落地。系統構成組件化云計算技術體系越來越龐雜，單獨的封閉體系很難滿足來自業務系統層出不窮的各種需求，良好的模塊劃分與 API 設計已經成為主流云計算系統的構成基礎?！伴_放、可替換”模式已經成為云計算技術架構的主旋律。1.2 AI 產業催生高性能云計算需求1.2.1 AI

17、 技術發展概述人工智能（Artificial Intelligence，簡稱 AI）是指通過計算機技術和算法模擬人類智能的一種技術。目標是使計算機能夠模擬人的思維方式和行為，讓計算機可以像人類一樣思考和學習，并最終實現自主決策的智能化行為。進入 21 世紀后，互聯網的普及和大數據的爆發為 AI 提供了豐富的訓練材料，加速了算法的發展。2006 年加拿大 Hinton 教授提出了深度學習的概念，極大地發展了人工神經網絡算法。2012 年，AlexNet 在 ImageNet 競賽中取得突破性成果，標志著深度學習時代的到來。當前人工智能處于深度學習和生成式 AI 大發展的時期。過去十多年基于深度學

18、習的人工智能技術主要經歷了如下的研究范式轉變：從早期的“數據標注監督學習”的任務特定模型，到“無標注數據預訓練+標注數據微調”的預訓練模型，再到如今的“大規模無標注數據預訓練+指令微調+人類對齊”的大模型，經歷了從小數據到大數據，從小模型到大模型，從專用到通用的發展歷程，人工智能技術正逐步進入大模型時代。自 2017 年 Google 提出 Transformer 模型以來，AI 大語言模型（LLM，Large LanguageModel）已取得飛速進展。2022 年底，由 OpenAI 發布的基于 GPT3.5 的語言大模型 ChatGPT 引發了社會的廣泛關注。在“大模型+大數據+大算力”

19、的加持下，ChatGPT 能夠通過自然語言交互完成多種任務，具備了多場景、多用途、跨學科的任務處理能力。以 ChatGPT 為代表的All Rights Reserved31.2 AI 產業催生高性能云計算需求大模型技術可以在經濟、法律、社會等眾多領域發揮重要作用，引發了大模型的發展熱潮。2024 年被稱為 AGI 元年，文生視頻大模型 Sora 的問世再次引爆了行業熱點，在通用問題上 AI 通過自學習實現從 GPT 到 GPT-Zero 的升級，開啟了 AGI 時代。1.2.2 云計算性能對 AI 計算影響重大隨著大模型和生成式 AI 的迅速發展，大模型參數規模和數據集不斷增加，2017 年

20、到 2023 年 6 年間，AI 大模型參數量從 Transformer 的 6500 萬，增長到 GPT4 的 1.8 萬億，模型規模增長超過 2 萬倍。業界對智算算力的需求也水漲船高，據 Al Now計算能力和人工智能報告指出，早期 Al 模型算力需求是每 21.3 個月翻一番，而 2010 年深度學習后（小模型時代），模型對 Al 算力需求縮短至 5.7 個月翻一番，而 2023 年，大模型需要的 Al 算力需求每 1-2 個月就翻番，摩爾定律的增速顯著落后于社會對 Al 算力的指數級需求增長速度，即“Al 超級需求曲線”遙遙領先傳統架構的 Al 算力供給，帶來了Al 芯片產能瓶頸漲價等

21、短期市場現象。根據工信部等部委 2023 年 10 月發布算力基礎設施高質量發展行動計劃，截至 2023 年 6 月底，我國算力總規模達到 197EFLOPS，智能算力規模占比達 25.4%。按照該計劃，我國 2023 年底智算算力要達到 220EFLOPS，2024 年要達到 260EFLOPS，2025 年要達到 300EFLOPS。如此龐大的智算算力需求對底層智算基礎設施性能、穩定性、成本及安全性方面帶來巨大技術和成本挑戰。特別是智算云基礎設施在算力、網絡、存儲、調度等方面的性能對 AI 訓練過程有關鍵影響，是決定 AI 大模型訓練質量（效率、穩定性、能耗、成本、信任等）的關鍵因素。底層

22、智算云基礎上設施性能對 AI 訓練的質量有著重大影響，體現在多個方面：1.數據處理能力：千億級模型的訓練需要使用文件、對象、塊等多種存取協議處理處理 PB 級規模的數據集，萬億級模型的訓練處理 checkpoint 的讀寫吞吐性能要求高達 10TB/s?，F有智算存儲設施在協議處理、數據管理、吞吐性能等方面面臨諸多挑戰。傳統智算的分布式文件存儲系統僅支持百節點級別擴展，節點規模小，難以滿足萬卡級集群的數據吞吐性能要求。高性能云計算平臺能夠高效地存儲和處理海量的訓練數據。數據預處理、清洗和標注等步驟可以在云端高效完成，確保輸入模型的數據質量，從而提升模型的準確性和泛化能力。2.算力支持：云計算提供

23、了彈性且強大的計算資源，特別是 GPU 和 TPU 等加速器，能夠大幅縮短 AI 模型的訓練時間。大規模并行處理能力使得處理復雜的深度學習模型成為可能，這對于模型收斂速度和訓練質量至關重要。All Rights Reserved41.2 AI 產業催生高性能云計算需求3.分布式訓練：云計算平臺支持模型的分布式訓練，通過多節點并行計算，可以處理更大規模的數據集和更復雜的模型，同時減少訓練時間。這對于大型語言模型、圖像識別模型等尤為重要。4.模型優化：利用云計算資源，可以進行大量的模型調優實驗，比如超參數調優、模型架構搜索等，找到最優模型配置。云計算的靈活性允許數據科學家和工程師快速迭代，提高模型

24、性能。5.存儲與 IO 性能：高速的存儲系統和優化的 IO 性能減少了數據讀寫瓶頸，確保訓練過程中數據的快速存取，這對于大規模數據處理和模型訓練至關重要。6.資源調度與自動化：云平臺的智能資源調度能力可以根據 AI 訓練任務的需求動態調整資源分配，保證計算資源的高效利用。自動化工具和服務進一步簡化了模型訓練流程，降低了操作復雜度。7.成本效益：云計算的按需付費模式降低了進入門檻，使得企業和研究機構無需前期大量投資硬件設施，就可以開展高級 AI 項目，促進了 AI 技術的普及和創新。綜上所述，云計算不僅提供了必要的基礎設施來支撐 AI 訓練，還通過其靈活、高效、可擴展的特性，直接促進了 AI 模

25、型訓練質量和效率的提升，推動了 AI 技術的快速發展和廣泛應用。1.2.3 主流 AI 訓練的云計算支撐架構智算云數據中心架構可劃分為基礎設施層、管理調度層、大模型平臺層、AIGC 應用層，各層的作用說明如圖1.2所示：圖 1.2:智算中心架構基礎設施層適度超前建設，滿足面向未來客戶的算力多元化需求，基于開放計算，兼顧軟硬All Rights Reserved51.3 IaaS on DPU(IoD)算力底座技術路線一體協同，構建多元融合型架構，將通用 CPU 與多元異構芯片集成，融合多種算力，充分釋放算力的價值?；陬I先的 AI 服務器為算力單元，支持成熟豐富的軟件生態，形成高性能、高吞吐的

26、計算系統，為 AI 訓練和 AI 推理生產輸出強大、高效、易用的計算力。管理調度層硬件資源與 AI 應用松耦合，CPU 算力與 AI 算力按需配比，AI 算力資源按需調用，隨需應變，顯存可擴展、算力可超分。系統調度層一般采用云計算技術，根據資源池內算力資源使用情況，統一調度 AI任務，AI 算力資源采用聲明式申請，實現資源自動聚合，滿足單機單卡，單機多卡及多機多卡不同場景要求。大模型平臺層覆蓋 AI 模型開發部署全生命周期，提供預置行業算法、構建預訓練大模型，推進算法模型持續升級、提供專業化數據和算法服務，讓更多的用戶享受普適普惠的智能計算服務。AIGC 應用層使用云計算技術作為底層支撐，利用

27、訓練過的模型對外提供 AI 服務，包括語音交互服務、文本交互服務、圖像生成服務與視頻生成服務等。需要滿足業務系統高可用性與快速迭代等需求。當前，主流 AI 框架主要采用云原生技術作為底層支撐，主流 AI 分布式訓練框架如圖1.3所示。1.3 IaaS on DPU(IoD)算力底座技術路線1.3.1 IoD 發展歷程為了將算力基礎設施的能力充分發揮出來，云計算系統整體架構也在不斷演進。傳統的 IaaS 平臺組件功能全部由 CPU 算力承載，但是隨著對云計算性能需求的提升以及極致利用 CPU 算力需求的發展，基于 DPU 構建 IaaS 平臺的理念被提出與論證。這其中的佼佼者以亞馬遜網絡服務（A

28、WS）為代表，根據披露的材料分析，自 2013 年發布 Nitro(DPU)設備以來，AWS 的云計算服務體系逐漸改造為基于 DPU 構建并運行在 Nitro 設備中，服務器上的 CPU 算力被完全池化并以近乎 100%的原始算力性能向客戶售賣。以此為基礎，AWS 構建了一整套高性能、高穩定性的云服務體系，成為全球范圍內最大All Rights Reserved61.3 IaaS on DPU(IoD)算力底座技術路線圖 1.3:主流分布式訓練框架的云服務供應商。國內阿里云也采用類似的體系，其云服務體系與其自研的 DPU 設備緊密配合，幫助阿里云取得了巨大的成功。因此，IaaS on DPU，

29、簡稱為 IoD，并非全新的概念，而是已經被業內頭部企業充分論證過的技術方向，其商業價值也已經經過市場的考驗。但是如 AWS 等企業的 DPU 與云平臺經過高度訂制化，難以簡單在業內推廣開來。隨著 Nvidia、Intel、AMD 等芯片行業的領軍企業進軍 DPU 賽道后，如何探索出一條通用云計算系統與標準 DPU 產品結合的路徑成為業內關注的焦點。上述芯片企業通過行業論壇或技術文章等方式發表過眾多類似的解決方案，將部分 IaaS 平臺能力下沉到 DPU 中。眾多云計算供應商如 RedHat、VMware 等也順應趨勢，展開了相關研究并在其產品中納入了相關能力。其中關鍵性事件是 OPI 與 OD

30、PU 等標準化組織的成立，云廠商與 DPU 供應商紛紛參與其中探討 DPU API 規范，DPU API 規范可以將云平臺與 DPU 設備解耦，將 IoD 技術規范化并全面推向云計算行業。1.3.2 IoD 技術路線解析IoD 技術的核心思想是依托于 DPU 的異構運算能力，將云計算平臺的基礎設施組件盡可能下沉到 DPU 承載，實現節約 CPU 開銷與提升 IaaS 服務性能的目的。同時，基All Rights Reserved71.3 IaaS on DPU(IoD)算力底座技術路線礎設施組件下沉到DPU之后，可以為服務器側運行的各種業務提供一致的網絡、存儲與安全底座，可以更好的將虛擬機、容

31、器與裸金屬的業務調度收斂到統一平臺。如圖1.4所示為 IoD 架構下的系統模型。圖 1.4:IoD 系統模型當前開源領域最主流的云計算平臺有 Openstack 體系與 Kubernetes 體系，雖然二者在虛擬技術和容器編排方向各有側重，但它們可以互補使用，并且隨著不斷地技術迭代，二者的業務覆蓋范圍也有所重疊?？偟膩碚f，Openstack系統更注重對物理設備的模擬，對業務隔離性與復雜業務系統的支持更加友好，適合作為重點以虛擬機為主并需要復雜網絡管理和多租戶環境的企業級 IaaS 平臺使用。它在虛擬機管理、網絡配置和企業級特性方面表現出色。Kubernetes系統則是從上層業務的架構設計與生命

32、周期管理角度出發，提供更好的業務編排特性與抽象層次更高的網絡與存儲特性，擁有更加豐富的系統組件和更加靈活的插件機制，更適合作為以容器業務為主的 IaaS+PaaS 綜合平臺使用，尤其是在需要高效管理容器化應用和自動化運維的場景中。值得一提的是，Kubernetes 體系中提供的 Service Mesh 組件，在底層平臺提供了豐富的服務治理能力，其內置的服務發現、負載均衡、業務自愈、高可用、業務跟蹤、滾動發布等特性大幅簡化了業務系統的架構設計難度。借助于Kubernetes 體系更友好的插件機制，CNCF 社區發展迅速，也逐漸補足了 Kubernetes 其在虛擬化與業務隔離性方面的劣勢。從另

33、一個方面來講，據 Gartner 統計，新建云計算平臺中選擇基于 Kubernetes 構建的比例越來越高，尤其是以 AI 相關的云計算基礎設施中，Kubernetes 體系占據絕對數量優勢，已經成為云計算技術發展與應用最主要的方向。由于以上原因，IoD 技術架構更推薦選擇采用擴展 Kubernetes 的形式，通過眾多插All Rights Reserved81.3 IaaS on DPU(IoD)算力底座技術路線件將 DPU 能力引入到云原生技術棧中，并將 Worker 節點的基礎設施組件完全運行在DPU 中。圖 1.5:IoD 技術架構圖如圖1.5所示，典型的 IoD 技術部署在 DPU

34、 上的核心組件包括：BM-Agent：裸金屬業務組件，裸金屬系統盤采用 DPU 虛擬的磁盤，通過在虛擬磁盤中掛載用戶鏡像，可以實現裸金屬業務的快速切換與業務溫遷移。VM-Agent：虛擬機業務組件，通過監控本機虛擬機聲明和實例資源，實現對服務器上所有虛機實例的管理。CM-Agent：容器業務組件，定期從 Kubernetes 接收新的或修改的 Pod 規范，并確保 Pod 及其容器在期望規范下運行。CNI-DPU：網絡插件，提供高性能網絡卸載方案，同時提供高性能網絡接入組件、可以靈活高效對接各種外部網絡。CSI-DPU：存儲插件，提供高性能存儲卸載方案，同時兼容多種存儲方案。Sec-DPU：安

35、全插件，提供高性能分布式安全方案，是集群網絡安全策略執行的錨點。Service Agent：服務治理組件，可以根據業務需要通過流量劫持的方式實現服務治理功能，為虛擬機、容器以及裸金屬業務提供通用的服務治理能力。Image-Preheater：鏡像預加載組件，對通用的基礎鏡像進行多節點緩存，容器優先調度使用具有預熱鏡像的 Worker 節點，以避免其頻繁拉取遠端鏡像。Target Abstraction：驅動抽象層，用來對接各種 DPU 產品，屏蔽底層差異，需要與不同 DPU 開發套件進行適配。All Rights Reserved91.3 IaaS on DPU(IoD)算力底座技術路線同時，

36、為了將 DPU 融入進 Kubernetes 系統，IoD 體系下的 Kubernetes 平臺也需要進行相應擴展，核心擴展包括：BM-Component：實現裸金屬業務定義與生命周期管理。VM-Component：實現虛擬機業務定義與生命周期管理。Kubernetes 原生組件：實現容器業務定義與生命周期管理。CNI-Controller：實現網絡服務定義與管理。CSI-Controller：實現存儲服務定義與管理。Sec-Controller：實現安全服務定義與管理。Service-Mesh：服務治理組件，實現服務治理規則定義與管理。Image-Controller：鏡像管理組件，提供容器

37、、虛擬機、裸金屬鏡像統一管理與預熱策略下發功能。Cluster-Provider：提供集群部署與 DPU 節點生命周期管理功能。API-Server：提供對外 API 服務，暴漏底層 IaaS 能力。通過以上設計，已經完成了云計算 IaaS 體系與 DPU 的結合并將主要組件下沉到DPU 系統。類似的設計方案對 Openstack 體系也完全適用。值得一提的是，通過前述方案中 API-Server 暴露的能力，在已經完成 IoD 基礎環境搭建之后，不管是 Openstack 體系或者其他云平臺體系，都可以通過簡單的 API 集成，實現集群的 IoD 改造。通過 IoD 技術，可以為云計算體系提

38、供以 DPU 為核心構造、軟硬件一體化高性能計算底座，對外提供統一管理、高可擴展性、高性能、低成本的 IaaS 服務。在硬件層面為“3U 一體”和“一云多芯”的異構算力管理提供更好的解決方案。通過對網絡、存儲、安全、管理等負載的卸載，釋放服務器的硬件資源，實現性能加速，提升基礎設施運行效率。此外，通過 IoD 的統一底座技術，可以為云計算系統提供容器、虛擬機、裸金屬業務的統一調度和運維管理能力，提升運維管理效率。1.3.3 高性能云計算的規格定義1.3.3.1 高性能網絡規格定義在高性能云計算底座中，高性能網絡需要滿足一系列嚴格的要求：1.帶寬（Throughput）:高性能計算集群通常需要處

39、理大量數據傳輸，因此網絡必須All Rights Reserved101.3 IaaS on DPU(IoD)算力底座技術路線提供極高的帶寬，以確保數據可以在節點間快速流動，減少傳輸瓶頸。例如，在科學計算、大數據處理、深度學習訓練等場景中，數據集可能達到 PB 級別，要求網絡帶寬至少達到百 GB 甚至更高。2.延遲（Latency）:對于需要頻繁通信和數據交換的應用，網絡延遲需要控制在微秒級甚至納秒級，以保證系統的響應速度和實時性。3.并發連接（Concurrency）:在高負載和大規模分布式環境中，單節點需要同時處理成數萬并發連接，確保每個連接都能得到及時響應。4.網絡服務質量(QoS):不

40、同類型的數據流和服務對網絡資源的需求和優先級不同，QoS 功能允許網絡管理員根據服務類型動態分配帶寬和其他資源，確保關鍵應用的性能不受非關鍵流量的影響。5.冗余:（Redundancy）高性能網絡應具備高度的彈性和冗余設計，即使部分組件出現故障，也能保持網絡的連通性和穩定性。這意味著網絡需要有多條路徑和備份鏈路，以及自動故障檢測和恢復機制。6.可管理性（Manageability）:網絡應易于管理和監控，提供詳細的性能指標和日志記錄，幫助運維人員及時發現和解決問題。1.3.3.2 高性能存儲規格定義在云計算場景下，存儲處理性能直接影響著系統的整體性能和用戶體驗，高性能存儲對于處理性能的規格定義

41、通常包括以下關鍵指標和參數：1.吞吐量（Throughput）：吞吐量是指存儲系統能夠處理的數據量或信息流量。高性能存儲目前主流性能在 100-400Gb/s，根據云規模的不同略有浮動。2.IOPS（Input/Output Operations Per Second）：IOPS 是指存儲系統每秒鐘可以執行的輸入/輸出操作次數。高性能存儲后端需要提供至少千萬級的總 IOPS 數據處理能力，特定場景如 AIGC 應用中，單個存儲前端也需要百萬級的單磁盤 IOPS 能力。3.延遲（Latency）：存儲系統的延遲是指數據請求從發起到完成所需的時間?？紤]到存儲系統的額外延遲開銷，高性能云計算的延遲總

42、體開銷應控制在亞毫秒級（即百微秒量級）。4.容量（Capacity）：存儲系統的容量指的是其可以存儲的數據量。在高性能存儲方案中，存儲容量可以達到 EB 級。5.魯棒性（Robustness）：高性能存儲系統需要具備高可靠性和高可用性，以確保數據的安全性和持續性。這包括數據冗余、故障恢復能力、備份與恢復機制等。All Rights Reserved111.3 IaaS on DPU(IoD)算力底座技術路線6.數據保護（Security）：高性能存儲系統需要提供有效的數據保護機制，包括數據加密、訪問控制、數據備份等，以確保數據的安全性和完整性。7.擴展性（Extendibility）：高性能存

43、儲系統應具備良好的擴展性，能夠根據需求靈活擴展存儲容量和性能，以適應不斷增長的數據需求。8.融合性（Integration）：高性能存儲系統通常支持多種存儲訪問協議，如 NFS、SMB、Object、iSCSI、FC、NVMe-oF 等，以滿足不同應用場景的需求。1.3.3.3 高性能安全規格定義對于高性能云計算場景，傳統安全設備通常部署在網絡邊界處，無法部署在安全計算環境中，而傳統網絡安全軟件無論是防火墻、VPN、IPS 等產品都非常消耗服務器主機算力資源，這將嚴重影響服務器所承載業務應用的客戶體驗，也是當前計算環境的安全防護比較薄弱的一個重要原因。1.算力損耗（Loss-rate）：不因開

44、啟網絡安全功能而導致處理高性能網絡處理性能明顯下降；安全計算環境開啟網絡安全軟件功能后，服務器主機算力資源消耗小，平均算力占用率不超過 5%。2.吞吐量（Throughput）：吞吐量是在各種幀長的滿負載雙向發送和接收數據包而沒有丟失情況下的最大數據傳輸速率，開啟安全功能后，安全吞吐量可能為正常情況的 70-90%。3.延時（Latency）：開啟安全功能后，網絡延時需要控制在微秒級。4.會話數量（Number of session）：最大會話數量指基于防火墻所能順利建立和保持的最大并發 TCP/UDP 會話數，對于高性能網絡，最大會話數量至少為千萬級。5.每秒新建連接數（Connection

45、 Per Second,CPS）：每秒新建連接數指一秒以內所能建立及保持的 TCP/UDP 新建連接請求的數量，每秒新建連接數通常需要幾十萬級。6.誤報率（False alarm rate）：誤報率是指某種類型的網絡業務流量被誤識別為其它類型網絡業務流量在所有被測試網絡業務流量樣本中的占比，此指標需要接近于0%。7.漏判率（Miss rate）：漏判率是指網絡業務流量中預期應該被識別出來的業務類型沒有識別到的網絡業務流量占總網絡業務流量樣本的百分比，此指標接近于 0%。8.識別準確率（Identification accuracy）：識別準確率是指測試用的網絡業務流量樣本中被準確識別的比例。此

46、指標識別準確率接近 100%，至少要求在 95%以上。All Rights Reserved121.4 IoD 高性能云計算應用范式9.隧道會話數（Number of IPSec tunnels）：最大 IPSec 隧道會話數量指 IPSec 隧道會話所能順利建立和保持的最大并發會話數，IPSec 隧道會話數量至少為數萬級到數十萬級。10.每秒新建 IPSec 會話數（IPsec Connection Per Second）：每秒新建連接數指一秒以內 IPSec 所能建立及保持的 IPSec 隧道會話的數量，至少要求在幾千或數萬級。1.4 IoD 高性能云計算應用范式1.4.1“兼容并包”的公

47、有云公有云服務是最典型的云計算應用場景，通過互聯網將算力以按需使用、按量付費的形式提供給用戶，包括：計算、存儲、網絡、數據庫、大數據計算、大模型等算力形態?；A設施能力的提升會為公有云服務商帶來很多優勢：拓展用戶寬度：云計算服務的性能是對部分客戶至關重要，云計算服務的網絡帶寬、存儲性能、響應時間等往往成為客戶是否選擇一家云廠商的關鍵因素，因此更高的性能有助于云計算廠商有效的拓展用戶寬度。降低客戶成本：更高的性能意味著云計算客戶可以用更短的時間完成任務，直接關系到客戶的使用成本，高性能云計算平臺可以幫助云服務商在價格競爭中取得身位領先。極致資源利用：通過卸載技術降低 CPU 負荷意味著相同集群規

48、?？梢蕴峁└嗟目墒圪u資源，因此高性能云底座將直接關系到云服務商的生產能力。提升 ROI：IoD 技術不僅僅可以提升算力資源池的服務性能，在網絡資源池、安全資源池與存儲后端等領域也可以通過性能提升為云服務商帶來更高的經濟效益。整體看來，部分公有云廠商在選定技術路線后會采用自研 DPU 的方式來獲得更高的業務定制性，但芯片研發的巨額資金投入也帶來了巨大的不確定性。其余大部分云服務廠商會選擇引入硬件供應商的設備來構筑自己的技術體系，此時 DPU 設備的規范性、可定制能力以及服務支持能力將成為至關重要的因素。All Rights Reserved131.4 IoD 高性能云計算應用范式1.4.2“安

49、全強大”的私有云私有云是僅為單一組織或企業專用的一種云計算環境，相對于公有云，它提供了更高的控制權、隱私性和定制化能力。私有云一般部署在企業內部的自有數據中心（本地私有云），也可以托管在第三方服務提供商的數據中心（托管私有云）。由于其承載的業務范圍相對固定，因此除了個別應用類型為，私有云對性能的需求往往聚焦在某個方向，并不像公有云需要全方位的性能提升。但是，私有云的應用對于運維隔離、安全管控等需求更為強烈，IoD 技術也將為私有云帶來諸多好處：運維隔離：通過 IoD 技術，云平臺的基礎設施層與業務運行環境做到了最大限度的隔離，并且各種基礎設施能力僅通過虛擬設備形式對業務系統呈現，最大限度的完成

50、了運維與業務的解耦部署。高安全性：借助 DPU 的能力，可以更好的實施“分布式防火墻”與“零信任”網絡方案，并且通過 DPU 參與到數據收發路徑的方式，能夠更方便的實現集群業務監控。性能提升：通過定向的性能提升，能夠幫助私有云延續老式設備的服役周期，保護既有投資。節能減排：通過 IoD 技術提升集群整體性能，可以用更少的設備與能耗提供同等算力，幫助客戶實現節能減排的目標。IoD 技術對于私有云建設的優勢非常明顯，但是目前在運行的私有云改造確面臨著諸多問題，涉及適配改造、業務遷移等方面，典型的建設方案有：1.新建集群并逐步完成業務遷移與 IoD 集群擴容，此方案要求新建的 IoD 集群能夠與源集

51、群較好的適配與互通，能夠實現安全方案的平滑遷移以及能夠共享存儲系統。此方法優勢是遷移過程較平滑，但是整體項目實施周期可控性較低，遷移啟動時無法充分驗證系統對上層業務需求的支持情況。2.推動當前云平臺完成 IoD 業務改造并確保同一平臺同時支持 DPU 服務器與非DPU 服務器同時存在的情況。此方案的優勢是可以保持云平臺的一致性，在前期業務改造與論證階段完成盡可能多的業務驗證，完成平臺改造后的遷移風險較小，但是存在前期資源投入大的缺點。All Rights Reserved141.4 IoD 高性能云計算應用范式1.4.3“小巧精美”的邊緣云邊緣云是將計算、存儲和網絡資源部署在靠近用戶、設備或數

52、據源的位置，以提供低延遲、高帶寬和實時處理能力的云計算服務。這些資源通常位于電信基站、商業園區、區域數據中心或本地服務器等邊緣設備上。具有規模小，部署環境受限等特點，優勢是能夠減少數據傳輸的延遲，提高響應速度，優化帶寬使用，增強數據隱私和安全性。IoD技術對于邊緣云的發展來說也具有重大意義：空間節約：由于邊緣云的部署方式往往受空間限制較大，集群規模很小，因此借助 IoD 技術，不僅可以將工作節點組件部署在 DPU 上，還可以將云平臺管理組件也運行在 DPU 中，進一步減少邊緣集群服務器數量，實現對物理空間的節約。定制性強：邊緣云部署的業務往往具有很強的定制性，借助 DPU 的高度可編程特性，可

53、以對實現對特定類業務的優化處理。例如 5G MEC 系統可以借助 DPU 實現更高的 UPF 數據轉發性能與 SD-WAN 接入能力，視頻監控邊緣云系統中可以實現視頻數據包的預處理等。性能提升：DPU 的網絡與存儲卸載能力對邊緣云性能提升大有幫助，同時大量邊緣部署的應用對系統時延較為敏感，DPU 系統的低時延能力也可以幫助邊緣云系統應對更多的業務挑戰。當前還處于邊緣云業務大規模部署的初期階段，此時正是邊緣云技術體系引入DPU應用的最佳時機，但是同樣面臨的最大挑戰是需要 DPU 系統對不同邊緣云應用需求的優化與增強，對 DPU 的可編程能力與服務廠商的定制研發支撐能力具有很強的要求。1.4.4“

54、異軍突起”的智算云智算云平臺可以為大模型、生成式 AI 提供 IaaS、PaaS、SaaS 等多個層面的云服務，同時滿足 AI 訓練和推理服務兩種業務需求。智算云可以以公有云或私有云等各種形式呈現，但由于其專門為 AI/HPC 應用設計，在整體架構上有自己的獨到之處，總體架構如圖1.6所示：基礎設施層多采用 CPU+DPU+GPU 3U 一體異構算力架構，提供通用算力和智算算力，滿足多種算力需求。其中 CPU 多采用 X86 和 ARM 兩種處理器架構，LoongArch，Alpha 等架構也逐漸開始進入智算算力視野。GPU 的引入可以良好的支持人工智能的推理和訓練業務，滿足智算業務通用性需求

55、。網絡層硬件采用 DPU 系列產品，通過將智算的計算、存儲、網絡、安全、管理等卸載到 DPU 硬件層處理，實現在超高帶寬、超All Rights Reserved151.4 IoD 高性能云計算應用范式圖 1.6:智算云架構圖低延遲的網絡環境中發揮極致效能，同時 DPU 為多租戶智算云業務提供安全隔離保護，良好地支撐了 AI 人工智能的 GDR 和 GDS 場景下的推理和訓練業務，保證了智算云平臺所有業務及數據安全、穩定、可靠的運行。云資源服務層提供裸金屬服務器、虛擬機、容器、服務網格等各類智算云平臺資源服務，大多采用 Kubernetes 的云原生容器化應用全生命周期管理，提供高擴展、高性能

56、容器應用管理服務。采用 IoD 技術可以將容器的基礎網絡與存儲等能力卸載到 DPU 硬件上，實現了超高性能的容器云業務環境。調度管理層提供彈性靈活的云原生資源管理和調度能力，IoD 技術可以為云原生智算資源管理和調度平臺提供 GPU 池化和對容器、虛擬機、裸機的統一管理調度能力，配合 AI 調度管理平臺，實現 DPU、GPU、CPU 資源和裸金屬、虛擬機、容器等各類云服務的智能負載調用，為智算各個業務場景合理調度、分配資源，實現資源最大化利用和靈活調度。開發平臺層為各類 AI 業務應用提供開發框架、預訓練框架、訓練框架、推理引擎等基礎服務。AI 應用層是指智算云平臺上承載的各種智算應用服務。1

57、.4.5“電光火石”的低時延云隨著技術升級和業務創新，眾多行業對網絡時延也提出了更高的要求，越來越多的行業對時延要求從毫秒下降到微秒，比如證券領域的極速交易場景對時延要求下探到All Rights Reserved161.4 IoD 高性能云計算應用范式亞微秒級，工業控制協議中約 15%核心生產環節要求時延不高于 1ms，自動駕駛場景下遠程取消操作的要求時延不高于 3ms。更低的時延，在產業中，意味著更高的收益、更高的精度、更高的安全性。因此，各個行業對于時延性能的追求和探索永無止境。由于傳統云平臺時延性能不能滿足核心交易等時延敏感業務要求，因此現階段，金融領域使用的低時延網絡和服務器，普遍使

58、用裸金屬部署，存在諸多痛點，包括物理資源容量受限、資源使用成本高、交付效率難以滿足業務調整、虛擬化帶來的時延損耗大。低時延云平臺是構建在超低時延網絡服務器集群上，集成了超低時延技術，具備超低時延、自主可控、業務深度調優、高性能異構加速等核心特性，為金融極速交易、人工智能、工業控制、邊緣計算等時延敏感場景提供超低時延的云計算服務。通過 IoD 技術體系的異構算力管理能力，將低時延傳輸能力納入云平臺管理與調度，可以更好的支撐低時延云場景的業務需求。All Rights Reserved17第 2 章 云計算業務模型分析2.1 當前主流云計算體系結構當前主流云計算體系結構是一個多層次、高度集成的架構

59、，旨在提供彈性的資源分配、自動化管理以及豐富的服務選項。這一架構通?？梢詮乃膫€核心層面來描述：硬件部分、基礎軟件、云管平臺（云管理平臺）以及業務服務。下面是對這四個方面的詳細說明：2.1.1 硬件部分硬件部分構成了云計算的物理基礎，包括服務器、存儲設備、網絡設備（交換機、路由器等）以及可能的專用硬件（如 GPU 服務器、FPGA 加速器等）。在現代云計算數據中心中，服務器通常采用高性能、高密度的設計，支持大規模橫向擴展。高密度服務器：為了提高數據中心的空間利用率，現代云數據中心傾向于使用高密度服務器，如刀片服務器，它們能在有限的空間內提供更多的計算能力。異構計算：除了傳統的 CPU 服務器，云

60、計算平臺還會部署 GPU 服務器、FPGA 服務器和 TPU（針對特定工作負載，如機器學習、圖形渲染和高性能計算）來提升特定應用的處理效率。存儲設備涉及分布式存儲系統，以提供高可用性和數據冗余。分布式存儲系統：如 Ceph、GlusterFS、HDFS，通過多副本、糾刪碼等機制確保數據的高可用性和容錯性。全閃存陣列：為了提升 I/O 性能，越來越多的云服務采用全閃存存儲解決方案，提供低延遲、高吞吐的存儲服務。網絡方面，SDN（Software-Defined Networking，軟件定義網絡）技術被廣泛應用，實現網絡資源的靈活配置和管理。SDN（軟件定義網絡）：通過分離控制平面和數據平面，實

61、現網絡資源的靈活配置和自動化管理，如 OpenFlow 協議和控制器如 OpenDaylight。NFV（網絡功能虛擬化）：將傳統網絡設備功能（如防火墻、負載均衡器）轉變為軟件形態，運行在通用服務器上，提高靈活性和可擴展性。2.1 當前主流云計算體系結構2.1.2 基礎軟件基礎軟件層主要包括操作系統（如 Linux）、虛擬化技術（如 KVM、Xen、Hyper-V）、容器技術（如 Docker）、以及分布式系統基礎組件（如分布式文件系統、數據庫、消息隊列等）。虛擬化技術允許在單個物理服務器上運行多個虛擬機，提高硬件資源的利用率。容器技術則進一步提升了資源利用效率和應用部署的靈活性。此外，微服務

62、架構和無服務器計算（Serverless Computing）也是現代云基礎軟件的重要組成部分，它們促進了服務的快速開發和部署。1.操作系統輕量化 OS：針對云環境優化的輕量級操作系統，如 CoreOS、ContainerOS，減少不必要的服務，更適合容器運行環境。容器運行時：Docker、rkt 等，提供容器的創建、運行、管理和鏡像分發能力。2.虛擬化技術Type 1 Hypervisor：直接運行在硬件之上的虛擬化層，如 Xen、KVM，提供接近物理機的性能。Type 2 Hypervisor：運行在操作系統之上的虛擬化層，如 VirtualBox、VMwareWorkstation，更適

63、合桌面虛擬化和開發測試環境。3.分布式系統基礎組件分布式數據庫：如 Cassandra、MongoDB，設計用于處理大規模數據集，提供高可用性和水平擴展性。消息隊列：如 Kafka、RabbitMQ，用于解耦服務、異步處理和高并發處理。2.1.3 云管平臺云管理平臺是云計算體系的核心，負責資源的自動化管理、監控、計費、安全控制以及服務交付。這一層常見的平臺包括 OpenStack、AWS CloudFormation、Azure ResourceManager、Google Cloud Console 等。云管平臺提供了一個統一的界面或 API，使得用戶可以輕松創建、配置、監控和銷毀各種云資源

64、，如虛擬機、容器、數據庫實例、負載均衡器等。此外，它還負責資源調度、故障恢復、資源計量計費等功能，確保服務的高可用性和經濟性。1.資源調度與編排Kubernetes：目前最流行的容器編排平臺，負責容器應用的部署、擴展、維護。All Rights Reserved192.2 計算業務分析OpenStack：開源云平臺軟件，提供 IaaS 服務，包括計算、存儲、網絡等資源的管理。2.監控與日志管理Prometheus+Grafana：Prometheus 負責收集指標，Grafana 用于數據可視化，共同實現全面的監控。ELK Stack：Elasticsearch、Logstash、Kibana

65、 組成的日志分析平臺，用于日志收集、分析、展示。3.安全與合規IAM（Identity and Access Management）：管理用戶身份和權限，確保只有授權用戶能訪問相應資源。安全組與網絡 ACL：提供網絡層面的安全控制，限制進出流量，增強云環境的安全性。2.1.4 業務服務業務服務層直接面向最終用戶或開發者，提供一系列可直接消費的云服務，包括但不限于：計算服務：如彈性計算服務（EC2,ECS）、裸金屬服務（BMS）函數即服務（Lambda,Azure Functions）。存儲服務：對象存儲（S3,Azure Blob Storage）、塊存儲、文件存儲等。數據庫服務：關系型數據庫

66、服務（RDS）、NoSQL 數據庫、數據倉庫等。網絡服務：VPC、EIP、VPN、負載均衡、CDN、DNS 管理等。安全服務：身份與訪問管理（IAM）、防火墻、安全組、數據加密服務等。開發者服務：持續集成/持續部署（CI/CD）、API 網關、消息隊列等。數據分析與 AI 服務：大數據處理、機器學習平臺、數據湖等。這些服務旨在降低企業構建和運行應用程序的技術門檻，加速產品上市時間，同時提供按需付費的靈活性，幫助企業根據實際需求動態調整資源規模。2.2 計算業務分析云計算基礎設施的多樣化為不同規模和需求的企業提供了靈活的選擇，其中，裸金屬服務器、虛擬機、容器和 GPU 服務器作為四大核心服務形態

67、，各自擁有獨特的性能All Rights Reserved202.2 計算業務分析特點和應用場景，滿足了從基礎計算到高性能計算、從輕量級應用到大規模數據處理的廣泛需求。2.2.1 裸金屬服務器性能特點:極致性能與低延遲：裸金屬服務器直接運行在物理硬件之上，消除了虛擬化層的開銷，提供了接近硬件極限的性能。這使得它們成為對計算性能和低延遲有極高要求應用的理想選擇，如高頻交易系統、大規模數據庫和高性能計算（HPC）場景。資源獨享：與虛擬機不同，裸金屬服務器的資源（CPU、內存、存儲、網絡）完全為單一用戶所用，避免了資源競爭，確保了性能的穩定性和可預測性，適合對資源隔離性有嚴格要求的應用。高度可定制與

68、擴展：用戶可以根據特定需求選擇和配置硬件，如特定型號的 CPU、內存大小、存儲類型和網絡配置，以及添加 GPU 等特殊硬件，以滿足特定應用的優化需求。衡量指標:1.CPU 基準測試：使用 SPEC CPU Benchmark Suite 等工具評估處理器的整數和浮點運算性能。2.內存帶寬測試：通過 Stream Benchmark 測試內存讀寫速度，反映大塊數據操作的效率。3.存儲 I/O 性能：使用 fio 工具測量磁盤讀寫速度和 IOPS（每秒輸入輸出操作），評估存儲系統的響應能力。4.網絡吞吐與延遲：使用 iperf 或 netperf 工具測試網絡接口的最大吞吐量和數據包往返時間。2.

69、2.2 虛擬機性能特點:資源靈活分配與管理：虛擬機能夠在一臺物理服務器上創建多個獨立的運行環境，每個環境都擁有自己的操作系統、內存、CPU 份額和存儲。這使得資源的分配和回收變得非常靈活，適合快速開發和測試環境的搭建。All Rights Reserved212.2 計算業務分析隔離與安全性：雖然不如裸金屬服務器，但虛擬化層提供了基本的隔離能力，防止一個虛擬機的崩潰或攻擊影響到其他虛擬機，提升了整體環境的安全性。遷移與災備：虛擬機易于遷移和備份，為業務連續性和災難恢復提供了便利。衡量指標:1.虛擬化開銷評估：比較虛擬機與裸金屬服務器在相同工作負載下的資源使用和執行時間，評估虛擬化層引入的性能損

70、耗。2.資源調度效率：觀察 CPU 的爭用率、內存頁交換頻率，以及在資源緊張時的性能穩定性。3.熱遷移能力：測試虛擬機在不同物理主機間遷移的速度和業務中斷時間，評估云平臺的靈活性。4.動態資源調整響應：測量增加或減少 vCPU、內存資源時，虛擬機性能的變化情況。2.2.3 容器性能特點:輕量級與快速啟動：容器共享宿主機的操作系統內核，無需額外的操作系統層，啟動速度極快，資源占用小，適合快速部署和擴展微服務架構。高度可移植性：容器鏡像標準化，便于跨平臺、跨環境部署，提高了開發到生產的效率和一致性。資源利用率高：相比于虛擬機，容器在資源使用上更為高效，能夠支持更密集的部署，降低資源成本。衡量指標:

71、1.啟動時間：容器從創建到就緒的平均時間，反映容器的快速響應能力。2.資源利用率：比較容器與虛擬機在同一工作負載下的 CPU、內存使用效率。3.網絡性能：容器網絡模型（如 Docker bridge、Kubernetes CNI）的吞吐量和延遲，影響服務間的通信效率。4.隔離與安全性：通過 cgroups 和 namespace 等機制評估容器間的隔離程度和安全風險。2.2.4 GPU 服務器性能特點:All Rights Reserved222.3 網絡業務分析并行計算加速：GPU（圖形處理器）擁有數千個核心，特別適合執行高度并行的任務，如深度學習訓練、大規模數據分析、科學計算和 3D 渲染

72、，相比 CPU 能顯著縮短計算時間。高帶寬顯存：GPU 配備有高帶寬內存（如 HBM2、GDDR），適合處理大規模數據集，減少內存訪問瓶頸。能效比：在處理特定類型的工作負載時，GPU 相比 CPU 展現出更高的能源效率，有利于降低長期運營成本。衡量指標:1.浮點運算性能：通過 FP32、FP16、INT8 等不同精度的 TensorFLOPS（TFLOPS）衡量 GPU 的計算能力。2.顯存帶寬：衡量 GPU 內存的數據傳輸速度，對處理大型數據集至關重要。3.并行處理效率：以深度學習為例，測量每秒處理圖像數量（Images Per Second,IPS）或模型訓練時間，評估 GPU 加速效果。

73、4.功耗與散熱：考慮 GPU 服務器在高負載下的能源消耗和散熱需求，評估其在數據中心的運維成本。2.2.5 應用場景與選擇策略在實際應用中，往往會根據業務特點選擇使用不同的云計算服務：裸金屬服務器：適合對性能和安全性有極端要求的場景，如核心數據庫、大規模數據分析、金融交易系統、高性能計算等。虛擬機：適合需要靈活資源分配、快速部署和低成本試錯的場景，如開發測試環境、網站托管、輕量級應用部署。容器：適合微服務架構、持續集成/持續部署（CI/CD）流程、快速迭代的軟件開發，以及需要快速擴展和高密度部署的場景。GPU 服務器：針對深度學習、科學計算、3D 圖形渲染、大數據分析等高度并行計算需求，以及對

74、計算效率和能效比有特殊要求的應用。綜上所述，選擇合適的云服務形態需綜合考慮業務需求、性能要求、成本預算和運維能力。隨著技術的不斷進步，如智能調度、自動化運維、云原生技術的發展，未來云服務將更加靈活、高效，更好地服務于多樣化的業務場景。All Rights Reserved232.3 網絡業務分析2.3 網絡業務分析隨著云計算的飛速發展，云計算網絡技術也在不斷演進，初始的傳統三層網絡逐步被更適合大二層網絡的 Spine-Leaf 架構替代。經典的大二層網絡經歷設備虛擬化方案、L2 over L3 方案和 Overlay 方案后，現在已經演進為 VPC（Virtual Private Cloud）

75、網絡。從核心技術來看，云計算網絡最看重對網絡編址和網絡性能的優化，以滿足云計算對高性能和靈活性的要求，這其中 SDN（Software Defined Network）發揮著至關重要的作用。SDN 技術是對傳統網絡架構的一次重構，其核心思想是通過控制面與數據面的分離，將網絡的管理權限交給控制層的控制器軟件，再通過南向協議通道，統一下達指令給數據轉發層設備，網絡控制與數據轉發的充分解耦，實現云計算網絡控制的集中化、自動化和可編程性。SDN 網絡架構通常包含三個關鍵層次：應用層：SDN 的最上層，承載著云上各種網絡應用和服務，允許開發人員根據具體業務需求創建自定義的網絡應用程序。同時提供了與控制層

76、交互的 API 接口，使得應用能夠向 SDN 網絡發出指令、獲取網絡狀態信息以及實時調整網絡行為?？刂茖樱篠DN 的核心，包含 SDN Controller，負責收集全局網絡視圖，將來自應用層的需求轉化為具體的網絡配置指令，并將這些指令傳遞給底層的網絡設備。SDN Controller 通過北向接口與應用層通信，通過南向接口與基礎設施層通信，實現對網絡行為的集中控制?；A設施層：包含了網絡中的實際設備，如交換機、路由器等，這些設備既可以是物理設備，也可以是虛擬設備?；A設施層負責執行來自控制層的指令，將其翻譯為底層設備的配置，實現數據的實際傳輸和處理。云計算網絡重點實現 SDN 的控制層和基礎

77、設施層，控制器、網關和虛擬交換機協同工作，構成一個集成的云網絡系統。其中網關和虛擬交換機作為承載網絡傳輸的基礎設施，其性能很大程度決定了整個云網絡的整體性能。值得特別指出的是網關作為連接不同網絡環境的關鍵組件，其功能和形態也經歷了從基礎的數據轉發到軟件定義與高性能網關的轉變，以適應云環境的復雜性和動態性。在云網絡的早期階段，網關主要基于傳統的硬件設備，負責不同網絡之間的數據包轉發、協議轉換和安全控制。這些設備固定功能，配置復雜，且擴展性和靈活性有限，難以適應云計算環境的快速變化和動態需求。隨著 NFV（Network Function Virtualization）概念的提出，網關開始向虛擬化

78、方向發展。NFV 允許將傳統網關的功能（如路由、防All Rights Reserved242.4 存儲業務分析火墻、負載均衡等）以軟件的形式運行在通用服務器上，從而提高了資源利用率、降低了硬件成本，并增強了靈活性和可擴展性。第一代 NFV 網關雖然實現了功能的虛擬化，但在性能、可管理性和集成度上仍有待提升。SDN 技術的引入，使得網絡控制層面與數據轉發層面分離，網關技術也隨之升級。SDN 集成網關能夠與 SDN 控制器配合，實現網絡策略的集中控制和動態配置，提高了網絡的自動化水平和響應速度。SDN 網關不僅能夠執行傳統網關的功能，還能動態適應網絡拓撲變化，優化數據路徑，為云環境提供了更高的靈

79、活性和可編程性。隨著網絡流量的持續增長，網絡數據包處理效率的問題開始凸顯，對應的云計算網絡技術也在持續演進。虛擬交換機經過 Linux 內核交換機、用戶態 DPDK 交換機階段，現在通過 DPU、智能網卡等設備的硬件卸載能力，來進一步提升虛擬交換能力。傳統虛擬交換機的大部分數據包處理任務（如封包轉發、VLAN 標記/去標記、流量控制等）依賴于主機 CPU。隨著虛擬機數量的增長，網絡流量的增加，CPU 負擔加重，成為性能瓶頸。DPU 通過將這些網絡處理任務從 CPU 卸載到專門的硬件設備上，顯著減輕了CPU 的壓力，提高了整體系統性能和效率。另外 DPU 等設備通常配備高性能的網絡接口和加速引擎

80、，能夠以硬件加速的方式處理網絡數據包，相比軟件實現，其處理速度更快，延遲更低，吞吐量更高。2.4 存儲業務分析在云計算業務模型中，存儲性能要求在不同場景下扮演著關鍵角色。大數據分析需要高吞吐量、低延遲和良好的擴展性；人工智能應用則側重于高速數據讀寫和一致性；在線交易場景要求低延遲、高并發讀寫和數據可靠性；而多媒體存儲與流媒體場景則需要高帶寬、低延遲和數據穩定性。這些場景下的存儲性能需求突顯了各自的重點，包括吞吐量、延遲、可靠性和擴展性等關鍵指標。因此，在設計和優化存儲系統時，必須針對特定業務場景的需求進行有針對性的考量，以確保系統能夠滿足不同場景下的性能要求。大數據分析場景：在大數據分析場景下

81、，存儲系統需要具備高吞吐量和低延遲的特性，以支持快速的數據讀取和處理。同時，大數據分析通常涉及大規模數據的并行處理，因此存儲系統需要具備良好的擴展性和并發處理能力。人工智能應用場景：對于人工智能應用，存儲系統需要具備高速的數據讀取和寫入能力，以支持大規模的數據訓練和推理過程。低延遲和高 IOPS 對于實時推理All Rights Reserved252.5 安全業務分析和訓練任務至關重要，同時數據的一致性和可靠性也是關鍵指標。在線交易場景：在線交易場景對存儲系統的響應速度和數據一致性要求較高。存儲系統需要具備低延遲、高并發讀寫能力，以確保交易數據的實時性和準確性。同時，數據的持久性和可靠性也是

82、關鍵考量因素。多媒體存儲與流媒體場景：在多媒體存儲和流媒體場景下，存儲系統需要具備高帶寬、高吞吐量和低延遲的特性，以支持大規模的多媒體數據的存儲和傳輸。同時，數據的穩定性和可靠性對于保障媒體數據的完整性至關重要。2.5 安全業務分析隨著云計算技術的快速發展，高性能云計算對網絡架構和彈性提出了更高要求，基礎設施暴露了更大的攻擊面，業務數據更加集中，數據價值越來越高，黑客攻擊越來越多，企業面臨著更加復雜的安全威脅。高性能云計算改變了傳統數據中心的網絡和業務模型，同時給網絡安全建設帶來了巨大的挑戰，需要高性能、彈性的分布式安全防護體系。傳統安全方案采取集中式部署方式，可以有效防御南北向網絡攻擊，無法

83、應對東西向流量的網絡攻擊，無論是從成本還是機房空間等其他方面考慮無法部署到計算環境中。攻擊者一旦進入網絡，通過內部網絡橫向發起擴散攻擊，入侵更多的主機，擴散范圍包括 VPC 之間和 VPC 內部各個主機、虛機、容器等。為了解決云計算東西向網絡攻擊，客戶通常采用基于網絡引流模式的安全資源池，或者采用基于代理模式的獨立虛擬防火墻進行防護，這兩種旁路安全防護方式，在防護效率、復雜度、覆蓋度等多方面面臨如下挑戰：網絡引流路徑長，產生額外開銷，防護效率低。需要操作交換機，網絡操作復雜，出錯風險增加。無法對跨虛擬機、容器的流量進行隔離防護。服務器處理防火墻、加解密等安全功能性能低，尤其是國產化服務器平臺。

84、需要增加額外的服務器，占用機房物理空間，綜合成本增加。通過上述安全性能分析，針對薄弱的安全計算環境，云計算需要一種新的網絡安全防護體系，這種防護體系可以面向租戶進行貼身防護，滿足云內虛機/容器安全隔離，具有高安全、高性能、分布式部署能力，可以與第三方安全軟件控制面進行適配，具有彈性擴展的能力。安全防護體系不應該依賴于業務服務器算力，不影響業務應用的效率，All Rights Reserved262.6 平臺服務業務分析不增加額外的機房空間。2.6 平臺服務業務分析2.6.1 數據庫通常我們希望高性能數據庫應具備高并發處理能力、低延遲響應、高 TP/AP 性能、低資源使用率、高可靠性、可擴展性、

85、數據安全等關鍵特性。在云計算業務場景下，分布式數據庫的部署通常具備更好的資源彈性，以及采用“存算分離”的部署方式，相較于傳統的“存算一體”架構，這對網絡提出了更高的性能要求。分布式數據庫的業務場景分為計算密集型、IO 密集型和網絡密集型，分別容易造成計算瓶頸、IO 瓶頸和網絡瓶頸，傳統方案中，一般都是通過增加相對應的資源來解決相應的業務瓶頸，這無疑增加了相應的建設成本。繼續細分業務場景，我們簡單分為 OLTP 場景和 OLAP 場景，OLTP 場景下，我們對數據庫的高并發處理能力、低延遲響應、高 TP 性能提出了較高的要求。OLAP 場景下，我們則對高 AP 性能、低資源使用率提出了較高的要求

86、。再繼續下沉到 IaaS 基礎能力上，高并發處理能力，需要高計算處理能力、高帶寬、高 IO 性能（高帶寬/高 IOPS）；低延遲響應需要網絡和 IO 的低延遲；資源使用，一方面依賴數據庫本身的功能實現，以及任務本身，另一方面也取決于 IaaS 整體架構對于資源使用的優化能力。2.6.2 中間件云計算場景下，中間件服務通常都是分布式的部署方式，服務狀態或持久化數據通常存儲于云盤或分布式文件系統中，同樣需求更高的網絡和 IO 性能。高性能中間件應具備高吞吐量、低延遲、高可用性、可擴展性、靈活性、易用性、容錯性等多個特性。從有無狀態或持久化數據的角度上，我們可簡單將中間件分為有狀態中間件和無狀態中間

87、件。有狀態中間件，由于通常有大量的數據從數據盤進行讀寫，因此對 IO 性能需求較高；無狀態中間件沒有數據落盤，通常更偏向網絡型應用場景，更依賴網絡性能。同時，兩者一般都有低延遲的性能需求，因此需要依賴網絡和 IO 的低延遲。All Rights Reserved272.6 平臺服務業務分析2.6.3 服務治理伴隨著云原生技術的發展，微服務架構已經成為現代軟件開發的主流架構。在微服務架構中，由于原來的單體應用被拆分為眾多的微服務組件，一次業務請求通常需要多級鏈式調用才能完成處理。因此，通過服務治理技術在眾多微服務容器間完成業務調度的工作就顯得尤為關鍵。當前許多開發框架均能提供服務治理的技術棧并被

88、廣泛適用，如 SpringCloud、Dubbo 等。但是一般都存在 Setup 困難，綁定開發語言，增加額外組件與業務邏輯侵入等問題，需要開發者深入了解所使用的框架特性與編程模式，才能取得較好的服務治理效果。相比之下，Service Mesh 技術具有明顯的優勢，業務開發人員只需關注自己的業務邏輯，其余像服務注冊與發現、動態路由與業務追蹤等功能，全部通過 Service Mesh 體系的邊車容器完成。但是，Service Mesh 體系中邊車容器的引入，造成了整體通信鏈路的性能降低，這又成為了新的痛點。因此，在云計算場景下，高性能服務治理是在微服務時代必須要解決的核心問題，一方面要能夠提供兼

89、具高吞吐與低時延性能的方案，另一方面也需要盡量減少資源消耗。All Rights Reserved28第 3 章 高性能云計算基礎設施建設路徑3.1 通用算力技術分析3.1.1 CPU 的計算能力發展歷程CPU 計算能力的發展大致可分為以下幾個階段:1.早期發展(1971-2000):從 1971 年英特爾推出首款商用微處理器 4004 開始,CPU 性能主要通過提高時鐘頻率和改進微架構來提升。這個時期遵循摩爾定律,晶體管數量大約每 18-24 個月翻一番。2.多核時代(2000-2010):單核心頻率提升遇到瓶頸后,處理器廠商轉向多核設計。這一時期出現了雙核、四核等多核心處理器,通過并行計算

90、提高性能。3.異構計算與專用處理器(2010-2015):除了繼續提高核心數量,處理器開始整合GPU 等專用單元,形成異構計算架構。同時,針對特定應用如 AI 的專用處理器開始出現。4.近 10 年的發展(2015-2024):核心數量持續增加:消費級 CPU 從四核發展到現在的 16 核甚至更多,服務器CPU 則已達到 64 核甚至 128 核。制程工藝不斷進步:從 22nm、14nm,到現在主流的 7nm、5nm,甚至已有 3nm制程的 CPU 問世。更先進的制程帶來了更高的能效比和更強的性能。架構創新:各大廠商不斷推出新的 CPU 架構,如英特爾的 Skylake、AMD 的Zen 等,

91、通過優化指令集、緩存結構等提升性能。異構計算:CPU 在同一芯片上越來越多地集成了 GPU、AI 加速器和安全處理器等專用組件。3D 封裝技術:如 AMD 的 3D V-Cache 技術,通過堆疊更大容量的緩存來提升性能。大小核設計:借鑒移動處理器的設計理念,將高性能核心和高能效核心結合,如英特爾的 Alder Lake 架構。AI 加速:集成專門的 AI 處理單元,以應對日益增長的 AI 計算需求。安全性增強:加入更多硬件級安全特性,如英特爾的 SGX、AMD 的 SEV 等。3.1 通用算力技術分析在具體性能方面,以消費級 CPU 為例,2014 年的頂級 CPU(如英特爾 i7-4790

92、K)單核性能約為 2500 points(Passmark 單核測試),多核性能約為 10000 points。而 2024 年的頂級 CPU(如 AMD Ryzen 9 7950X)單核性能已達到 4000+points,多核性能超過 50000points,10 年間性能提升了約 5 倍。服務器 CPU 的進步更為顯著。2014 年的高端服務器 CPU(如 Intel Xeon E5-2699 v3)擁有18核心,36線程,多核性能約為24000points。而2024年的頂級服務器CPU(如AMDEPYC 9654)擁有 96 核心,192 線程,多核性能超過 150000 points

93、,性能提升超過 6 倍。除了原始計算能力的提升,現代 CPU 還在功耗效率、特定任務加速(如 AI、加密等)、安全性等方面取得了巨大進步。例如,支持 AVX-512 指令集的 CPU 在某些特定計算任務上可以獲得數倍于傳統指令集的性能提升。然而，CPU 的發展也遇到了一些瓶頸,主要包括以下幾個方面:1.摩爾定律放緩:傳統上,晶體管數量每 18-24 個月翻倍的摩爾定律已經難以為繼。制程工藝進入納米級后,面臨量子效應等物理極限。2.功耗墻:隨著晶體管密度的提高,單位面積的功耗不斷增加,散熱成為嚴重問題。這限制了時鐘頻率的進一步提升。3.存儲墻:內存訪問速度的提升遠落后于 CPU 速度,造成 CP

94、U 經常處于等待數據的狀態,影響整體性能。4.指令級并行(ILP)瓶頸:單核中能夠并行執行的指令數量已接近極限,難以通過增加流水線深度等方法獲得顯著性能提升。5.多核擴展性問題:增加核心數量面臨軟件并行化的挑戰,以及核心間通信和同步開銷增加的問題。6.制造成本上升:先進制程研發和生產線建設成本呈指數級增長,限制了性能提升的經濟可行性。展望未來,CPU 的發展可能會繼續朝著以下方向前進:更先進的制程(如 2nm、1nm)、更多的核心數、更高效的異構計算、更先進的 3D 封裝技術,以及可能的新型計算范式(如量子計算輔助單元)等。3.1.2 云計算卸載技術為 CPU 算力提升帶來的優勢從技術角度分析

95、，云計算卸載技術可以為 CPU 算力提升帶來顯著優勢，主要體現在卸載基礎服務釋放 CPU 資源以及卸載后的性能提升兩個方面。1.卸載基礎服務，釋放 CPU 資源 卸載技術將網絡、存儲、安全、管理等基礎服務All Rights Reserved303.1 通用算力技術分析從主 CPU 轉移到專門的硬件 DPU 上，可以帶來如下優勢：減少 CPU 負載：網絡處理：如 TCP/IP 協議棧處理、數據包分類、負載均衡等耗費大量 CPU周期的任務被卸載。存儲操作：如數據壓縮、加密、RAID 計算等 I/O 密集型任務被轉移。安全功能：如加密/解密、防火墻、入侵檢測等計算密集型安全任務被卸載。虛擬化管理：

96、Hypervisor 的部分功能，如設備模擬、內存管理等被轉移。提高 CPU 效率：減少上下文切換：基礎服務由專門硬件處理，減少了 CPU 頻繁在用戶態和內核態之間切換。降低中斷處理開銷：大量 I/O 中斷被卸載硬件直接處理，減輕了 CPU 的中斷處理負擔。優化資源分配：更多 CPU 資源可以分配給核心業務應用，提高應用性能和響應速度。支持更高的虛擬機或容器密度，提升整體計算資源利用率。簡化 CPU 調度：減少了 CPU 需要處理的任務類型，簡化了調度算法，提高調度效率。2.基礎服務卸載后性能提升將基礎服務卸載到專門的硬件不僅釋放了 CPU 資源，還能在性能上超越純 CPU處理：硬件加速：DP

97、U 可以為特定任務提供高度優化的處理能力。網絡處理可以實現線速性能，大幅超越 CPU 軟件處理。低延遲處理：卸載硬件直接與 I/O 設備交互，繞過了操作系統內核，顯著降低延遲。例如，RDMA 技術可以實現微秒級的網絡延遲。一致性能：卸載處理不受主機 CPU 負載波動影響，提供更穩定、可預測的性能。特別適合需要 QoS 保證的關鍵業務應用。能效提升：專用硬件通常比通用 CPU 更節能，特別是在處理特定任務時。整體系統功耗All Rights Reserved313.1 通用算力技術分析降低，提高了數據中心的能源效率。安全性增強：安全功能在獨立硬件上運行，提供了更好的隔離性和防御能力。例如，加密操

98、作在專用硬件中進行，降低了密鑰泄露的風險?？偨Y來說，云計算卸載技術不僅釋放了寶貴的 CPU 資源，還通過專門的硬件加速實現了更高的處理性能。這種方案在提高系統整體效率、降低延遲、增強安全性和改善可擴展性等方面都表現出明顯優勢。隨著卸載技術的不斷發展，我們可以期待看到更多創新應用。3.1.3 IoD 技術為 Hypervisor 卸載提供最佳支撐在現代云計算環境中，虛擬化技術扮演著至關重要的角色。其中，計算系統虛擬化的核心通常是基于 KVM-QEMU 架構的 Hypervisor 系統。這種虛擬層平臺通過 Hypervisor為上層業務提供了靈活且高效的虛擬機環境。然而，傳統的 Hypervis

99、or 系統存在一個顯著的缺點：它需要占用主機相當大比例（通常為 10%20%）的 CPU 計算資源。這種資源占用不僅降低了系統的整體效率，還限制了可用于實際業務的計算能力。為了解決這個問題，IoD 技術了一種創新的解決方案，主要指的是將 Hypervisor 的部分功能卸載到 DPU 上。這種卸載策略的核心思想是將 Hypervisor 分為前端和后端兩個部分：1.前端（運行在主機側）：維護邏輯 CPU 的上下文同步與內核中的 KVM 模塊交互，完成虛擬機 vCPU 和內存的分配與后端的設備模型交互，確定虛擬機 IO 和內存的映射關系2.后端（運行在 DPU 上）：完成虛擬設備的初始化在虛擬機

100、生命周期的各個階段（如啟動、關閉）與前端協同，管理資源的分配和釋放與 Libvirt 交互，實現虛擬機的全生命周期管理如圖3.1所示，這種架構設計帶來的好處是顯著的：Hypervisor 預留的計算資源可以降低到接近”零”提高了系統的整體效率和性能為了進一步優化主機 CPU 資源的利用率，可以考慮對 Host OS 進行精簡：All Rights Reserved323.1 通用算力技術分析圖 3.1:IoD 技術 Hypervisor 卸載方案大部分 IO 操作都由 DPU 直接傳遞給虛擬機，Host OS 幾乎不需要管理 IO 硬件設備Host OS 的主要任務簡化為支持運行虛擬機 vCP

101、U 線程和管理服務代理程序采用更為精簡的初始化系統，進一步減少 Host OS 的資源占用這種優化策略的最終目標是實現主機 CPU 資源占用接近”零”的理想狀態。此外，這種架構還為未來的發展提供了更多可能性：更好的資源隔離：DPU 可以提供更強的安全隔離，減少潛在的安全風險靈活的資源調度：可以根據負載動態調整 DPU 和主機之間的任務分配簡化管理：集中化的 DPU 管理可以簡化整個數據中心的運維工作性能優化：通過專門的硬件加速某些虛擬化功能，可以進一步提升性能目前階段，在 IoD 技術體系中，采用的方式是在服務器側運行一組輕量級組件，一方面響應 DPU 的業務事件，輔助完成與 KVM、LXC

102、等系統交互，實現云計算業務調度。另一方面輔助將服務器側文件系統透傳給 DPU，幫助下沉的云管系統完成對服務器側的業務監控。通過這種方式，可以滿足云業務平臺下沉 DPU 的功能需求。此方法的優勢是可以用最小的改造成本完成業務卸載，劣勢是犧牲了部分處理性能。長遠來看，更具優勢的方案是通過對 Linux 內核的擴展來輔助完成業務下沉功能，建議通過增加內核線程來對 DPU 的請求快速響應，另外通過 eBPF 機制完成對服務器操作系統事件的監控。這種方案可以提供最優的性能，但是需要對 Linux 內核做出較大的改動，相信隨著 DPU 技術規范的完善，后一種方案會快速成熟起來。All Rights Res

103、erved333.2 智算算力技術分析總的來說，基于 DPU 的 Hypervisor 卸載技術代表了虛擬化技術的一個重要發展方向，有望在提高資源利用率、改善性能和簡化管理等方面帶來顯著的進步。3.2 智算算力技術分析3.2.1 GPU 的計算能力發展歷程追溯 GPU 的歷史，要從圖形顯示控制器說起。世界上第一臺個人電腦 IBM5150 于1981 年由 IBM 公司發布，這臺 PC 搭載了黑白顯示適配器（monochrome display adapter，MDA）和彩色圖形適配器（color graphics adapter，CGA），這便是最早的圖形顯示控制器。1999 年，NVIDIA

104、 公司在發布其標志性產品 GeForce256 時，首次提出了 GPU 的概念。它整合了硬件變換和光照（transform and lighting，T&L）、立方環境材質貼圖和頂點混合、紋理壓縮和凹凸映射貼圖、雙重紋理四像素 256 位渲染引擎等，并且兼容 DirectX和 OpenGL，被稱為世界上第一款 GPU。2011 年 TESLA GPU 計算卡發布，標志著 NVIDIA 將正式用于計算的 GPU 產品線獨立出來。憑借著架構上的優勢，GPU 在通用計算及超級計算機領域，逐漸取代 CPU成為主角。如圖3.2總結了 GPU 技術的發展歷程。圖 3.2:GPU 發展歷程GPU 的并行處理

105、結構非常適合人工智能計算，但傳統的基于流處理器的 GPU，其流處理器一般只能處理 FP32/FP64 等精度的運算，而 AI 計算的精度要求往往不高，INT4/INT8/FP16 往往可滿足絕大部分 AI 計算應用。針對 AI 應用，NVIDIA 設計了專用的 Tensor Core 用于 AI 計算，支持 INT4/INT8/FP16 等不同精度計算，RTX 2080 集成了544 個 Tensor Core，INT4 計算能力可達 455 TOPS?；?NVIDIA GPU 的 AI 應用絕大多數情況下應用在服務器端、云端，基于 GPU的 AI 計算往往具有更好的靈活性和通用性，在數據中

106、心、云端等環境下具有更廣泛的適用性。與之相對應的，在分布式應用領域 AI 計算更傾向于獨立的面向特定應用領域的專用芯片，而不依賴于 GPU，如手機、平板等移動端 SOC 都集成了專用的 NPU IP。All Rights Reserved343.2 智算算力技術分析過去 8 年英偉達 GPU 算力的發展如圖3.3所示：圖 3.3:Nvidia 產品演進八年中 GPU 性能卻提高了 1,000 多倍?，F在可以使用 Blackwell 系統在十天左右的時間內訓練出具有 1.8 萬億個參數的大型模型，比如 GPT-4。兩年前使用最先進的Hopper GPU 很難在數月內訓練出數千億級參數的模型。GP

107、U 的未來趨勢有 3 個：大規模擴展計算能力的高性能計算（GPGPU）、人工智能計算（AIGPU）、更加逼真的圖形展現（光線追蹤 Ray Tracing GPU)。3.2.2 GPU 算力提升帶來與網絡吞吐的矛盾現狀由于 GPU 算力提升與網絡帶寬發展的不匹配，在實際使用中，引發了諸多矛盾點，主要體現在以下幾個方面：1.帶寬限制：隨著 GPU 算力的增長，其處理數據的速度遠超于傳統網絡接口的數據傳輸速度。這意味著，即使 GPU 能夠迅速完成計算任務，也可能因等待數據從網絡或存儲系統中傳輸而處于空閑狀態，造成算力浪費。2.數據局部性問題：在分布式計算環境中，數據需要在不同節點間傳輸以供計算。GP

108、U 算力的提升使得數據處理速度加快，但頻繁的數據移動會占用大量網絡資源，影響網絡的總體吞吐量，尤其是在涉及大數據集的應用中。3.通信開銷增加：在并行計算和分布式訓練場景中，GPU 之間的通信成為性能的關鍵因素。隨著 GPU 算力提升與使用 GPU 應用的規模臟張，需要同步和交換的信息量增大，如果沒有高效的數據交換機制，網絡通信延遲和帶寬不足會成為瓶頸。AI 大模型的爆發給云原生智算基礎設施帶來巨大的技術挑戰，帶動智算云底座網絡和存儲架構向大帶寬、低延遲方向演進：1.超高算力需求GPT3 175B 參數，算力需求 3640PFlop/s-day。據 ARK Invest 預測，GPT-4 參數量

109、最高達 15000 億個，則 GPT-4 算力需求最高可達 31271 PFlop/s-day。All Rights Reserved353.2 智算算力技術分析2.超大規模組網AI 大模型/超大模型訓練等智算業務場景需要同時使用數千或數萬個 GPU 卡訓練，AI 服務器集群規模達到 10 萬+。3.超高帶寬單臺 AI 服務器內多塊 GPU 卡間通信，千億參數規模的 AI 模型 AllReduce 通信數據量會達到 100GB+；多臺 AI 服務器之間流水線并行、數據并行及張量并行等網絡通信帶寬需求會達到 100GB+。4.超低時延大規模智算數據同步，要求網絡時延 us 級。以 1750 億參

110、數規模的 GPT-3 模型訓練為例，當動態時延從 10us 提升至 1000us 時，GPU 有效計算時間占比將降低接近 10%，當網絡丟包率為千分之一時，GPU 有效計算時間占比將下降 13%。5.高性能存儲自然語言處理模型 GPT-1 到 GPT-3，模型參數規模從 1.17 億發展到 1750 億，模型層數從開始的個位數逐步發展到成百上千，需要的預訓練數據量也從最初的 5GB發展到 45TB，原始數據集也達到 PB 級。為滿足大模型對存儲的性能和容量需求，外置存儲進一步升級為“性能型存儲+容量型存儲”。6.高效調度AI 算力設施虛擬化管理，提升集群利用率；擁塞/故障快速切換，最大程度降低

111、負載不均和抖動，提升計算并行能力；在 AI 算力資源不變的情況下，通過精準的調度控制，實現更高的 AI 算力性能。3.2.3 無損網絡技術為 AI 訓練帶來的性能提升AI 應用對網絡的需求極為嚴苛，當前主要通過無損網絡（IB、RoCE）承載 RDMA應用，尤其是通過 GDS、GDR 技術實現 GPU 之間以及 GPU 與后端存儲之前的高效互聯。這種實現方式能夠給智算集群的網絡處理性能帶來質的飛躍。1.提升數據傳輸速度通過采用無損網絡技術，如 RoCE、InfiniBand 等，其協議特性相比傳統網絡，能夠實現更低的網絡時延和更高的數據吞吐量，這是得 AI 訓練過程中數據交換更快，從而加速模型參

112、數的同步，減少訓練周期。2.減少通信開銷通過流量控制、擁塞管理、負載均衡等機制，減少數據包丟失、傳輸錯誤和重傳All Rights Reserved363.3 云計算網絡技術分析所造成的額外開銷，是得整個訓練過程更加高效。3.提高算力資源利用率通過 RDMA 網絡內核旁路和零拷貝的特性，避免數據傳輸過程中 CPU 算力的消耗，計算節點可以更長時間地處于活躍計算狀態，而不是等待數據傳輸，從而提升 CPU、GPU 等昂貴計算資源的使用效率。4.增強大規模并行計算的穩定性在大規模分布式訓練中，無損網絡能夠更好地管理網絡擁塞，確保數據包的順序傳輸，這對于保持模型訓練的收斂性和一致性至關重要。5.支持更

113、大模型和數據集無損網絡技術提高了網絡的帶寬和效率，使得處理更大模型和更大數據集成為可能，這對于提升 AI 模型的精度和泛化能力是非常關鍵的。6.降低能耗由于減少了數據傳輸的重試和等待時間，無損網絡技術在提高效率的同時，也有可能降低數據中心的能耗，符合綠色計算的趨勢。圖 3.4:IoD 技術輔助改善擁塞控制算法在無損網絡中，DPU 擔任了至關重要的角色，作為網絡接入點設備，DPU 實現了RDMA 協議棧與擁塞處理技術的硬件卸載，大幅提升了網絡性能。由于擁塞處理的復雜性，現在業界在重點探索軟件定義擁塞控制的新型解決方案，如圖3.4所示，IoD 技術可以在 DPU 側通過軟件定義的方式實現網絡擁塞狀

114、態的監控與擁塞處理控制，將網絡處理與上層業務解耦，為整個擁塞處理機制提供更好的靈活性。All Rights Reserved373.3 云計算網絡技術分析3.3 云計算網絡技術分析3.3.1 云計算網絡是算力連通的基礎云計算網絡是算力連通的基礎，在云計算架構中扮演著至關重要的角色。云計算網絡不僅連接著云數據中心內部的各種計算、存儲和網絡資源，還負責將這些資源與云用戶、云服務以及其他云數據中心相連接。其核心在于通過網絡架構與技術實現資源池化和算力的動態分配。這一過程不僅涉及到計算資源的高效利用，還涵蓋了網絡資源的優化配置，確保數據和計算任務可以在不同地理區域和不同層級的計算節點間流暢傳輸和執行。

115、其中關鍵的技術點包括：網絡架構網絡架構是數字世界的信息流動基礎，它定義了數據如何在不同節點間傳輸、交換和存儲。隨著數據量的爆炸性增長和計算需求的多元化，傳統的網絡架構面臨前所未有的挑戰。一方面，數據的實時性、可靠性和安全性要求網絡具備更高的帶寬、更低的延遲和更強的穩定性；另一方面，計算任務的復雜性和多樣性要求網絡能夠靈活適應，實現資源的高效分配和智能調度。算力分布算力分布則是將計算資源按照需求和場景合理布局的過程。在過去，計算資源往往集中在少數幾個大型數據中心，這種集中式布局雖然有利于資源的統一管理和大規模計算，但也帶來了高延遲、高能耗和單點故障的風險。隨著邊緣計算、霧計算和分布式計算的興起，

116、算力開始向網絡邊緣和用戶側擴散，形成了多層次、多維度的算力分布格局。這種分布式的算力布局不僅能夠降低數據傳輸的延遲，提高數據處理的效率，還能增強系統的彈性和安全性，實現計算資源的就地可用和智能調度。網絡架構與算力分布的協同優化網絡架構與算力分布的協同優化是構建高效計算生態的關鍵。一方面，網絡架構需要根據算力分布的特點和需求進行設計和優化，如采用軟件定義網絡（SDN）、網絡功能虛擬化（NFV）和網絡切片等技術，實現網絡資源的動態分配和智能管理，以適應算力分布的靈活性和多樣性。另一方面，算力分布也需要充分考慮網絡架構的約束和優勢，如利用邊緣計算節點的低延遲特性，進行實時數據處理和決策支持；利用數據

117、中心的強大算力和海量存儲，進行復雜計算和數據分析。云計算網絡通過實現了資源的池化和算力的動態分配，構建了一個高度靈活、可擴All Rights Reserved383.3 云計算網絡技術分析展的算力連通基礎。這一基礎不僅提高了計算資源的利用率和響應速度，還確保了數據的安全性和隱私保護，是現代云計算體系架構中不可或缺的核心組成部分。云計算網絡通過于高速、低延遲的網絡連接和跨域協同技術，支持跨地理區域和跨云環境的計算資源調度和數據傳輸，實現更高維度的算力流動。多云互聯技術使得計算資源可以在不同的云提供商之間靈活調配，增強了算力的連通性和可用性。3.3.2 云計算網關是算力開放的門戶云計算網關是云內

118、外數據和應用交互的門戶，也是優化網絡性能、確保數據安全和實現資源高效調度的重要環節。在高性能云計算場景下，數據的快速傳輸和處理是基本要求。云計算網關通過采用高速網絡接口、智能路由算法、數據壓縮技術等，極大提高了數據傳輸速度，減少了網絡延遲，這對于需要處理大量數據的高性能計算任務如大規模數據分析、深度學習模型訓練等至關重要。云計算網關配備高速網絡接口，如 100Gbps、200Gbps 甚至更高速率的以太網接口，能夠提供極高的數據吞吐量，顯著減少數據傳輸延遲。同時，網關優化傳輸協議，如使用零拷貝技術減少數據在操作系統內核與用戶空間之間的復制，以及采用更高效的網絡協議（如 QUIC、HTTP/3）

119、來加速數據傳輸。云計算網關內置智能路由算法，能夠根據網絡狀況和數據傳輸需求動態選擇最優路徑，避免網絡擁堵，減少傳輸延遲。通過實時監測網絡流量，網關能夠智能地進行流量控制，平衡負載，確保數據傳輸的穩定性和高效性。云計算網關通過數據壓縮技術，能夠在數據傳輸前對其進行壓縮，減小數據包的大小，從而減少傳輸時間和帶寬消耗。這在處理大量數據或長距離傳輸時尤為重要，可以顯著提高傳輸效率。此外，網關還優化傳輸策略，如采用預取技術預測數據需求，提前加載數據到緩存，減少等待時間。3.3.3 高性能云計算需要網絡卸載進行性能提升高性能云計算旨在提供強大的計算能力以處理大規模數據集、執行復雜的計算任務和滿足實時性要求

120、。然而，隨著數據量的激增和計算需求的多樣化，網絡性能成為了制約高性能云計算發展的關鍵因素之一。網絡卸載作為一種關鍵的優化技術，通過將數據包處理、加密解密等網絡密集型任務從 CPU 卸載至 DPU 等專用硬件，顯著減輕 CPU 負擔，提升數據處理速度和網絡吞All Rights Reserved393.3 云計算網絡技術分析吐量，還通過硬件加速降低了延遲，增強了安全性，從而有效解決了高性能云計算中的網絡性能瓶頸，助力其實現更高效、更安全、更具成本效益的網絡傳輸與處理能力。3.3.3.1 網絡卸載的概念與原理網絡卸載（Network Offloading）是一種網絡技術，其核心理念是將原本由主機的

121、中央處理器（CPU）執行的網絡數據處理任務，轉移給 DPU 設備執行。這一過程的主要目的是為了減輕 CPU 的負擔，提高網絡數據處理的效率和速度，從而提升整個系統的性能。在傳統的網絡數據處理流程中，當數據包到達主機時，網卡會將數據包傳遞給CPU，CPU 隨后在操作系統內核中對數據包進行解析、處理和轉發。然而，隨著網絡流量的不斷增大和網絡應用的復雜化，這樣的處理方式可能會導致 CPU 的資源過度消耗，影響系統的響應速度和整體性能。網絡卸載技術利用 DPU 的計算能力，將數據包的接收、解析、加密/解密、壓縮/解壓縮、流量控制、負載均衡等網絡處理任務從 CPU 上卸載下來。這樣一來，CPU 就可以專

122、注于運行應用程序和執行更為復雜的計算任務，而不再需要頻繁地處理網絡數據包，從而提高了 CPU 的使用效率和系統的整體性能。網絡卸載通過優化網絡數據處理流程，不僅提高了系統的性能和效率，還增強了安全性，降低了成本，提升了資源分配的靈活性，對于需要處理大量網絡數據、實時通信和高并發訪問的系統尤為重要，是高性能云計算網絡架構中優化性能和資源利用的關鍵技術之一。3.3.3.2 網絡卸載有助于云網絡性能提升網絡卸載通過將特定的任務從 CPU 轉移到專用的硬件設備上執行，以提高系統的整體性能和效率，特別是在吞吐量方面。在高性能計算、云計算、網絡處理等場景中，硬件卸載能夠顯著提升數據處理能力和網絡傳輸速度。

123、網絡卸載對整體性能的影響主要表現在以下幾個方面：減輕 CPU 負擔：在服務器和網絡設備中，網絡數據包的處理如接收、解析、轉發、加解密等會占用大量 CPU 資源，導致 CPU 成為系統瓶頸。網絡卸載技術將原本需要 CPU 處理的網絡任務，轉移到專用硬件上執行，極大地釋放了 CPU 的計算資源，使 CPU 可以專注于更復雜的計算任務，提高了 CPU 的利用率和系統的整體性能。All Rights Reserved403.3 云計算網絡技術分析降低網絡延遲：DPU 被設計用于加速網絡任務，處理速度遠超軟件實現。數據包在網絡間傳輸時，通過旁路 CPU 的直通技術，減少數據包在 CPU 中的停留時間，提

124、高傳輸速度。通過網絡卸載，數據包在網絡中的停留時間大幅減少，顯著降低了網絡延遲，這對于實時性要求高的應用場景相當關鍵。增加吞吐量：DPU 通常采用并行處理結構，具有高度并行處理能力，能夠同時處理多個數據包，對比 CPU 的串行方式有更高處理能力，極大提升包處理效率和網絡吞吐量。DPU內置多個硬件隊列，可以將數據包根據其特征分類到不同的隊列中，如根據 IP 地址、端口號或協議類型。這種流分類既提升了包處理的并發度，還有助于實現高級 QoS 策略，確保關鍵數據流獲得優先處理。3.3.3.3 IoD 技術是云計算卸載技術的主要實現方案IoD 作為一種新方案，有效應對了傳統 IaaS 架構面臨的挑戰。

125、如圖3.5所示，該架構將網絡虛擬化的任務下沉到 DPU 內，提供了基于硬件的網絡設備虛擬化，以及虛擬交換與路由的能力。圖 3.5:IoD 網絡卸載加速原理在網絡設備虛擬化方面，該架構充分利用 DPU 的 SR-IOV 技術，直接在硬件層面提供高性能虛擬網絡設備(VF)，充分滿足大規模虛擬機及容器環境的網絡需求。另外，通過將原本宿主機承擔的 VirtIO 后端處理邏輯下移至 DPU，并融合 vDPA 技術，該架構不僅為虛擬機和容器提供了一個高性能、標準化的 VirtIO 設備接口，還在確保卓越性能的同時，強化了虛擬機熱遷移能力，提升了云環境的靈活性與可靠性。在虛擬交換與路由方面，DPU 內置了高

126、性能網絡交換處理單元（NP/eSwitch），不All Rights Reserved413.4 云計算存儲技術分析僅支持用戶按需構建靈活多變、功能完備的 SDN 網絡架構，而且在虛擬功能（VF）之間乃至 VF 與外部網絡的交互中，實現了高效的數據包轉發與處理。與 OVS 類似，DPU對數據包的處理也分為“快路徑”（Fast Path）與“慢路徑”（Slow Path）：快路徑直接經由 DPU 硬件加速完成，確保極低延遲與高吞吐量；慢路徑則涉及復雜的計算與決策，由 DPU 內集成的 CPU 單元進行處理。為確保從傳統 IaaS 架構平滑高效過渡到 IoD 架構，如圖3.6所示，DPU 設計上普

127、遍兼容通過 OVS 流表卸載或集成 Linux TC Flower 規則的配置方式，以此靈活編程和優化DPU 的數據轉發邏輯，實現無縫遷移與高性能網絡管理。圖 3.6:IoD 云計算系統對接示意圖3.4 云計算存儲技術分析3.4.1 單一存儲技術方案無法滿足云計算要求在云計算中，不同業務場景對存儲的需求存在顯著差異，因為每種業務都有其獨特的特點和數據處理方式。這種差異性導致了單一存儲技術方案無法滿足所有業務需求的情況。首先，對于需要高性能和低延遲的在線交易處理業務，如金融交易系統，存儲系統需要能夠快速響應請求并確保數據的實時性和一致性。這種業務場景對存儲系統的讀寫速度和數據保護要求非常高。Al

128、l Rights Reserved423.4 云計算存儲技術分析其次，對于大規模數據分析和處理業務，如人工智能模型訓練和大數據分析，存儲系統需要具備高容量、高吞吐量和良好的擴展性，以支持海量數據的存儲和處理需求。在這種場景下，存儲系統的數據處理能力和存儲效率至關重要。另外，對于需要長期數據存儲和備份的業務，如歸檔數據和合規性數據存儲，存儲系統需要具備高可靠性、數據保護和長期保存能力，以確保數據的安全性和可靠性。這種業務場景對存儲系統的數據保護和數據完整性要求較高。綜上所述，不同業務場景對存儲的需求差異主要體現在性能、容量、可靠性和數據處理方式等方面。因此，為了滿足云計算中多樣化的業務需求，需要

129、結合多種存儲技術方案，以提供針對不同業務場景的定制化存儲解決方案，從而更好地支持各類業務的存儲需求。這種多元化的存儲技術方案選擇能夠更好地適應云計算業務的多樣性和復雜性，提升整體業務的效率和靈活性。3.4.2 云存儲需要引入新技術突破性能限制在云計算業務模型中，文件存儲、對象存儲和塊存儲在不同的業務場景下通常會使用不同類型的存儲協議來實現數據存儲和訪問。文件存儲：適用于需要以文件為單位進行管理和訪問的場景，如共享文件、應用程序數據存儲等，通常會使用網絡文件系統（Network File System，NFS）或者服務器消息塊（Server Message Block，SMB/CIFS）等協議來

130、實現文件級訪問和共享。對象存儲：適用于存儲大規模非結構化數據，如圖片、視頻、文檔等，并具有高擴展性和容量無限制的特點。通常使用基于 HTTP/HTTPS 的 RESTful API 作為存儲協議，如 Amazon S3 API、OpenStack Swift API 等，用于上傳、下載和管理對象數據。塊存儲：適用于需要高性能、低延遲和數據一致性要求較高的場景，如數據庫存儲、虛擬機存儲等。塊存儲通常使用協議如 iSCSI（Internet Small Computer SystemInterface）或者 NVMe-oF（NVMe over Fabrics）來提供塊級訪問，以便直接將存儲設備映射

131、到主機并提供塊級數據傳輸。通過選擇適合不同存儲類型的存儲協議，可以更好地滿足云計算業務模型中文件存儲、對象存儲和塊存儲的各自需求。但是隨著云計算應用類型的發展，尤其是像 AIGC這一類應用的爆發，對包含塊存儲、文件存儲以及對象存儲都提出了更高的性能要求。比如百萬級別的單磁盤 IOPS 需求，微秒級的存儲時延需求等。因此需要綜合考慮業務場景、性能要求和數據訪問方式，通過引入 E-BoF 存儲后端、CAS 容器附加存儲、DPUAll Rights Reserved433.4 云計算存儲技術分析存儲加速等新技術來綜合提升存儲系統性能，才能夠為應用類型的發展提供完備的存儲能力支撐。3.4.3 IoD

132、技術可以提升存算分離架構下的處理性能在復雜的云計算場景中，DPU 在存儲方向上扮演關鍵角色。DPU 通過存儲加速、數據處理、數據安全和智能存儲管理等功能，優化存儲系統性能和效率，適用于不同云計算業務需求。結合云計算業務，DPU 可提供高性能存儲加速，滿足對速度和響應時間要求高的應用；其數據處理功能減輕主機 CPU 負擔，提高整體計算效率；其數據安全功能保護云端數據免受攻擊，確保數據隱私和完整性；其智能存儲管理功能優化資源利用率，提高云端存儲系統的可靠性和可擴展性。通過與網絡存儲設備集成，DPU 實現高效數據傳輸和存儲管理，為云計算業務提供高性能、安全可靠的存儲解決方案，滿足多樣化的存儲需求。為

133、應對傳統 IaaS 架構中存儲服務效率低下的困境，IoD 架構從兩方面進行策略優化。首先，它將網絡存儲協議處理任務從宿主機 CPU 卸載至 DPU，由 DPU 直接對接遠程存儲系統，并通過 PCIe 接口為宿主機呈現遵循標準驅動協議的 NVMe 或 VirtIO 塊設備，這一遷移顯著減輕了宿主機 CPU 的負擔。其次，該架構利用 DPU 集成的 RDMA 能力，利用內核旁路與零拷貝技術，顯著增強了 DPU 與存儲后端間的數據交互效率，實現了數據傳輸的高速直通，規避了傳統 TCP/IP 協議棧中的性能瓶頸。如圖3.7所示，IoD 架構下的存儲應用，不僅宿主機 CPU 資源得以釋放，更專注于業務處

134、理，而且憑借 RDMA 的高效數據傳輸能力，確保了存儲服務的高性能表現，為云環境下的數據密集型應用提供了強有力的支撐。在設備虛擬化方面，IaaS 存儲領域也沿襲 IaaS 網絡虛擬化的優化思路，基于 VirtIO后端處理邏輯的下沉至 DPU，并結合 vDPA 技術，為虛擬機和容器環境打造了一致且高效的 VirtIO 塊設備接口。這一設計不僅確保了存儲訪問的高性能表現，還通過標準化接口強化了虛擬機的熱遷移特性，提升了云平臺的整體靈動性和可靠性。存儲的數據安全直接關系到信息資產的防護與合規問題。在實施存算分離架構的場景下，為維護數據傳輸的隱私和完整，加密操作需在發起端（Initiator）執行，筑

135、起數據安全的第一道屏障。傳統 IaaS 架構下，數據加解密依賴宿主機 CPU 的軟件處理，盡管普適性強，但顯著消耗 CPU 資源，拖累運算效能，尤其在處理大數據應用時，性能瓶頸更為突出。IoD 架構則展現出變革優勢：數據加密處理下沉至 DPU 硬件層面，實現實時隨路（inline）加密處理，大幅減輕了對 CPU 的依賴。借助硬件加速技術，不僅All Rights Reserved443.5 云計算安全技術分析圖 3.7:IoD 云計算存儲卸載圖加密效率顯著提升，數據安全性亦得到增強，為云存儲帶來更高效、穩固的解決方案。綜上所述，DPU 在文件、對象和塊存儲方面的改進和提升，為云計算業務提供了更

136、高效、更安全、更可靠的存儲解決方案，滿足不同業務場景下對存儲性能和管理的多樣化需求。從存儲網絡協議的角度看，將 NVMe-oF 卸載到 DPU 中可以為存儲底層網絡帶來更高性能和低延遲，更好的系統擴展性等優勢。3.5 云計算安全技術分析3.5.1 紛繁龐雜的云計算安全體系和傳統數據中心業務環境相比，云計算環境租戶網絡邊界模糊，共用基礎網絡結構，安全隔離依賴于策略管理，云服務廠商的安全管理可控度低，數據的保密性面臨更多的安全風險，這些問題導致云計算安全體系更加紛繁龐雜。業務系統的復雜度決定了網絡安全體系的復雜度。通常情況下，網絡安全設計會從安全物理環境、安全通信網絡、安全區域邊界、安全計算環境、

137、安全管理中心等多個維度打造立體化安全防護體系，安全合規是基礎底線，上層業務安全需求層出不窮。云基礎設施由云廠商建設，云廠商或云服務商為云數據中心基礎設施提供安全保障，確保不同租戶群之間的安全隔離，云租戶基于云計算平臺自建業務，為自身整體安全負責。All Rights Reserved453.5 云計算安全技術分析除了傳統的網絡安全防護之外，云計算安全防護體系還需要關注虛擬邊界安全、虛擬化安全、容器安全、鏡像和快照保護、數據完整性和保密性、虛擬機之間或容器之間的安全檢測，云服務商還需要對云租戶的網絡、客戶系統、數據操作等進行審計。計算環境比網絡邊界安全更為復雜，安全防護設施相對薄弱，計算環境的安

138、全問題已經成為云計算安全體系中的短木板，亟待加強。在確保安全、性能、效率的前提下，幫助客戶打造高性能的云計算環境，保障業務持久穩定的運行，是打造高性能云計算安全系統的重中之重。3.5.2 安全處理性能提升需要異構算力加持從需求端分析，隨著云計算、大數據、視頻云聯網、人工智能的高速發展，網絡流量負載呈指數級增長，數據已經成為資產，數據的重要性日益突出。另一方面，云計算環境的網絡和數據安全風險日益嚴峻，網絡安全攻擊事件時有發生，安全防護需求不斷增加。網絡安全處理機制需要對網絡報文進行細粒度的處理，需要對全流量進行解析和檢測分析，在此基礎上執行一系列復雜操作，例如應用層協議識別、威脅檢測、關聯分析、

139、字段轉換、負載均衡、網絡協議封裝與剝離、數據加密與解密等，這些流量處理動作非常消耗服務器算力，為了滿足高性能安全需求，服務器大部分甚至全部算力會被安全功能消耗掉，這將導致業務應用工作負載沒有算力可用。網絡接口帶寬不斷提升，對于 100GE、200GE 高速網絡場景，即使將全部服務器算力用于安全功能負載，也無法滿足高性能安全需求。通用服務器主機受限于底層軟硬件架構，無法突破安全性能瓶頸，借助網絡處理芯片的異構算力來提升安全性能，已成為業內共識。DPU 成為高性能云計算異構算力的關鍵組件，將高算力消耗的安全組件從主機側下沉到 DPU，實現業務應用工作負載和安全基礎設施工作負載分離，是當前云計算安全

140、體系主流趨勢。讓寶貴的服務器算力資源聚焦于業務應用工作負載上，由專用 DPU完成高消耗的安全基礎設施工作負載，可以為客戶提供更加安全高效的業務體驗。借助強大的安全異構算力，DPU 可以對一系列安全功能進行硬件加速，而不會增加主機 CPU 算力消耗，這些功能包括防火墻訪問控制、動態加解密、協議識別、威脅檢測、可信計算等方面。All Rights Reserved463.5 云計算安全技術分析3.5.3 安全卸載技術在高性能云安全中至關重要安全卸載技術可以將服務器承載的高消耗安全工作負載卸載到 DPU 中，使主機將寶貴的算力真正聚焦在高性能應用服務上，所以安全卸載技術在高性能云安全中至關重要。安全

141、卸載技術需要具有如下功能和特點：支持安全卸載技術，充分釋放服務器主機算力。提供面向租戶的貼身防護，云內虛機/容器安全隔離，包括東西向和南北向流量可以實時檢測和阻斷。支持分布式部署，部署在海量安全計算環境中，不額外增加機房空間。具有靈活可編程的網絡處理器，實現網絡解析和編輯。采用專用硬件加速器，具有高性能安全處理能力。支持控制面、數據面的靈活卸載方式，滿足客戶各種應用場景的安全加速需求。支持功能彈性可擴展，網絡、安全可以隨時獲取，靈活可擴展，安全隨著業務變化而變化。具有通用的產品適配性，即插即用的驅動和封裝接口，靈活對接主流的服務器硬件、操作系統、OVS、云平臺等，具有良好的兼容性。3.5.4

142、DPU 將成為可信計算服務中的重要組件由于漏洞缺陷層出不窮，傳統基于先驗特征庫的檢測方式，無法有效應對不斷升級的黑客攻擊，無法有效保障業務應用的安全，數據資產被攻擊、業務被中斷等安全事件時有發生。國家網絡安全等級保護 2.0 強化了可信計算功能要求，把可信驗證列入各個級別并逐級提出各個環節的主要可信驗證要求，可基于可信根對設備的系統引導程序、系統程序、重要配置參數和應用程序等進行可信驗證。硬件可信根可以實現核心密鑰的安全存儲，不可導出，主機受保護數據離開環境無法解密?？尚庞嬎阃ㄟ^逐級信任度量機制構建主機從固件到 OS 再到應用的信任鏈，構建主機內核級信任鏈，對所有加載運行的程序代碼進行完整性度

143、量，確保系統運行的所有程序代碼及配置都處于可信狀態，抵御已知/未知惡意代碼攻擊?；诳尚庞嬎慵夹g，結合可信根確保系統運行程序可信、防止平臺身份假冒、密封數據防盜竊。DPU 可以通過內置硬件可信根芯片，支持 TRNG 真隨機數發生器、SM2/SM3/SM4密碼算法，支持安全固件更新、加密存儲、啟動度量可信，增強 DPU 卡自身的可信安全。All Rights Reserved473.5 云計算安全技術分析DPU 通常以 PCIe 接口與服務器主板相連，通過集成硬件可信根芯片，以國產密碼為基礎，在提供安全功能卸載的同時，對服務器主機的業務系統進行可信驗證，包括啟動度量、OS 可信、應用程序全信任鏈

144、可信，提升整體安全防護能力。圖 3.8:IoD 云計算可信計算服務如圖3.8所示，DPU 集成可信計算能力，有利于積極推進可信計算安全體系在高性能云計算關鍵信息基礎設施中的應用，成為可信計算一種創新性的新實踐新方式，筑牢網絡安全的堅實屏障。3.5.5 IoD 技術助力構建“零信任”網絡傳統網絡安全模型圍繞網絡邊界建立安全防御體系，內部往往被視為受信任區域（Trust Zone），這種模型無法滿足日益復雜多變的安全環境?；诹阈湃伟踩枷牒桶踩Ｐ陀纱苏Q生。零信任是一種以安全性為核心的模型，核心思想是網絡邊界內外的任何訪問主體包括用戶、設備、應用等，在未經過驗證前都不予信任，需要基于持續的驗證和

145、授權建立動態訪問信任，始終保持“永不信任、始終驗證”的原則。在云計算環境中，尤其是面向分布式、容器化應用程序的多租戶，對于東西向的網絡流量，租戶的網絡安全存在空白。DPU 的軟硬件架構非常適合云安全零信任網絡，為傳統網絡安全架構提供新思路、新實踐，將成為下一代云安全重要的基礎構成。DPU 零信任安全架構優勢在于其分布式的、內嵌在計算節點的“關口”物理位置，可以承擔零信任安全網關的角色，將可信任網絡邊界下沉到計算節點，為計算節點提供 inline 模式的網絡流量檢測和阻斷能力，為租戶提供東西向和南北向網絡流量安全防護；DPU 支All Rights Reserved483.6 云計算服務治理技術

146、分析持強大的網絡編程芯片、密碼算法芯片等，充分卸載主機 CPU 算力，可以為用戶進行多層次的驗證和授權，對訪問主體授于最小的訪問權限，并支持全鏈路加密和持續監控，有效防止內外部的網絡威脅?；?DPU 的零信任架構，核心能力為業務應用工作負載和基礎設施工作負載的分離，基于 DPU 架構對訪問主體進行持續驗證和授信，DPU 為上層安全應用負載提供強大的安全基礎設施加速能力，用戶在設備、應用程序、數據的每個接觸點上構建可信驗證，對訪問主體授予最小訪問控制權限，并對全鏈路訪問進行數據加密，網絡流量解析與監控保護。在如圖3.9所示的 IoD 架構下，通過將加解密操作轉移到 DPU 的專用硬件模塊中執行

147、，不僅釋放了宿主機 CPU，還借助 DPU 內置的 CPU 來高效處理控制層面的邏輯，實現了數據處理與安全管理的高效協同。這一設計不僅優化了資源利用，還通過硬件加速保障了數據安全處理的高性能，為云環境下的零信任安全實踐提供了堅實的基礎。圖 3.9:IoD 云計算安全卸載綜上，作為下一代云安全的基礎構成，零信任安全的應用離不開 DPU 基礎設施，借助 DPU 的各種硬件加速引擎和網絡可編程引擎，從底層硬件信任根開始構建逐層的安全應用功能，憑借與業務和安全應用的深度融合，與云控制平臺的分布式安全策略聯動，最終實現面向云計算場景的零信任網絡安全體系。DPU 零信任安全架構，可以促進零信任安全技術和應

148、用的快速發展。All Rights Reserved493.6 云計算服務治理技術分析3.6 云計算服務治理技術分析3.6.1 服務治理技術是云原生時代的重要基礎微服務架構已經成為現代軟件開發的重要趨勢。在微服務架構中，大規模應用被拆分成多個微服務，每個微服務獨立運行在不同的容器中。微服務架構具有模塊化、獨立部署、松耦合、高可用的特點。和傳統的單體式應用相比，微服務架構具有一系列優勢，但是也面臨一些挑戰。微服務架構中的每個微服務都需要注冊和監控，微服務自身需要支持重試和重傳、服務發現等功能，微服務組件之間需要通信。如果每個微服務都自己去處理這些類似的工作，代價較大。假如微服務使用了不同的編程語

149、言（如：C、Java），也難以共享這些功能組件。同時微服務架構屬于分布式系統，存在分布式系統所面臨的一系列問題，如：運維工作量大，運維成本高。因此，微服務架構需要進行高效的服務治理。服務網格能夠解決微服務架構的痛點，是微服務架構的新方向。在此之前，一些微服務框架（例如：Spring Cloud、Dubbo）曾被用來進行服務治理。和前期的微服務框架相比，服務網格具有明顯的優勢。服務網格可以同時支持多種技術棧，比如部分微服務模塊用 Java 來開發，其余則可以使用 Golang 開發。業務開發人員只需關注自己的業務邏輯部分，其余服務注冊、發現以及追蹤治理都交給服務網格來完成。最終實現“無感、無侵入

150、”的效果。另外，云原生時代的眾多技術，如 Serverless 等均是以服務治理技術為基礎發展出來的，因此服務治理能力也是高性能云計算的重要衡量標準。3.6.2 傳統服務治理技術的局限性在云原生場景中，引入服務網格解決了微服務架構的一些痛點，但也帶來了新的挑戰：服務網格的資源開銷大每個微服務 POD 都需要運行一個 Sidecar 容器，默認情況下每個 Sidecar 容器占用2 個 CPU 核。假設一臺服務器運行了 60 個 POD，那么 Sidecar 容器將額外占用 12個 CPU 核。業務轉發時延高應用程序的每個數據包都必須通過 Sidecar 容器，數據包需要在應用程序和內核之All

151、 Rights Reserved503.7 IaaS on DPU(IoD)高性能云計算全景間往返多次。3.6.3 IoD 技術帶來新的服務治理模式圖 3.10:IoD 服務治理卸載如圖3.10所示，在 IoD 技術體系下，可以將原有體系中用來做服務治理的 Sidecar 容器下沉到 DPU，同時采用“集中式”網關的模式來完成服務，這一思想也契合了當前服務治理的技術發展方向，如 Cilium Service Mesh 與 Istio Ambient 等都采用了類似的方案。同時結合主機側協議棧 PRELOAD 技術與 DPU 優化的 Data Plane 設計，可以有效降低服務治理業務的處理時延

152、。3.7 IaaS on DPU(IoD)高性能云計算全景總的來說，IoD 技術是從云計算架構視角出發，結合 DPU 的實際能力，嘗試將云計算的網絡、存儲、安全、管控、運維等盡可能多的能力卸載下沉到 DPU，在盡量保證現有技術體系能夠平滑演進的同時，又能夠為云計算帶來巨大的性能提升?；?IaaS onDPU(IoD)技術的高性能云計算的全景圖如圖3.11所示：All Rights Reserved513.7 IaaS on DPU(IoD)高性能云計算全景圖 3.11:IoD 技術全景圖All Rights Reserved52第 4 章 高性能云計算系統架構持續演進4.1 高性能云計算可觀

153、測性建設4.1.1 可觀測建設是云計算運維體系的關鍵環節隨著云計算多租戶、虛擬化、云原生等應用的普及，傳統的從交換機等網絡設備側插入獨立導流監控系統的方式已經無法完整地、有區分度地監控那些部署在云中的業務系統的健康程度。上云的業務越來越多，云計算所能提供的業務相關的可觀測性也逐漸被重視起來CNCF 將可觀測性稱為云原生時代的必備能力，而 Gartner 也將可觀測性列為“2023 年十大技術趨勢”之一?？捎^測性不是某種具體的工具或技術，而是更偏向于是一種能力或理念，是指運行中的系統可被調試的能力，這種可調試能力的核心就是能夠在系統運行時，有足夠的工具、方法，能夠從多個角度對其進行觀察、理解、詢

154、問、探查和調度。早期可觀測性建設僅僅只是獲取系統相關的數據并用之進行系統級的運維監控，更多的是用于發現問題；而隨著業務系統的多樣性、復雜度的增加，尤其是基于“云原生化”微服務趨勢，業務系統的部署更加靈活和抽象，此時，僅憑某一個角度、某一組數據或者純人工操作，無法滿足系統運維的需求。這種情況下，不僅是業務系統本身的軟件和成千上萬的進程，其所依賴的云計算基礎設施資源的狀態，如網絡負載、存儲效率、安全漏洞等等，以及分布式部署于多云環境中的子系統，都需要被觀測到。圖 4.1:云計算可觀測體系4.1 高性能云計算可觀測性建設如圖4.1所示，可觀測的部分從最早的服務器級別、個別指標的觀測，到現在需要進行數

155、據流、數據包級別的觀測，還要區分不同服務器、不同租戶、不同 POD，粒度更細，復雜度更大。同時，開發運維人員還要通過這些觀測到的數據，再進一步地進行人工或自動化的判斷、調整、優化等工作，以便讓業務系統更好、更安全地工作?？捎^測性目前已成為能否成功管理部署在云計算中的復雜分布式系統的重要組成部分，也是 DevOps 的關鍵。4.1.2 當前觀測方法所面臨的難題在云計算中，當前常用的觀測方法有兩種：1.自行搭建運維監測系統通過軟件、監測度量工具包和配套的 agent 代理，實現對構建在云計算中的業務系統全方位的、自動化、可定向調試的觀測。這種方式通常在大型互聯網云計算廠商的全自研云計算平臺中被采用

156、原廠有足夠的研發能力，按照監測系統的設計實現對云計算平臺進行大規模的改造，并與監測系統對接。例如：需要針對可觀測設計所定義的各項業務系統健康指標（建鏈數、吞吐、CPU 占用率、帶寬、接收報文特征、拓撲及連通狀態等等），定義不同的反饋消息格式；而這些指標的來源，也需要通過在虛擬機、裸金屬或者容器的操作系統中，插入自研的與之配合的 agent 代理插件來反饋給監測系統，再在監測系統中實現數據的整合、分析和判斷結論。由此可見，這種方式并不是一種通用的可實現方式，研發投入成本高昂，且對云租戶的操作系統有較為明顯的侵入性（非純凈操作系統）。另外，由于云計算尤其是虛擬化、容器化的復雜性，例如各業務系統不同

157、模塊所在的虛擬化計算節點之間互通，需要經過多次的地址轉換，網絡信息需要與云平臺的租戶、網絡等信息相對比、結合，才能呈現出完整的（針對云平臺運維）和細粒度的（針對租戶業務運維）可觀測性圖譜。當云計算中的業務數量、數據量越來越多時，整個系統尤其是是 agent 代理，對服務器算力資源的占用將十分巨大，增加了云廠商、云用戶的資源開銷，造成成本上升。2.引入第三方運維監測系統云平臺對接第三方的定制化設備和配套軟件，實現對構建在云計算中的業務系統全量數據、可進行業務網絡分析和調試的觀測。這種方式通常將第三方的軟硬件設備旁掛在交換機側，最早只能監測到經過交換All Rights Reserved544.1

158、 高性能云計算可觀測性建設機的數據，比如整個服務器的出入流量，在監測系統軟件中再進行深度的解析，得到局部的分析數據。但隨著虛擬化、云原生的大量使用，虛擬化網絡的粒度細化到服務器內部，導致很多業務系統的流量并不會上送到交換機，而是在服務器內部轉發和處理，此時，這個監測系統就無法看到完整的數據，得到的分析結論的價值也很有限。于是，監測系統逐漸與云平臺進行簡單的配合，通過服務器上流表的配置實現全流量鏡像，并引流到監測系統旁掛的交換機，進入到監測系統中。這種方式雖然對云廠商的人力投入要求較少，而且沒有深層的系統侵入性，但是引入第三方監測系統本身也是一筆不小的支出。而且隨著云計算復雜度的增加，對安全性要

159、求的提高，云廠商、監測系統廠商需要持續的配合、調整，以適應最新的要求。同時，流量鏡像實際是對云平臺中所有流量的一份或多份復制，隨著業務系統數量和流量的增長，不僅會消耗大量的系統資源、網絡資源，第三方監測系統的所需要的資源也將不斷升級擴容，造成成本的增加?？梢?，如何以最有效的方式和最優性價比，將云計算基礎設施與租戶業務系統、分布式微服務應用等相結合，實現有價值的對于租戶業務系統狀態的可見性以及自動化分析、調度能力，仍然是當前云計算可觀測性的難題。4.1.3 高性能云可觀測性建設建議CNCF 明確定義了可觀測性三大支柱：度量(Metrics)、日志(Logging)和鏈路追蹤(Tracing)。在

160、新一代高性能云計算基礎設施中，可以理解為：通過多維度、全方位的參數實現完全的度量，通過可回溯、完整記錄的日志，通過多樣化、可定義的鏈路追蹤工具和方法，共同融合交互，從而實現對部署在云上的業務系統的可觀測性。云計算的本質之一就是多租戶共享資源。隨著租戶和業務數據量增多，業務系統復雜度也線性增長，導致需要進行觀測的維度更復雜、更多元，對追蹤探測的手段的要求也越來越高，這勢必會增加觀測行為所需要的算力資源、網絡帶寬、系統侵入深度等，需要探索一種新的觀測方案。一種高性能且極具性價比的方案是，在所有數據必經之路的 DPU 上，順便實現對數據的捕獲、分析等。這種方案有如下優勢：不會增加云網絡的額外開支，無

161、需進行報文復制和流量鏡像，DPU 原生的就可以區分租戶網絡、租戶業務網絡并形成拓撲信息。All Rights Reserved554.2 輕量級虛擬化系統演進架構革新通過 DPU 本身的數據處理能力，可以配合監測系統完成對租戶業務系統的部分狀態的分析工作，降低監測任務對服務器的消耗，簡化監測系統的設計復雜度。結合 DPU 對網絡的管理、探測能力，可天然支持多種對于業務系統的鏈路追蹤手段、工具，用原生的網絡工具實現原生的鏈路追蹤。對租戶操作系統零侵入，所有對流量、報文的操作和辨識都由 DPU 完成，租戶可以放心使用純凈操作系統，免除 OS 額外插件帶來的擔憂。eBPF 技術和靈活可編程 DPU

162、的成熟，使這種方案成為可能。eBPF 本身就是原生的內核技術，Linux 內核天然支持，所以也無需額外中斷來進行狀態觀測。而且 eBPF可以將對數據包的處理從內核空間改為用戶空間，即外部實現按需多樣的沙箱式編程，通過回調函數觸發以字節碼注入內核的原生操作。eBPF 及相關的監控程序可以卸載到DPU 硬件上，從而實現更高的性能。高性能云可觀測性方案可達到的效果如圖4.2所示：圖 4.2:基于 IoD 技術構建的可觀測體系當然，業界對云計算可觀測性的探索一直沒有停息。新技術新產品的出現，也給云計算可觀測性提供了更多的實現方案和路徑，有助于為云用戶提供更加經濟實用的業務可觀測性的能力。4.2 輕量級

163、虛擬化系統演進架構革新4.2.1 輕量級虛擬化技術演進路線虛擬化技術目前呈現如圖4.3所示的態勢：容器是最輕量的虛擬化技術，但是由于其技術實現限制，隔離性、安全性無法滿足所有的業務場景。虛機是隔離性安全性最好的，但是在資源損耗、啟動速度等方面落All Rights Reserved564.2 輕量級虛擬化系統演進架構革新圖 4.3:安全容器技術后于容器。因此，出現了安全容器這個折衷方案，安全容器在容器中運行一個輕量級Hypervisor，使得兼顧隔離性安全性和效率。安全容器技術是目前發展勢頭最好的輕量級虛擬化技術。但是輕量級虛擬化技術并不單指安全容器，目前，在虛機和安全容器之外，還有眾多的輕量

164、級虛擬化技術都還在快速演進。輕量級虛擬化的“輕量”主要體現在以下方面：虛擬化本身的資源損耗低。創建銷毀快，能夠接近容器的彈性。目前有兩條主要的技術路線：輕量 Hypervisor：拋棄 Xen、QEMU 這種大而全的 Hypervisor，針對具體場景，優化 Hypervisor 的實現，降低虛擬化損耗，加快啟動銷毀速度。典型的有 AWS 開源的 Firecracker，專用于 FaaS 場景，可在 100ms 內啟動，單臺服務器上可啟動數千個輕量虛機。Intel 主導的 Cloud Hypervisor 也能夠在接近 100ms 的時間啟動虛機。硬件卸載：通過 DPU 或硬件加速卡等專用硬件

165、，把復雜的設備模擬從 Hypervisor中解放出來，使得 Hypervisor 進一步輕量，同時虛擬化效率和性能獲得提升。典型的有 AWS 的 Nitro System 和阿里云的神龍系統。4.2.2 輕量級虛擬化技術為云計算帶來新氣象安全容器結合了容器的彈性和虛機的隔離及安全性優勢，可滿足 FaaS 等容器方式無法滿足的業務場景。而硬件卸載的輕量虛擬化技術則徹底顛覆了 IaaS 的基礎架構，使得傳統的 Hypervi-sor 變得越來越輕薄，最終將演變成硬件的一個代理。即所有的設備模擬都會由以 DPU為代表的硬件加速卡來完成，而 Hypervisor 只是需要和相應的硬件交互，完成資源的申

166、All Rights Reserved574.3“一云多芯”系統融合請釋放即可。虛擬化的效率和隔離性也將在這個過程中達到極致，最終，Hypervisor 幾乎不消耗任何主機側的資源，使得所有的資源都被業務系統所使用。通過硬件隊列，硬件 QoS 等硬件隔離技術，使得多租戶之間達到真正的完全隔離，互不影響。4.2.3 DPU+輕量級虛擬化=新一代技術革命引入 DPU 后，形成以 DPU 為核心的 IoD 架構。一方面，將主機側所有的控制面組件下沉到 DPU，進一步釋放主機側的資源；另一方面，簡化 Hypervisor 的實現，將可被硬件模擬的設備通過 DPU 硬件來模擬。最終呈現如圖4.4所示形態

167、：圖 4.4:輕量級虛擬化的 IoD 方案控制面下沉到 DPU，主機側只需保留一個 virtDaemon 進程，響應 DPU 側的調用，調用 Hypervisor 完成虛機的管理。Hypervisor 是輕量優化的，幾乎沒有虛擬化損耗，而virtDaemon 是一個被動管理組件，資源消耗非常低。主機側和 DPU 的通信，以及硬件設備的模擬，都通過 PCIe 通道完成。當然，對輕量級虛擬化的技術探索還在持續進行，各種新思想與新技術如雨后春筍般涌現，IoD 技術在輕量級虛擬化領域也需要不斷推陳出新，保持技術競爭優勢。All Rights Reserved584.3“一云多芯”系統融合4.3“一云多

168、芯”系統融合4.3.1“一云多芯”的應用困境當前云計算系統建設中，尤其是在國內環境，“一云多芯”是大家普遍關注的焦點。通常來講，對“一云多芯”有兩種解讀方法：廣義理解為由一種主處理器與多種協處理器共同組成的基礎云計算環境，在這種語境中，CPU+GPU+DPU 的“3U 一體”架構就是最典型的“一云多芯”應用，此應用場景下 IoD 技術便是一種最佳實踐。狹義理解為多種不同架構與指令集的處理器需要在一個云環境內進行統一調度與管理，例如同一個 AZ 內同時存在 X86 與 Arm 處理器的情況，真實應用場景往往涉及到多種不同體系架構的 CPU、GPU 混合部署，環境更加復雜。在狹義理解的語境下，如何

169、實現“多芯云”在同一資源池內的統一調度與管理，仍然面臨著巨大的挑戰：軟硬件兼容性：隨著引入“芯”的類型增多，需要關注的兼容性問題將以笛卡爾積模式增長。任務調度：由于指令集不同，上層業務無法順暢的在不同服務器之間遷移，尤其是虛擬機熱遷移功能將無法使用。服務評估：各種不同處理器難以簡單按照相同方法進行業務的預先與事后評估，對云業務的可觀測性建設提出了更高的挑戰。4.3.2 IoD 技術有助于完善“一云多芯”的服務評估體系在“一云多芯”環境中，DPU 除了通過卸載加速能力為集群提升能效比之外，還能夠從以下兩個方面優化“一云多芯”的服務評估體系。1.采用 IoD 技術之后，將整個基礎設施層下沉到 DP

170、U 設備，將基礎設施組件的運行環境保持統一，不再受不同 CPU 架構影響，可以簡化基礎設施層相關的評估與可觀測難度。2.DPU 作為服務器的核心數據通道，通過 DPU 構筑服務評估體系，實現用“灰盒”方式對云計算服務效率進行評估，能夠最大程度弱化不同 CPU/GPU 架構與指令集對服務評估結果的影響?？偟膩碚f，當前“一云多芯”架構仍在快速發展，IoD 技術可以預見將在未來“一All Rights Reserved594.3“一云多芯”系統融合云多芯”的應用場景中發揮重要作用。All Rights Reserved60第 5 章 高性能云計算為 PaaS 服務賦能隨著云計算技術的發展，PaaS

171、能力的構建經歷了從無到有，從單一到多樣，從公有云擴展到私有云的發展歷程。PaaS 服務的引入可以極大地提升上層業務的研發、部署和運維體驗，已經成為云計算服務中的重要組成部分。PaaS 服務的性能往往與云計算集群的基礎網絡、存儲等能力密切相關，因此基于 IoD 技術構建的高性能云計算系統，依托于其高吞吐、低時延的高效 IO 能力也能夠給 PaaS 服務帶來諸多好處。5.1 高性能大數據計算服務傳統大數據系統通?；?Hadoop 的生態體系，計算和存儲一體的整體架構模式，但隨著互聯網等各個行業數據量的快速增長，企業對大數據算力、存儲和網絡資源需求也進一步提升，且在當前企業“降本增效”的大背景下，

172、傳統 Hadoop 生態下的大數據處理集群面臨了越來越多的問題。資源使用：傳統 Hadoop 集群存在資源利用率低，且資源管理粒度和彈性差的問題，對于計算、網絡、存儲等多維度資源難以細粒度高效管理。存算一體：存算一體的計算架構，雖然一定程度簡化了集群的部署，但卻放大了資源管理彈性差的問題，計算和存儲資源難以單獨管理和擴展，也增加了硬件成本。由于傳統大數據體系架構的局限性較強，隨著 IoD 技術所代表軟硬件融合技術的不斷迭代和快速發展，現代化大數據技術體系架構逐漸呈現出異構加速、存算分離等重要的特點。相較于傳統 Hadoop 大數據架構，能帶來如下優點：高性能：使用 DPU 加速 IaaS 基礎

173、設施能較大提升基礎網絡和存儲性能，從而能較大幅度改善網絡密集型和 IO 密集型作業的性能瓶頸。降本增效：使用 DPU 加速的云計算構架能較大幅度降低網絡、存儲相關的 CPU、內存等計算資源的消耗，節約了資源的同時，使其能有更多的業務可用資源；云原生架構下，傳統 Hadoop 集群存在的資源利用率低，且資源管理粒度和彈性差等問題，也能得到有效的解決。存算分離：相較于傳統“存算一體”計算架構，使用 DPU 加速的云計算場景下的“存算分離”架構能有效解決計算和存儲彈性管理差的問題，能較大服務節約相關5.2 高性能中間件服務資源；同時使用 DPU 加速的云盤也能較大幅度提升存儲性能，進而提升存 IO

174、集型作業的整體性能。5.2 高性能中間件服務中間件按功能種類，可分為網絡中間件、消息中間件、緩存中間件、數據庫中間件等，一般網絡和存儲 IO 的開銷較高，且對延遲敏感。傳統方案通常部署于物理機或者虛擬機之上，網絡傳輸協議一般基于 TCP。隨著行業相關業務的不斷發展，對其性能的需求越來越高的同時，其高成本的問題也隨之被放大，傳統方案在很多方面越來越難以滿足需求。資源方面：基于虛擬機或物理機的部署方案，資源彈性差，且對各維度資源的管理粒度低，導致整體的資源利用率低。延遲高：數據傳輸基于 TCP 網絡，且經過內核協議棧處理，會帶來網絡延遲高、且不穩定的問題。性能一般：受限于網絡和存儲性能，難以提高性

175、能，水平擴展雖能帶來更高的性能，但也會導致更高的成本開銷?？缮炜s性一般：基于物理機或虛擬機的部署方式，難以較快的進行中間件大規?？焖偕炜s，影響業務的實時性。如今，中間件服務也向容器化方式轉型，基于 IoD 技術的基礎云計算環境能夠較大提升服務性能的同時，改善業務延遲，同時提高資源的利用率，實現“降本增效”。提高資源利用率：基于容器部署的中間件服務，能有效提升計算、網絡、存儲等多維度資源進行統一彈性管理。降低延遲：基于 DPU 的 RoCE 相較于傳統 TCP，能較大提升網絡性能，提高網絡帶寬，且大幅度優化網絡延遲。提高性能：利用 IoD 技術帶來的網絡與存儲加速技術，從而較大幅度改善中間件的網

176、絡和 IO 性能瓶頸，并提高處理性能。5.3 高性能數據庫服務相較于大數據計算，數據庫一般對高并發性能、低延遲、高 TP 性能提出了更高的要求。傳統數據庫通?；谖锢頇C/虛擬機的分布式/主從等部署方式，為了保證性能需All Rights Reserved625.3 高性能數據庫服務求，通常會對各維度資源進行冗余配置，且對數據庫的實例管理也存在啟動慢、彈性差等問題。資源利用率低：傳統數據庫，由于基于物理機/虛擬機的部署方式，存在大量的資源冗余，資源利用率低，且物理機平臺難以對計算、網絡、存儲等多維度資源進行統一彈性管理?？蓴U展性差：由于物理機/虛擬機平臺的局限性，傳統數據庫的實例擴容通常需要較高

177、的準備周期，數據庫實例啟動慢、彈性差。延遲高：傳統數據庫網絡數據傳輸都是基于 TCP 網絡，且經過內核協議棧處理，會帶來網絡延遲高、且不穩定的問題。性能差：傳統數據庫方案一般受限于網絡和存儲性能，會影響到數據庫整體性能。在基于 IoD 技術底座的高性能云平臺上運行的數據庫方案，能較大幅度提升性能的同時，也能更好的進行資源的統一彈性管理，并提高擴展性。提高性能：使用 IoD 技術能較大提升基礎網絡和存儲性能，從而能較大幅度改善數據庫的網絡和 IO 性能瓶頸，并提高性能。資源管理：IoD 技術提供的裸金屬、虛擬機、容器共池管理方式，能有效提升計算、網絡、存儲等多維度資源進行統一彈性管理。提高可擴展

178、性：借助如容器的特性，通過容器部署數據庫服務，能夠實現數據庫實例快速啟動與橫向擴展，有效提升了數據庫服務的擴展性。All Rights Reserved63第 6 章 未來展望當前，云計算產業正從單純的軟件主導向著軟硬件融合的新模式演進，傳統云服務在依賴 DPU、GPU 等高性能硬件重構技術體系的同時，也將對產業內各個角色的職責和交互模式進行重新定義：其一，硬件制造和芯片設計廠商將成為云基礎資源的重要提供者。除了傳統通用服務器供應商外，GPU 和智算服務器廠商將為 MaaS 等新型云計算服務提供高性能算力基礎，而 DPU 廠商則將圍繞異構算力資源和高性能網絡充分釋放資源潛力、打造 3U 一體的

179、云計算基礎設施。其二，云服務和軟件提供商將重構云計算軟件以適應新型基礎架構。云計算操作系統和應用將根據全新的基礎架構進行設計，以充分利用 GPU 的并行處理和 DPU 的任務卸載能力。與此同時，針對新型基礎架構的開發框架和服務也將融入云平臺當中，成為云操作系統不可或缺的一部分。其三，芯片、服務器、云服務商等多方聯合方案將成為主流。多芯片、多架構組成的云計算基礎設施將使單一廠商打造軟硬件融合解決方案的難度呈指數性增長，而這將加速產業內各方走向各抒所長、聯合打造方案的道路。IoD 技術正是多方聯合打造的新型技術方案的典型代表。高性能云底座是云計算發展的重要方向，它的實現依賴產業各方的共同努力：一是

180、主管部門和行業組織應制定明確的政策和標準，鼓勵云計算基礎設施的升級和創新。通過稅收優惠、研發補助等政策激勵，支持本土企業進行高性能云底座相關技術的研發和應用。與此同時，還可以通過組織行業論壇和技術交流會，促進跨行業的合作和技術共享。此外，政府部門還需要推動建立高性能云底座的標準化體系，確保不同廠商的產品和技術能夠互聯互通，為市場的健康發展提供保障。二是云服務商和硬件廠商需要緊密合作，共同開發高性能云計算服務和解決方案。通過協作進行技術研發和產品適配，確保 DPU 等技術能夠無縫集成到現有的云計算基礎設施中。此外，云服務商還可以通過開展推廣活動和技術培訓，向用戶展示高性能云底座方案在提升計算性能和降低能耗方面的顯著優勢，并幫助用戶更好地理解和應用相關技術。三是用戶企業應積極響應上云用云政策文件，了解和評估高性能云底座方案在其業務中的潛在應用價值，通過主動參與產業鏈各方組織的試用和測試，提供實際使用中的意見和建議，在幫助完善高性能云底座相關產品和方案的同時，實現基礎設施的全面升級和業務的降本增效。All Rights Reserved65