《6GANA：2024年面向AI大模型的網絡使能技術白皮書（50頁）.pdf》由會員分享，可在線閱讀，更多相關《6GANA：2024年面向AI大模型的網絡使能技術白皮書（50頁）.pdf（50頁珍藏版）》請在三個皮匠報告上搜索。

1、面向面向 AIAI 大模型的網絡使能技術大模型的網絡使能技術NetworkNetwork EnablingEnabling TechnologiesTechnologies forfor ArtificialArtificialIntelligenceIntelligence LargeLarge ModelsModels目錄摘要摘要.3 3一、一、AIAI 大模型發展概述大模型發展概述.4 4（一）發展歷程.4（二）發展趨勢.5二、二、網絡使能大模型的需求和驅動力網絡使能大模型的需求和驅動力.6 6（一）未來 6G 網絡的通算智融合趨勢.6（二）網絡使能大模型價值場景.7三、三、網絡使能大模

2、型服務網絡使能大模型服務.1212（一）數據感知服務.13（二）分布式訓練服務.14（三）指令優化服務.29（四）端邊云協同推理服務.30（五）模型優化服務.36四、四、案例分析案例分析.3737生成式 AI 在語義通信系統中的應用.37五、五、未來展望未來展望.4444六、六、參考文獻參考文獻.4545七、七、主要貢獻單位和編寫人員主要貢獻單位和編寫人員.5050摘要摘要隨著大模型和智能體（Artificial intelligence agent,AI agent）技術的發展，未來越來越多的工作將被基于大模型的智能體所取代。一方面，由于大模型對數據和算力的需求巨大，資源受限的終端將難以滿足

3、模型訓練和推理的需求。另一方面，未來第六代移動通信（Six generation,6G）網絡存在大量低時延需求的價值場景，例如無人駕駛、虛擬和增強現實等，云端大模型難以滿足這些場景用戶的需求。因此，向無線網絡尋求算力和數據的支撐將成為大模型時代的必然。本文介紹了大模型時代下網絡使能人工智能（Artificial intelligence,AI）技術的需求和驅動力，詳細闡述了未來 6G 網絡能為大模型提供的 AI 服務，包括數據感知、分布式訓練、指令優化、端邊云協同推理和模型優化等，通過案例分析說明了相關技術的實踐應用，并總結了未來可能的研究方向和所需要面對的挑戰。一、一、AI 大模型發展概述大

4、模型發展概述（一）（一）發展歷程發展歷程隨著深度學習技術的應用范圍不斷拓展和人工智能的快速發展，在大數據、高算力和強算法等關鍵技術的共同推動下，以 ChatGPT 為代表的 AI 大模型大量涌現，提供了高度智能化的人機交互體驗和極富創造力的內容生成能力，改變了人們的工作和生活方式，實現了 AI 技術從“量變”到“質變”的跨越。AI 大模型是指擁有超大規模參數、超強計算資源的機器學習模型，能夠處理海量數據，并完成各種復雜任務。AI 大模型的發展可以追溯到 20 世紀 50 年代。此后，從卷積神經網絡（CNN）到循環神經網絡（RNN），再到 Transformer架構，模型的性能不斷提升?？偟膩碚f

5、，AI 大模型的發展歷程主要可以分為四個階段，如圖 1 所示。圖 1.AI 大模型的發展歷程傳統模型（1950-1980）：在 AI 發展的早期，傳統模型主要依賴于簡單的線性回歸、邏輯回歸等方法。這些模型能夠處理分類和回歸等基本任務，但在處理復雜數據和任務時表現有限。神經網絡模型（1980-2017）：1980 年，卷積神經網絡的雛形 CNN 誕生。2000 年代初期，有學者開始研究神經網絡模型，開始模仿人腦進行大量數據的標記和訓練，并嘗試解決簡單的問題，如手寫數字識別等。Transformer 模型（2017-2018）：2017 年，Google 顛覆性地提出了基于自注意力機制的 Tran

6、sformer 架構，奠定了大模型預訓練算法架構的基礎。2018 年，OpenAI 和 Google 分別發布了 GPT-1 與 BERT 大模型，使得 NLP領域的大模型性能得到了質的飛躍?，F代 AI 大模型（2018 至今）：2022 年，聊天機器人 ChatGPT 橫空出世，迅速引爆互聯網。此后發布的多模態預訓練大模型 GPT-4，再次引發了生成式 AI 的熱潮。目前各類大模型正持續涌現，性能也在不斷提升。（二）（二）發展趨勢發展趨勢1.多模態能力提升，應用場景范圍擴大多模態能力提升，應用場景范圍擴大單模態模型通常只能處理一種類型的數據，例如文本、圖像或聲音，缺乏對復雜環境的全面理解。而

7、具有多模態能力的 AI 模型能夠同時處理多種類型的數據，例如將視覺和語言信息相結合，以實現更深層次的理解和交互，并在更廣泛的場景中得到應用。2.模型輕量化部署，資源需求成本降低模型輕量化部署，資源需求成本降低在 AI 技術快速發展的當下，智能手機等移動設備在人機交互、語音交流等功能方面的需求不斷提升，將大模型輕量化部署到終端設備也正成為一個重要的研究方向和發展趨勢。利用端側 AI 可以更好地為用戶提供個性化的服務和支持，幫助用戶進行自我管理，實現更加智能和高效的設備互聯。3.外部工具相結合，交互方式更加智能外部工具相結合，交互方式更加智能傳統的小模型通常專注于特定的任務，缺乏與外部環境交互的能

8、力。結合外部工具調用、記憶和規劃功能的 AI 大模型，可以被視為智能代理（Agent），它們能夠執行更加復雜的任務，如自主決策、規劃和學習。這種模型的交互方式更加智能，能夠根據用戶的需求和偏好進行自我調整，提供更加個性化的服務。這些發展趨勢不僅預示著 AI 技術的不斷進步，也反映了用戶對于更加智能、個性化服務的需求。隨著研究的深入和技術的成熟，我們可以期待 AI 大模型在未來將在更多領域發揮關鍵作用，改善人們的生活和工作效率。二、二、網絡使能大模型的需求和驅動力網絡使能大模型的需求和驅動力（一）（一）未來未來 6G 網絡的網絡的通算智通算智融合趨勢融合趨勢人工智能已成為新一輪產業升級的核心驅動

9、力，各行業的自動化、數字化、智能化需要泛在智能，許多高價值的 AI 場景，例如 AI 手機、自動駕駛、智能制造、移動機器人等，具有移動性、實時性、邊端協同、隱私性等要求，需要網絡這一 AI 服務基礎設施進行支持。而隨著大模型技術在上述場景中的深入應用，終端對于網絡側算力和數據資源支撐的需求將進一步擴大。ITU 將 6G 場景擴展到包括通信與 AI 融合在內的智慧泛在，需要將 AI 打造成 6G 通信網絡的新能力和新服務，實現 AI 即服務(AI as a service，AIaaS)。這要求 6G 網絡能夠隨時隨地提供 AI 服務、支持低時延的推理和訓練服務、支持移動式 AI、保障 AI 服務

10、質量、提供安全隱私保護。（二）（二）網絡使能大模型價值場景網絡使能大模型價值場景1.AI 手機手機在當今科技快速發展的時代，手機大模型已成為各大廠商競相研發的熱點。各大手機廠商紛紛推出了自家的大模型，為用戶帶來更加智能化的體驗。如表 1所示，手機大模型的功能主要包括文字類和圖像類。在文字類功能方面，用戶可以享受到智能問答、文本創作、文本總結、通話摘要等便捷服務，這些功能的響應時延通常在 1 秒之內，讓用戶感受到即時的互動體驗。而圖像類功能包括文生圖、圖像消除、圖片問答等，其中，文生圖響應時間較長，一般在 5 秒以上。在模型部署方面，目前主要有端側部署和云端部署兩種方式。端側部署的大模型參數量通

11、常不超過 10B，這種部署方式可以更好地保護用戶隱私，同時降低對網絡環境的依賴。而云端部署的大模型參數量可達 100B 以上，這種部署方式可以充分利用云端強大的計算資源，提供更加復雜和強大的功能，但需要較為穩定的網絡環境支持。表 1.各廠商大模型手機調研信息品牌大模型功能大模型性能參數量部署位置vivo1-智能問答-文本創作-文本總結-邏輯推理-智能問答首詞響應 1s-文本總結首詞響應 ms 級1B/7B端側70B/130B/175B云端OPPO2-智能問答-通話摘要-文本總結-圖像消除-文生圖-智能問答首字響應 0.2s-512*512 生圖時長 6s7B端側70B/180B云端榮耀3-智慧

12、成片-一語查圖暫無公布數據7B端側小米4-智能問答-文生圖-圖片問答-圖像消除/擴圖暫無公布數據暫無公布數據暫無公布數據蘋果5-智能問答-文本摘要-重要消息置頂-文生圖-圖像消除-跨應用操作暫無公布數據暫無公布數據端側云端基于上述分析，手機大模型主要分為終端推理和云端推理兩類。因此，6G網絡使能手機大模型也可以相應地分為使能終端推理和使能云端推理兩類。圖 2.6G 網絡賦能大模型終端推理場景如圖 2 所示，6G 網絡使能終端推理可以包括算力使能、數據使能以及算力和數據使能 3 種場景?？紤]到目前手機大模型中文生圖的時延較長的痛點，價值場景 1 是 6G 網絡通過算力卸載的方式，將終端算力全部或

13、部分卸載到 6G 網絡內，通過對通信資源和算力資源的協同調度，可以降低響應時延，并降低終端推理功耗。而價值場景 2 則是 6G 網絡通過例如感知獲得價值數據，并將該價值數據作為終端推理的輔助信息，以提升推理精度。至于價值場景 3，則是網絡同時提供算力和數據服務，從而可以降低終端推理的響應時延和功耗，并提升推理準確度。圖 3.6G 網絡賦能大模型云端推理場景如圖 3 所示，6G 網絡使能云端推理也可以包括算力使能、數據使能以及算力和數據使能 3 種場景。在價值場景 1 中，6G 網絡通過算力卸載的方式，將云端算力全部或部分卸載到 6G 網絡內，通過對通信資源和算力資源的協同調度，并通過更短的傳輸

14、路徑，可以顯著降低響應時延，提升用戶體驗。而價值場景 2則是 6G 網絡通過例如感知獲得價值數據，并將該價值數據作為云端推理的輔助信息，以提升推理精度。至于價值場景 3，則是網絡同時提供算力和數據服務，可以同時降低云端推理時延，并提升云端推理精度，為用戶帶來更加高效和智能的服務體驗。2.自動駕駛自動駕駛自動駕駛車輛通過傳感器（如攝像頭、雷達、LIDAR）采集到大量感知周圍環境數據，需實時處理和分析、進行路徑規劃和駕駛決策。將連接的車云系統擴展到分布式網絡節點/基站環境中，使數據和應用程序可以更靠近車輛，提供快速的道路側相關功能。終端設備采集傳感器數據，進行初步處理和特征提取。在車輛附近的分布式

15、邊緣節點進行實時數據處理，如環境感知和初步路徑規劃，利用 6G 網絡的低延遲特性，快速傳播危險警告和延遲敏感信息，確保實時響應。在中央網絡節點/云端進行大規模模型訓練和全局優化，利用大數據提升模型的準確性和魯棒性。根據車輛位置和網絡狀況，可動態調整分布式網絡各節點計算資源，確保高效運行。3.智能醫療智能醫療可實時監測患者的健康的醫療設備和穿戴設備收集大量患者體征數據，通過醫療大模型訓練和推理，進行疾病預測和診斷。穿戴設備和醫療傳感器采集生理數據，進行初步處理和傳輸。通過分布在醫療機構的邊緣節點進行實時數據分析和初步診斷，減輕中央網絡節點負擔。中央網絡節點進行復雜的醫療數據分析和模型訓練，支持遠

16、程診斷和治療方案的優化，通過高可靠性和低延遲的通信網絡賦能醫療數據的實時傳輸和處理。除了實時傳輸能力和邊緣節點部署能力，6G網絡還提供了高可靠和加密的數據隱私保護機制，保障患者的數據隱私和安全。4.工業工業 4.0工業 4.0 要求智能工廠通過物聯網設備進行設備監控、生產管理和質量控制，需要高精度、低延遲的數據傳輸和處理。工業傳感器和設備采集生產數據，進行初步處理和傳輸。工廠內部的分布式網絡節點部署計算，提供本地化的生產監控和實時優化能力，進行設備監控和故障預測。在中央網絡節點進行大規模數據分析和模型訓練，提升生產效率和產品質量。大帶寬和低延遲的 6G 網絡確保了生產數據在傳感器、邊緣網絡節點

17、及中央網絡節點之間的實時傳輸和處理，高可靠性網絡連接保障了生產過程的連續性和穩定性。5.工業元宇宙工業元宇宙工業元宇宙打造與現實工業映射和交互的全數字化虛擬世界，構建工業全生命周期的虛實共生、相互操作及高效閉環的工業體系新范式，推動傳統行業數字化智能化轉型，是新質生產力的數字底座。在工業元宇宙中，虛擬世界與物理世界的深度融合是實現其全部潛力的關鍵。虛擬世界不僅要能夠感知和接收來自物理世界的數據，還需要能夠理解這些數據背后的意圖，并據此做出合理的決策和控制。這一過程中，大模型顯著提升了工業元宇宙的智能化和自主化水平。虛擬世界對物理世界的理解是工業元宇宙虛實交互的核心任務之一。工業元宇宙需要處理海

18、量的數據，包括物聯網設備傳感器的數據、生產線監控信息、供應鏈的實時動態等。通過傳統的規則模板解析、機器學習算法和深度學習算法，虛擬系統可以分析物理設備的數據并做出響應。然而，這些方法通常需要大量的規則和參數配置，靈活性較差。大模型的引入，尤其是基于大模型的生成式人工智能，使得意圖識別和理解更加靈活和高效。大模型通過自然語言處理和深度學習技術，能夠高效地解析、分析和處理這些數據。通過對海量文本、圖像和其他數據的訓練，能夠在沒有明確規則的情況下識別出復雜場景中的意圖，將其轉化為可執行的操作指令或預測性分析結果。例如，在一個智能工廠中，生產設備通過傳感器反饋數據，虛擬系統不僅能夠監測設備運行狀態，還

19、可以理解操作員的工作意圖，從而調整生產部署等。大模型在虛擬世界的構建過程中起到了加速器的作用。工業元宇宙的構建不僅僅依賴于物理世界的數據輸入，還需要大量的虛擬內容生成，諸如虛擬場景、產品設計、生產流程模擬等。文本、音頻、視頻等不同類型的數據可以被自動生成，這極大地提升了虛擬世界的豐富性和細節表現。在產品設計過程中，大模型使能的設計軟件可以生成大量的設計方案和模型，大幅縮短了產品設計周期，同時提高了創新性。不僅加速了產品的迭代，還能推動工業設計從傳統的線性流程向智能化、迭代式的流程轉變。虛擬現實（VR）和增強現實（AR）技術是工業元宇宙的重要組成部分，而構建真實感強、細節豐富的虛擬場景往往需要大

20、量的人工干預和資源投入。通過大模型和 AIGC 技術，虛擬場景的生成可以更加自動化、智能化，極大提升了開發效率。在一個虛擬工廠中，AIGC 可以基于物理工廠的布局自動生成相應的三維模型，并根據實時數據動態調整場景的布局和功能。這種虛實交互和自動化生成能力，提升了虛擬世界的沉浸感，使得企業能夠更靈活地進行生產規劃和調整。決策和控制是工業元宇宙的核心之一，大模型的自主學習和決策能力提升了工業元宇宙的智能化水平。在工業生產過程中，生產環境和工藝流程通常非常復雜，需要根據實時數據動態調整。大模型可以基于大規模的數據訓練，學習到各種復雜場景下的最優策略，并通過持續學習不斷優化，使得工業元宇宙中的虛擬系統

21、與物理世界緊密互動，優化資源分配，最終實現更高效工業部署和生產。單一的大模型往往難以全面覆蓋所有工業元宇宙場景需求，需要 AI 大模型與小模型融合，形成更全面的智能工業元宇宙系統。視覺引擎、語音引擎和機器人控制引擎等不同領域的 AI 小模型可以與大模型協同工作，補充其在特定任務中的不足，形成一個多功能的、全覆蓋的 AI 使能的工業元宇宙系統，適應更加復雜多變的工業環境。三、三、網絡使能大模型服務網絡使能大模型服務表 2 給出了網絡使能大模型服務和一般 AI 模型服務的對比，可以看出 6G 網絡使能的大模型服務在實時性、動態調整和高可靠性方面的顯著優勢，能夠更好地滿足不同應用場景的需求，提高系統

22、的整體性能和用戶體驗。表 2.網絡使能大模型服務和一般 AI 模型服務的對比對比項對比項網絡使能大模型服務網絡使能大模型服務一般一般 AI 模型服務模型服務需求需求帶寬帶寬處理的數據量更大，有更高的帶寬需求：數據傳輸量相對較小，帶寬需求較低實時性實時性具有超低延遲的應用需求，在自動駕駛、實時視頻處理等場景中，低延遲是關鍵多數場景對實時性的要求較低，相對較高的延遲容忍性能力能力大帶寬大帶寬提供更大傳輸帶寬現有資源帶寬難以提升低延遲低延遲利用 6G 網絡的高帶寬和低延遲，實現數據的實時傳輸和處理，支持實時分析和決策主要依賴固定網絡基礎設施，數據傳輸和處理的實時性較低動態調度動態調度利用智能調度系統

23、，動態調整計算資源和任務分配計算資源分配相對固定，難以動態調整和優化分布訓練分布訓練廣泛使用分布式數據并行和模型并行技術通常在單個計算節點上完成訓練和推理邊緣計算邊緣計算充分利用邊緣計算能力，提高實時性和響應速度，減輕云端壓力邊緣計算支持較少，主要依賴云端進行數據處理和模型訓練（一）（一）數據數據感知感知服務服務在未來的 6G 網絡時代，一個引人注目的趨勢是網絡中將會部署大量的傳感設備。這些傳感設備以其高靈敏度、高精度和高覆蓋率的特點，將實現對物理世界的全面感知和實時監測。無論是環境參數的測量、人體健康指標的監測，還是物體位置和運動狀態的追蹤，傳感設備都能提供詳盡而準確的數據。與此同時，隨著人

24、工智能技術的飛速發展，大型模型在各個領域的應用越來越廣泛。然而，這些大模型的訓練和推斷過程都需要大量的數據作為支撐。數據是模型學習的基石，是提升模型性能的關鍵。在 6G 網絡中，傳感設備所收集的數據正好能夠滿足這一需求。在模型推斷階段，傳感數據可以作為輸入信息，增強大模型的推理精度。由于傳感設備能夠實時獲取和傳輸數據，模型可以基于最新的數據進行推斷，從而更準確地反映實際情況。這不僅提高了模型的實用性，還增強了其應對復雜和多變環境的能力。而在模型訓練階段，傳感數據同樣具有不可替代的價值。通過將傳感數據作為訓練數據的一部分，可以豐富模型的訓練樣本，提高模型的泛化能力。同時，利用傳感數據進行數據增強

25、，還可以進一步提升模型的訓練效果，使其在各種應用場景中都能表現出色。因此，未來 6G 網絡中的傳感設備將成為大型模型訓練和推斷的重要數據源，為人工智能技術的發展提供強有力的支持。（二）（二）分布式訓練服務分布式訓練服務1.分布式機器學習理論分布式機器學習理論隨著“大數據”概念的興起，數據量爆炸式增長，數據和算法雙驅動的模型逐漸受到工業界和企業界的重視。大數據的特征可以概括為大數據量、多類型、低價值密度和數據在線。其中，大數據量指的是數據集的規模非常龐大，通常達到TB 甚至 PB 級別，這種規模的數據量遠超傳統數據處理工具和單機系統的處理能力，同時如此規模的數據不僅自身數據量龐大，并且存在大量非

26、結構化數據（如圖片、視頻），需要復雜的數據處理和整合方法。數據在線是指數據實時更新和變化，大規模數據自身數據量龐大的同時自身數據增長的速度也非?？?，存在大量衍生數據，需要實時的監測、分析和處理。大數據量和數據在線是使得傳統機器學習不能適應當前環境的主要因素。傳統機器學習即在單機內進行數據處理和計算，注重在單機內處理數據的速度，由于內存和單機算力的限制，大數據條件下龐大的數據存儲和計算是無法在單機中做到的，因此，將計算模型分布式地部署到多臺、多類型的機器上進行同時計算是一種必要的發展趨勢?；谝陨显?，提出了分布式機器學習的概念。分布式機器學習研究將具有大規模數據量和計算量的任務分布式地部署到多

27、臺機器上，其核心思想是“分而治之”，即將數據集或是計算任務分解成多個小數據集或計算任務，分配到不同的計算節點上處理，有效提高了大規模數據計算的速度并節省了開銷。分布式機器學習在概念的提出時就展現了獨特的優勢，包括針對大數據量問題的處理海量數據和針對數據在線問題的實時數據處理。在其發展和成熟的過程中，在其他的一些方面也展現了優勢，首先，分布式架構支持動態擴展計算資源，可以根據具體的計算需求的變化靈活地調整計算節點的數量和計算任務的分配，切薄系統的高效運行。其次，分布式系統的架構就保證了整個系統具有較強的魯棒性，能夠在某個節點發生故障時自動進行任務再分配，避免了計算過程的前功盡棄，保證了計算過程的

28、穩定性和連續性。最后，分布式系統聯合了大量低成本的硬件資源和計算資源去解決復雜的梯度計算，顯著降低了能源和資源成本。分布式機器學習分為面向擴展性的分布式機器學習和面向隱私保護的分布式機器學習，這種分類主要是針對傳統機器學習的不同限制因素進行改進。1）面向擴展性的分布式機器學習面向擴展性的分布式機器學習在近年的研究中，訓練的數據規模和模型參數規模以指數形式增長，以卷積神經網絡為代表的神經網絡使用大量訓練數據訓練一個參數為千萬量級甚至上億的模型，所使用的計算資源和所消耗的時間成本不是單機所能夠做到的。面向擴展性的分布式機器學習是這種情況的一個可行的解決方案，它專注于將機器學習的算法擴展到多個計算單

29、元（如 GPU），嘗試將無論是廉價但低效的計算資源或是高昂但高效的計算資源納入自身體系中，通過并行和分布式計算來處理大規模的數據集和復雜的模型。面向擴展性的分布式機器學習主要通過數據并行、模型并行或是混合并行的策略實現它的處理任務，不同策略的使用則是基于不同的任務，有著各自的優勢和缺陷，下面將一一介紹。在分布式機器學習技術乃至大數據技術中，數據并行都是最為常見的一種并行方式。在數據并行的策略中，數據集被分割成若干個子數據集，并加載在若干個訓練設備中（如 GPU）。因此，數據并行主要需要實現數據集分割以及訓練后的模型參數同步兩個部分的設計，其中后者是設計時關注的關鍵問題。數據并行是一種實現簡單，

30、擴展性好，且對于絕大多數深度學習任務都適用的可以應用于分布式機器學習的策略。然而，數據并行的通信成本很大，對于中心節點（參數服務器）的通信壓力也較大。模型并行是基于單個節點無法容納完整模型的問題所提出的，它將模型的不同層或不同參數分配到不同的節點上，每個節點只計算模型的一部分。需要頻繁的設備間通信來傳遞中間結果。模型并行的提出和使用都是基于模型參數量龐大，例如卷積神經網絡，但是它的實現較為復雜，通信開銷較大。流水線并行（管道并行），通常認為是模型并行的一種特殊形式，它將模型按層或模塊順序切分成多個階段，每個階段分配到不同的計算節點上，形成流水線。管道并行通過分階段處理和數據流動，減少了單個節點

31、的內存占用，但是對比于數據并行，實現上較為復雜。2）面向隱私保護的分布式機器學習面向隱私保護的分布式機器學習面向隱私保護的分布式機器學習的主要目的則是保護用戶隱私和數據安全，在面向隱私保護的 DML 中，數據的來源是多個參與方。有研究提到，在需要分布式機器學習技術來利用每個參與方的訓練數據的時候，不同參與方的數據集可能具有不同的數據特征，所以實際中經常遇到的是訓練數據的縱向劃分，因此面向隱私保護的 DML 適用于具有縱向劃分數據集的場景。目前來看，其實不必糾結于面向隱私保護的 DML 適用于縱向劃分的數據集還是橫向劃分的數據集，面向隱私保護的 DML 實際上提供了隱私保護的多條思路，在方法和實

32、現上具有更大的覆蓋范圍，因此無論數據集的劃分方式如何，都可以使用面向隱私保護的 DML 提供的隱私保護思路和方法。一方面，對于數據傳輸成本大的環境，如企業對用戶（B2C），而數據敏感程度相對于政府部門和公司機密較低的情況，可以采用不直接共享數據的情況下進行機器學習模型的實現；另一方面，對于隱私要求嚴格，但對于傳輸環境安全要求不嚴格的情況，可以使用差分隱私等技術模糊化處理；如果對于隱私和數據安全都具有嚴格要求的情況下，如金融服務或是國家安全，可以采用同態加密和安全多方計算等技術。從這個角度來說，聯邦學習即是 DML 在隱私保護領域對于某一方面需求的繼承與進一步發展。2.分布式機器學習分布式機器學

33、習平臺和算法設計平臺和算法設計分布式機器學習的主要研究方向包括分布式機器平臺研究和分布式機器學習算法設計，在實際應用中，平臺研究要結合算法的可行性，算法設計需要考慮在平臺上的執行效果。簡單的例子是，一個由若干個計算節點和一個參數聚合服務器組成的分布式機器學習系統，每個計算節點都是一臺機器，訓練數據被分成若干個數據分片并發送給各個計算節點，計算節點在本地執行隨機梯度下降算法，計算節點將梯度或者模型參數發送至參數服務器，參數服務器對收到的梯度或者模型參數進行聚合，從而得到全局梯度或者全局模型參數。分布式機器學習的算法主要包括服務器如何將計算任務分配給每一個計算節點、計算節點在本地執行什么樣的算法、

34、參數服務器的全局參數如何聚合等。而分布式機器平臺研究主要目的是搭建一個可以應用于多類型設備，搭載了分布式機器學習算法，并且具有優異性能的分布式深度學習框架。1）分布式機器學習平臺分布式機器學習平臺分布式機器學習平臺研究起步的時間實際上較早。2005 年，Apache 實現了 Hadoop 分布式系統的基礎架構。在經過接近 20 年的發展后，出現了大量成熟的分布式機器學習平臺。分布式機器學習平臺包括基于數據流模型、基于參數服務器、以及基于混合模型的三類。(1)基于數據流模型數據流模型通常把計算抽象成數據流圖，關于數據流圖，它是一種由節點和邊組成的有向無環圖。在數據流模型種，每個節點代表一個計算操

35、作，邊則表示數據流動的方向，定義了數據處理的順序和中間過程的依賴關系。在數據流圖種存在源節點和匯節點，它們分別代表數據輸入和數據輸出。需要注意的是，源節點和匯節點并不必須是唯一的，每個源節點都可以代表一個獨立的數據輸入源，它們可以是數據集、數據流或是數據庫，同樣，每個匯節點也可以對應一個獨立的外部存儲或者其他系統。數據流圖的節點-邊結構用于設計分布式機器學習平臺是極為合適的，首先，數據流圖支持并行處理，加載分布式學習算法后，劃分的數據子集可以作為多個獨立的源節點，每個計算單元可以作為數據流圖上的一個或數個節點，大大提高了處理效率。此外，數據流模型使得分布式機器學習不僅在物理上是一個“分而治之”

36、的系統，在計算邏輯上也成為了一個由若干個小的、可管理的節點組成的處理系統，從而由數據流模型實現的分布式機器學習平臺具有較好的模塊化屬性和更高的可擴展性。Spark 是一個具有代表性的基于數據流模型的分布式處理系統，雖然它主要被設計用來進行大規模的數據處理。它的一個關鍵特性是內存計算，將數據盡可能地存儲在內存中進行計算，避免頻繁的磁盤 I/O 操作，從而顯著地提高了數據處理的熟讀，尤其適用于機器學習這樣的迭代計算任務。2010 年，Google 的研究人員最早提出關于參數服務器的概念，Google在 2012 年發布了一個為大規模分布式訓練深度神經網絡設計的框架，即DistBelief，它也是

37、Tensorflow 的前身。（2）基于參數服務器基于參數服務器的分布式機器學習平臺的主要組成部分包括參數服務器和工作節點，參數服務器負責存儲和管理模型的參數，管理工作節點的生命周期以及分配計算任務，工作節點則負責數據處理和梯度計算。參數服務器模型將參數劃分給各個工作節點，提高了大規模參數模型訓練的性能。數據流模型和參數服務器模型的出現和發展不是繼承關系，而是兩種不同的設計思想，這兩種設計思想各有利弊，因此衍生出了混合模型，集成了數據流模型的實時處理能力、高并行性以及參數服務器靈活的參數更新策略、適合大規模機器學習的優勢。簡略地說，混合模型仍然采用節點代表計算操作，邊代表節點之間的依賴關系，但

38、是使用參數服務器的思想進行訓練，將訓練任務抽象成數據流圖后，使用參數服務器進行任務調度，使用工作節點進行計算任務。（3）基于混合模型混合模型的代表分布式機器學習處理系統主要有 TensorFlow 和 PyTorch，它們都將網絡模型的符號表達式抽象成計算圖。Google Brain 的團隊在 DisBelief 的基礎上研發了 TensorFlow。它將數據流和參數服務器搭配使用，從而取得了更快的速度、更高的移植性和靈活性。早期的 TensorFlow 使用的是靜態計算圖，這種方式在優化和部署時會具有一定的優勢，后續 TensorFlow 引入了 Eager Execution，從而使得默認

39、情況下計算圖時動態的，便于機器學習的調試和開發。從 2015 年發布至今，TensorFlow進行了多次更新，支持在各類環境下執行分布式機器學習程序，包括移動設備、Windows 和 CPU、GPU。Pytorch 則更加適合于小規模的項目，它使用了動態計算圖。它的主要特點是：使用了類似于 Numpy 的 N 維 tensor，從而在 GPU 加速上取得了杰出的成就。其次，它使用的自動微分方法可快速構建和訓練神經網絡，在前向和后向傳播都取得了較好的效果。最后，動態計算圖的使用可以加速模型收斂，便于將計算分布式地部署在 GPU 和其他機器上。2)分布式機器學習算法設計分布式機器學習算法設計為了實

40、現分布式機器學習的具體應用，通常需要在機器學習平臺上加載分布式機器學習算法。然而機器學習算法已經是一個十分成熟的門類，按照學習方式可以分為監督學習、半監督學習、非監督學習和強化學習，因此，將機器學習算法移植到分布式機器學習上不僅關注機器學習算法的分布式實現，而且關注分布式的機器學習算法針對通信延遲、一致性和容錯性問題的優化。無論是監督學習、半監督學習、非監督學習還是強化學習，都可以移植到分布式機器學習平臺上，如分布式梯度下降、分布式聚類、分布式強化學習。不同的機器學習算法進行分布式實現時需要考慮的優化方面不同，主要可以分為數據分割和預處理（如果存在數據集的話）、計算負載平衡、擴展性和可維護性考

41、慮。而幾乎所有分布式機器學習都需要考慮通信成本和一致性問題。一致性問題的解決策略關注模型的參數更新方式，包括同步更新和異步更新，同步更新可以保證算法的收斂率，但由于計算資源的層次不齊，由于短板效應的存在導致資源利用率較低；異步更新的資源利用率很高，但無法保證收斂效果。大模型能夠捕捉復雜模式，提供全面的知識，在各類任務中展現出卓越的性能。然而，如何在海量數據和復雜任務中實現自我優化和演進成為進一步提高大模型泛化能力的關鍵問題。這一過程不僅依賴于初始的預訓練數據，還需要在實際應用中不斷學習和適應來自用戶的新數據與任務。分布式學習由于可以充分利用分布式算力完成大規模機器學習模型的協作訓練，成為高效學

42、習和適應新數據與新任務的有效手段。在分布式學習架構下，移動設備可以部署為網絡中參與學習任務的計算節點甚至是智能體在本地執行訓練和推理任務，并通過交互中間訓練結果來完成大模型的全局微調訓練，這樣不僅可以增強算力，加速數據處理，還可以驅動傳統人工智能服務、AI 生成服務等網絡智能化任務。然而，分布式架構下全參數訓練過程中需要頻繁進行參數更新、參數同步和梯度交換，這對網絡傳輸、計算、存儲等能力提出極高的要求。一個有效的解決思路是借助高效微調技術（比如高效參數微調，提示微調）來實現大模型的分布式微調訓練。比如利用參數高效微調技術，用戶可以訓練額外小規模的微調模型（如 LoRA）捕捉其本地任務或數據相關

43、的知識，在保持接近全參數訓練性能的同時，大幅降低了計算和存儲的需求，而共享和聚合小規模的微調模型對網絡來說也相對資源友好。同時，在分布式網絡系統中，還需要考慮到每個用戶的計算資源和存儲能力都有所不同，例如，一些用戶可能使用高性能的服務器或專業的計算設備，而其他用戶可能只能訪問基本的智能手機或小型邊緣設備。不同用戶在本地進行大模型微調時可承受的微調模型的參數量也會有所不同，直接導致了在不同用戶間微調模型的異構性。因此，還需進一步探索端側資源異構性場景下高效的分布式訓練服務的解決方案，例如微調模型的知識蒸餾、異構微調模型對齊等。此外，在分布式網絡中提供分布式訓練服務的時候還需要關注用戶的一致性問題

44、，針對不同網絡場景設計高效的共識機制、分布式一致性算法，在訓練過程中需要確保用戶模型的同步和一致性，從而保證大模型可以正確有效的收斂。（電子科技大學：劉貽靜，汪云翔）3.分布式訓練框架分布式訓練框架分布式訓練的關鍵技術包括云邊協同計算和分布式訓練框架的實現：分布式協同計算：分布式網絡節點在靠近數據源的地方進行數據處理和分析，可以減少傳輸延遲和帶寬占用，提高實時性和響應速度，適用于需要快速決策的場景。中央網絡節點則借助強大的計算和存儲資源，進行復雜的數據處理和模型訓練，支持大規模數據分析和全局優化，提升整體系統性能。分布式網絡節點和中央網絡節點協同通過在分布式網絡節點進行初步的數據處理和訓練任務

45、，減輕中央網絡節點壓力；利用 6G 網絡的低延遲特點，實現分布式節點與中央網絡節點的高效協同，提高整體效率。分布式訓練框架：分布式訓練框架包括并行計算和智能調度，其中并行計算主要方法為數據并行和模型并行，共享網絡中的計算節點實現。數據并行技術將訓練數據集分割成多個子集，每個子集在不同的計算節點上獨立訓練，這些節點共享同一個模型副本，但獨立計算梯度。節點間同步更新模型參數，利用 6G 網絡的高帶寬進行快速數據傳輸和梯度同步。數據并行通過以下過程實現：1）數據分割：將訓練數據集分成若干子集，分配到不同的計算節點；2）獨立訓練：每個節點使用自己的數據子集進行前向和后向傳播，計算梯度；3）梯度匯聚：所

46、有節點的梯度通過網絡進行匯聚（例如使用參數服務器或全局同步），然后更新模型參數。數據并行能夠處理非常大的數據集，并且適用于大多數深度學習框架，但通信開銷較大，尤其是在節點數量很多時，會導致同步瓶頸。模型并行技術將模型本身分割成多個部分，不同的計算節點負責不同部分的計算，節點間傳遞中間結果。適用于超大規模模型，利用 6G 網絡的低延遲進行高效通信。這對于超大規模的模型特別有效。具體實現上，模型分割將模型的各個層或模塊分配到不同的計算節點；通過并行計算，每個節點只負責自己部分的前向和后向計算，節點之間通過網絡傳遞中間結果和梯度信息。通過模型并行可以處理單個節點無法容納的大模型，但需要仔細規劃模型的

47、分割策略和節點間的通信，以減少延遲和通信開銷。智能調度技術則動態調整計算資源和任務分配，根據網絡狀況和計算需求，優化分布式訓練過程。利用 AI 算法動態調整計算資源和任務分配，從而提高資源利用率和訓練效率。如圖 4 所示，分布式訓練服務的部署和內涵應從如下步驟進行考慮：圖 4.分布式訓練服務部署步驟部署 6G 網絡基礎設施，確保高帶寬、低延遲和高可靠性的網絡環境。選擇適合的分布式訓練框架，支持數據并行和模型并行。部署邊緣計算節點，配置高性能計算和存儲資源，確保邊緣節點具備足夠的處理能力。集成智能調度系統，動態調整計算資源和任務分配，優化訓練過程。實施數據加密、訪問控制等措施，確保分布式訓練過程

48、中的數據安全和隱私保護。進行全面的測試和優化，確保分布式訓練系統的性能和穩定性，滿足實際應用需求。4.聯邦學習聯邦學習根據 scaling law，大模型的性能是和模型參數、數據大小、計算量成正比的。6G 網絡使能大模型分布式訓練的優勢包括寶貴的數據源、海量的閑置算力。其中，聯邦學習是一種實現網絡使能大模型分布式訓練的隱私保護范例。通常支持聯邦學習的無線網絡由多個本地客戶端和一個邊緣服務器組成。聯邦學習進行分布式訓練包括如下五個迭代步驟：1）全局模型初始化：在中央服務器上初始化一個全局模型w0，并將其分發給K個參與訓練的客戶端。2）本地模型訓練：每個客戶端根據本地數據進行模型訓練，計算更新后的

49、模型參數。對每個客戶端K，訓練的目標是最小化其本地損失函數:=1=1;,?。其中，,是客戶端k上的數據樣本，()是損失函數，w是模型參數，是客戶端k的本地數據量。3）本地模型上傳：客戶端在完成本地訓練后，將模型參數上傳到中央服務器。此時，每個客戶端k提交的模型可以表示為。4）全局模型聚合：中央服務器接收每個客戶端上傳的模型參數后，進行加權聚合來更新全局模型。最常用的聚合方法是 FedAvg，其公式為：=1?。其中，n是所有客戶端的數據總量，K是參與訓練的客戶端數，是更新后的全局模型參數。5）模型迭代：服務器將新的全局模型分發給所有客戶端，重復上述過程，直到模型收斂。結合上述的訓練過程以及不同的

50、客戶端設備，聯邦學習的具體訓練場景分跨孤島（cross-silo）和跨設備（cross-device）兩種：1）跨孤島：每個參與的孤島（silo）通常是一個具有相對較強計算能力的本地計算實體，比如數據中心、公司內部的服務器、企業專有的計算資源等。通過跨多個這種具有獨立計算能力的單位或組織進行協作式分布式學習，這些單位或組織之間不會直接交換數據，而是通過本地模型的更新與全局模型的聚合來完成訓練。2）跨設備：參與的設備通常是功能有限的智能設備，例如手機、IoT（物聯網）設備等，計算能力不如 silo 中的服務器強大，這些設備之間通過無線網絡進行協作，但網絡連接可能較為不穩定。因此，將大模型訓練集成

51、到支持聯邦學習的無線網絡之前，我們必須考慮不同聯邦學習場景所施加的限制與大模型計算/存儲/通信密集型要求之間的沖突6，所面臨的主要挑戰包括：1）高功耗：由于訓練所需的數據和模型參數數量龐大，大模型的訓練過程對計算硬件和能耗都有很大的要求。當以合理可持續的方式部署高耗能的大模型時，能源效率變得至關重要。2）有限且異質的算力資源：無線網絡出了提供分布式訓練服務之外，還需要承擔基礎的連接任務，硬件算力資源有限。為了將集成到無線網絡中，通常需要專門的硬件來進行 AI 計算加速，例如 GPU、TPU 等。并且，客戶端之間計算資源的異質性，使得聯邦訓練大模型遭受更多空閑時間的影響，需要對算力資源建立統籌有

52、效的編排和調度機制。3）高存儲和內存要求：為了滿足大模型訓練要求，必須大幅增加存儲和內存來處理流式收集/生成的數據以及訓練期間模型參數的更新。典型的網絡架構可能不一定滿足此類存儲和內存要求。4）高通信開銷和時延：由于模型規模巨大，基于聯邦學習的從頭訓練需要持續、大量的通信資源，這一過程將非常耗時且占用帶寬。例如，通過 100Mbps通道（5G 中用戶體驗的數據速率）傳輸一次 GPT2-XL（約 5.8 GB 的中型LLM）大約需要 470 秒7，而從頭訓練可能需要對數千個 GPU 進行長達幾個月的連續訓練。雖然 5G 及以上網絡有嚴格的延遲要求。目前尚不清楚將大模型集成到支持聯邦學習的網絡中如

53、何滿足如此嚴格的延遲要求。5）數據問題：針對各客戶端數據特征分布（非獨立同分布，Non-IID）、標簽分布以及樣本量等方面的差異，微調大模型時必須設計有效的策略來應對這種數據異構性；不同客戶端數據質量的差異（含噪聲、標簽錯誤或者缺失值等）會直接影響大模型的微調效果，一些必要的數據預處理如數據清洗、異常檢測等步驟也需要進一步的考慮。在以上挑戰中，最關鍵的問題在于聯邦學習設備算力有限條件下如何降低通信開銷和優化內存。降低通信開銷方面的研究包括在傳輸層面以及在算法層面的優化兩種：傳輸層面可以采用參數高效 PEFT 方法8減少需要傳輸參數量，如 FedPETuning9；降低通信輪次，如 DiLoCo

54、10；壓縮；量化等；算法層面可以采用更高效的聯邦聚合算法，如 OpenFedLLM11，或者傳輸內容更少的其他優化算法，如FwdLLM12、FedKSeed13用零階有限差分估計梯度。內存優化的維度包括采用參數高效 PEFT 方法減少可訓練參數量；使用梯度累積、激活值重計算等技術；優化器的選擇，SGD、帶動量的 SGD、Adam、AdamW 等；結合模型分割 Split learning 技術14，但代價是會加劇通信開銷；只訓練部分層/層凍結，如 AutoFreeze15、SmartFRZ16、FedOT/FedOST17等。此外，針對內存的優化還可以采用混合精度訓練、ZeRO 零冗余優化器1

55、8等技術。其次，對于算力異質性的研究，FATE-LLM19提出很多種架構的可能性，允許算力異質性允許終端使用不同的本地模型，知識蒸餾出一個通用于聯邦聚合的模型。FedIT20提出每個設備可以采用不同的 Lora 配置，即層級最優秩(Layer-wise Optimal Rank Adaptation)思想。5.聯邦聯邦大模型大模型大模型的參數規模極為龐大，且各大廠商也在持續刷新大模型參數量的上限。以 GPT 系列為例，從 GPT-1 到 GPT-4，模型的參數量從 1.1 億增長至 1.8萬億，由模型規模帶來的性能提升出現邊際遞減效應8。目前，針對特定任務的模型微調（Finetuning，FT

56、）已成為利用大模型的主要方法21，但直接微調對算力、內存都提出了更高的要求，AI 硬件（GPU）內存難以跟上模型擴大的需求。為了解決算力增速不足的問題，研究者考慮用多節點集群進行分布式訓練，將訓練擴展到多個 AI 硬件上（如 GPU），從而突破于單個硬件內存容量和帶寬的限制，支撐更大規模模型的訓練。目前較多分布式訓練架構主要有兩種模式：集合通信（collective communication，CC）模式和參數服務器（parameterserver，PS）模式。NLP、CV、多模態、科學計算等領域的模型往往具有模型結構復雜、參數稠密的特點，集合通信訓練模式可以很好地支持此類模型的訓練。集合通信

57、模式對計算芯片的算力和芯片之間的網絡互聯要求較高，如高性能計算的 GPU、芯片之間的高速網絡互聯 NVLink 和 InfiniBand 等。搜索、推薦等場景的模型往往數據量巨大，特征維度高且高度稀疏化。參數服務器訓練模式可以很好地支持此類模型的訓練。參數服務器訓練模式可以同時做到對數據和模型的并行訓練，對于存儲超大規模模型參數的訓練場景十分友好，常被用于訓練擁有海量稀疏參數的搜索、推薦領域模型。圖 5.分布式微調訓練然而，傳統公開的可用數據集無法滿足大模型微調的需求22，特別是大規模中文數據集十分缺乏，對中文大模型以及業界模型的中文支持都有很大的影響。收集多樣化、高質量的指令數據仍面臨挑戰，

58、尤其是在隱私敏感領域，往往禁止收集、融合使用數據到不同的地方進行 AI 處理，本地數據不足或微調和預訓練數據集之間存在顯著差異可能導致模型的泛化性能不佳。為了解決隱私數據給用戶安全和模型泛化性能帶來的挑戰，聯邦學習（Federated learning，FL）22作為一種分布式框架被引入。其中，聯邦分割學習（Federated split learning，FSL）框架23將模型分割成多個部分，在邊緣用戶設備上僅針對部分模型基于本地任務數據進行訓練，訓練完成后上傳模型參數 至服務器進行聚合，而無需共享原始數據。隨后，服務器訓練的全局模型參數 被發送回所有客戶。在聯邦分割學習框架下微調大模型，可

59、以有效降低邊緣設備和服務器之間傳遞的參數數量，從而減少各設備的計算和通信開銷，提高了效率和隱私安全，且微調后的模型在客戶端之間共享，促進協作同時保障隱私。通過利用多樣化的數據集，充分釋放大模型的潛力并提高大模型的泛化性能。圖 6.聯邦學習此外，Jianyi Zhang 等人24將 FL 用于大模型的指令微調，保護隱私的同時，在一定程度上提升了模型性能。Jing Jiang 等人25提出了低參數聯邦學習方法 LP-FL，旨在對大模型任務流進行微調，實現了在有限計算和通信資源下的高效學習。Tao Fan等人26提出了用于工業級大模型的聯邦學習框架FATE-LLM，使用一方的私人數據對另一方的私有大

60、模型進行有效微調，解決了微調大模型所需計算資源龐大和高質量數據分散的問題，并保護了模型知識產權和數據隱私。Chaochao Chen 等人27考慮到計算和通信兩個方面，提出將參數高效微調方法整合到聯邦學習框架中，例如適配器微調、前綴微調、提示微調和低秩適應。通過最小化參數梯度計算和減少聚合參數的數量，有效降低了計算和通信成本，這種方法在保留近似性能和顯著減少計算和通信負擔之間取得了平衡。（三）（三）指令優化服務指令優化服務指令優化是提高大模型整體泛化性能的有效技術，特別是在零樣本場景下經過指令優化的大模型比參數高效微調的大模型具有更強的泛化能力，而后者更多是針對特定下游用戶任務而設計的。不同于

61、參數高效微調方法中凍結大模型參數，指令優化過程一般涉及到優化整個大模型的參數，這意味著它將對網絡多維資源提出更高的需求。盡管指令優化對于指令導向的語言任務（例如自然語言推理、問答、翻譯等）普遍有效，但為了使其在推理任務上也能比傳統大模型微調表現得更好，一方面考慮在指令優化的監督樣本中包含結構化提示（比如思維鏈提示，思維圖提示，思維樹提示等）。結構化提示通過將復雜推理問題分解成多個中間推理步驟，可以從多維度多角度有效增強大模型的邏輯推理能力。然而，復雜問題的精準推理過程會生成多種不同的提示推理路徑，其中任意邏輯推理步驟都有可能出錯，這會導致差異化的訓練和推理結果，并且降低模型訓練和推理性能。同時

62、，基于結構化提示的推理通常要求模型的規模足夠大以提供全面的信息，但需要消耗巨大的計算能力和推理成本，而網絡稀缺的計算、傳輸等多維度資源將限制推理性能。因此，需要設計適用于網絡的高效結構化提示優化方案（比如，思維鏈提示優化方案），使得網絡即使在多維度資源受限時，仍然能生成并且判別合理的提示樣本來引導較大模型的訓練和推理過程，同時保證訓練和推理的合理性與準確性。另一方面，可以考慮人類反饋的強化學習（RLHF），通過在指令優化步驟之后增加給定指令的人類反饋促使大模型的輸出更貼近期望的行為模式。但對大量數據進行基于 RLHF 的大模型訓練，實時獲取和處理人類反饋樣本增加了網絡負擔；同時，分布式網絡中不

63、同用戶提供的反饋樣本可能存在質量差異導致不同評估者間一致性較低。因此，也需要探索高效的基于 RLHF 的指令優化方案，例如將利用邊緣計算在靠近用戶側處進行反饋樣本緩存和預處理，保證網絡帶寬和延遲需求，以確保反饋樣本的及時傳輸和處理；其次，設計合理的反饋機制和評價標準，避免不同評估者可能存在的偏好偏差以及低質量反饋樣本影響大模型的訓練效果。（四）（四）端邊云協同推理服務端邊云協同推理服務隨著人工智能技術的飛速發展，尤其是大規模語言模型（LLMs）在自然語言處理和多模態理解任務中的廣泛應用，端邊云協同推理服務成為提升 AI 服務性能和用戶體驗的重要手段。傳統的云計算模式盡管擁有強大的計算能力，但隨

64、著大量終端設備的接入，數據傳輸帶寬和延遲問題愈發突出。因此，結合終端設備、邊緣節點與云端資源的協同推理架構逐漸成為解決上述問題的有效途徑。1.端邊云大模型部署策略端邊云大模型部署策略在這種協同架構中，邊緣節點通常部署經過壓縮和優化的小型化 LLMs，用于處理地理位置相關的數據以及個性化請求。例如，邊緣 LLMs 可以根據用戶所在位置生成更加精準的提示（prompt），這些提示隨后被傳輸到云端，結合云端強大的計算能力，生成更加復雜且符合用戶需求的響應。這種模式顯著縮短了數據傳輸的延遲，減少了通信帶寬的占用，并提升了整體的服務質量。然而，端邊云協同推理服務面臨的一個關鍵挑戰是如何在不同的計算節點之

65、間進行模型的合理切分。對于大規模 LLMs 來說，隨著模型層數的增加，計算復雜度顯著提升，這對用戶設備的計算能力提出了更高的要求。為了在保持推理性能的同時減輕 UE 的計算負擔，合理的模型切分點顯得尤為重要。通過應用模型強化學習等先進技術，可以在動態變化的信道環境中自適應地調整模型的切分點，確保在不穩定的無線網絡條件下仍能實現最優的推理效果。為了提升終端設備上的模型推理性能，研究者提出了多種協同學習策略。例如，CD-CCA 框架通過云端的大型 MLLMs 增強設備端壓縮模型的泛化能力。該框架包括設備到云端的上行鏈路、云端知識蒸餾和云到設備的下行鏈路優化。在上行鏈路中，利用不確定性引導的令牌采樣

66、策略（UTS）來過濾設備端產生的分布外令牌，減少上行傳輸成本并提高訓練效率。在云端，基于適配器的知識蒸餾（AKD）方法將大型 MLLMs 的知識傳遞給設備端的小型模型，并通過動態權重更新壓縮策略（DWC）對設備端模型的更新參數進行自適應選擇和量化，提升傳輸效率和模型性能。為了應對各種動態環境下的推理任務，諸如 FlexInfer 框架等還提出了多種優化算法，能夠根據任務需求靈活調整推理輸入和模型配置，從而實現精度與延遲之間的平衡28。例如，通過在設備端處理簡單任務并將復雜任務傳輸至云端，系統能夠優化資源使用，同時滿足高效、低延遲的推理需求。這種靈活的配置機制使得邊緣和云端能夠針對不同任務提供優

67、化的解決方案，確保了推理任務在多個節點之間的高效協作。此外，LoRA（低秩適應）技術的引入，使得終端設備能夠在計算資源有限的條件下進行模型微調。這種技術通過在模型參數矩陣中添加低秩路徑，顯著減少了微調所需的存儲空間和計算資源，從而實現了在邊緣設備上高效的推理和定制化服務29。結合這些技術，邊緣節點可以快速響應用戶請求，生成初步的推理結果，而復雜的分析則由云端完成，確保了系統的響應速度和計算資源的高效利用。在數據隱私保護方面，端邊云協同推理服務也展現了獨特的優勢。通過在邊緣節點進行數據的初步處理和過濾，可以有效降低敏感數據在傳輸過程中被截獲的風險。此外，邊緣計算能夠結合本地數據進行模型訓練和推理

68、，減少了將所有數據上傳至云端的必要性，從而進一步增強了數據隱私保護的力度。綜上所述，端邊云協同推理服務為大規模 AI 模型的高效部署提供了技術支撐，通過智能的任務分配和優化機制，實現了服務的高效性、定制化和安全性。這一框架不僅可以應對復雜多變的網絡環境，還能在資源受限的條件下提供高質量的 AI 服務。隨著技術的不斷進步，端邊云協同推理服務將在更多場景中展現其優勢，為人工智能技術在未來的廣泛應用奠定堅實的基礎。2.端邊云大小模型協同推理策略端邊云大小模型協同推理策略隨著大模型參數規模的增加，從幾百億到幾千億到現在 GPT4 的萬億參數，其對計算和存儲成本的消耗也越來越大。在網絡內部署大模型時，需

69、要考慮可能合適的部署方式。大模型捕捉復雜模式與知識的能力展現出更強的泛化能力，但其運行需耗費大量網絡及計算成本；相較之下，小模型更專注于特定場景或者任務，相對而言參數較少、結構簡單、計算量較少，適用于處理規模較小、簡單的數據集，但其智能能力可能受到模型大小、規模等因素的限制。由于端邊側的自身的計算、存儲和模型資源限制，可以在網絡的端邊部署和運行小模型或者輕量化的大模型（例如采用量化、模型剪枝、模型拆分等輕量化技術對大模型做小型化處理），以在盡可能保持模型性能的前提下降低網絡、計算資源開銷，同時在網絡資源充足的云數據中心部署大模型。因此，考慮探索端邊云大小模型的協同推理來充分發揮大小模型各自的優

70、勢。每一次協同推理服務過程，首先由端邊側小模型執行簡單推理任務，進而根據初步推理結果或者數據的復雜度，決定將部分或者全部數據發送至邊緣設備、云數據中心做進一步處理；云端大模型或者邊緣側大模型通過多模態數據對齊、多模態模型融合等技術來對接收到的數據進行深度協同推理和優化模型，并將更新結果發送回設備端。同時，可以考慮在端邊緩存頻繁處理任務和數據，減少冗余的計算和推理。另外，也可以考慮大小模型的遷移學習，利用云端大模型在不同任務上學到的知識，通過知識遷移、特征遷移、增量式遷移等技術，將大模型學到的先驗知識、特征等遷移到邊緣側或者終端的輕量化模型，幫助模型更快、更準確地適應新任務或新環境。（1）服務需

71、求背景服務需求背景大模型一路發展下來，無論是 OpenAI 的 ChatGPT，還是國內的文心一言，Kimi 和豆包等，通常都部署在云端。這些大模型體積龐大，適用于復雜任務的高級推理、數據分析和上下文理解。然而，云端模型不僅需要大量計算資源，還要求用戶上傳數據。出于成本和數據隱私安全的考慮，越來越多的模型和應用廠商開始選擇將大模型部署在端側。實際上，Meta、谷歌、微軟等大型科技公司在發布大模型時，通常會提供大中小三種模型套裝，其中最小的模型參數基本都在 10B 以下，并且有些模型專門為手機等大眾終端設備進行了適配。例如，微軟在開發者大會上發布了專為手機端側推理設計的 Phi-3 系列模型；A

72、pple 也在 WWDC 開發者大會上發布了一個 3B 的端側小模型。此外，終端廠商也在積極嘗試將模型集成到 PC 和手機中，這就是目前熱議的“AI PC”和“AI 手機”等概念。而在 6G 時代，機器人、無人車等新型終端對于智能的要求也會越來越高，內置的端側模型能夠幫助這些終端實時處理本地的任務推理需求。然而，如前所述，受限于端側的算力、內存和局部觀測條件，端側大模型在實際運行中依然存在很多挑戰。6G 網絡正可以通過以邊助端，云邊端協同來提升端側模型生成、更新效率和推理的準確度，以實現智能普惠的愿景。（2）端邊云協同推理服務的操作類型端邊云協同推理服務的操作類型對于端側大模型來說，簡單的推理

73、任務可以直接在本地閉環，一些復雜的、推理要求高的任務就需要通過網絡邊側進行協同推理，通過網絡的內生智能能力來進一步增強，甚至對一些實時性不敏感，例如長期規劃類的任務還可以進一步提交給云端進行協同推理。通過 6G 網絡以邊助端來增強端側大模型推理的操作，可以總結為以下幾類：1)增強端側大模型推理置信度。端側大模型在進行推理時，如果當前的推理置信度不足，則通過網絡上部署的更強大的模型來進行增強，提供更準確的推理結果。對于沒有實時性要求的推理任務，這個增強大模型可以部署到云端；但是網絡提供的增強大模型可以提供更實時性的服務，并且在隱私保護和能耗上都更加具有優勢。2)提升端側大模型推理效率。對于現在主

74、流的生成式大模型來說，推理時需要逐個 token 進行計算輸出，效率比較低。為此，網絡可以提供推理效率提升的服務，以隨機推理為例，在網絡上部署端側大模型的拷貝模型（可以通過蒸餾，剪枝，量化等方式生成，也可以是獨立生成），利用網絡更強大的計算和并行能力提前生成更多 token，最后提交給端側大模型來一次性進行校驗和最后輸出，從而提升端側大模型的推理效率。3)降低端側大模型的部署門檻?？紤]到有些終端的算力和內存相對比較弱，例如 3GPP 定義的 RedCap（Reduced Capability）所覆蓋的終端，其在部署大模型上面臨較大的門檻。為此，網絡可以和終端進行協同部署，利用網絡算力和終端進行

75、協同拆分推理，并且模型分拆的比例規模還可以根據端側的算力和通信狀態進行調整。相比在云上進行模型拆分，網絡可以更高效的掌握終端和信道狀態變化，從而優化拆分模式，提供最優的協同推理效果。4)使能多個端側智能體協同。部署了大模型的終端智能體，其個體行為之間存在需要協作的場景，例如工廠機器人之間共同完成一個搬運工作，無人車輛之間的避讓和轉向選擇等。然而，終端智能體受限于其單體的觀測空間，無法做到全局的最優規劃，或者就需要更加復雜和長時間的交互。利用網絡的全局視角，結合 6G 的通感一體能力，可以為多個端側智能體間的協同推理提供更多的全局信息，通過全局規劃給出最優的決策空間。（3）網絡需要具備的能力網絡

76、需要具備的能力網絡為端側大模型提供協同推理服務，是在不同廠家的異構設備之間進行的，為此需要設計標準化的智能協作框架，支持協作服務的各類操作類型，對端邊云協同推理進行統一管理和配置，包括協作實例的創建、協作類型的確定和配置，協作流程的監控和優化等。3.面向面向 AI Agent 的端邊云協同方案的端邊云協同方案隨著大模型在自然語言處理、計算機視覺和機器人控制等領域所涌現出的強大的通用能力，各行各業都已經開展了大模型的應用研究。由于大模型預訓練需要龐大的算力和海量的數據資源，早期的大模型均部署在云端。隨著存儲和計算芯片的發展，將預訓練好的大模型輕量化后在終端側部署推理也逐漸成為業界大模型應用的趨勢

77、。相對于云端大模型，終端大模型有利于降低端到端時延，提升用戶體驗。然而，終端設備的計算和存儲資源始終有限，輕量化后的大模型在推理性能上會受到一定程度的影響。為了解決這一問題，現有技術方案采用模型分割的方法來進行端云或者端邊的協同推理，將端側的計算量分流至網絡邊緣或者云服務器中，實現準確性和端到端時延的折中?，F有的基于模型分割的端邊云協同大模型輕量化方法雖然能夠在推理準確性和端到端時延性能上取得折中，但存在以下技術問題：(1)模型分割算法復雜度高，分割點尋找困難?，F有方案中的模型分割往往采用遍歷深度神經網絡中的所有隱藏層的方法，來獲取最佳分割方案以保證在達到所要求的端邊計算卸載量的同時、端到端時

78、延最小，而大模型的隱藏層層數通常較深，所以這種窮搜的方法復雜度較高。(2)基于分割后的模型在進行端邊或端云協同推理時需要傳輸中間隱藏層的高維特征，由于推理性能對隱藏層特征的變化可能十分敏感，當無線信道環境較差時，將導致推理性能嚴重下降。本文提出了一種基于端邊云協同的大模型輕量化部署方法，該方法通過在終端部署剪枝后的大模型實現輕量化部署，并通過在網絡邊緣部署與終端大模型進行協同推理的模塊來保證推理性能。一方面，由于不需要進行模型分割，該方法避免了復雜度高的分割點尋找算法；另一方面，端邊協同推理時通過網絡傳輸的是端側輕量化模型的推理結果，其維度相對于中間隱藏層高維特征來說往往較小，因此最終推理性能

79、對其的變化具有一定魯棒性，所以本方案具有一定抗干擾能力。所提方法的部署框架如圖 7 所示，包括在云端部署的預訓練和性能監控模塊、在終端部署的信息采集和推理模塊以及在網絡邊緣部署的推理模塊。圖 7.端邊云協同大模型輕量化部署框架（五）（五）模型優化服務模型優化服務現有的針對無線通信 AI 模型的生命周期管理方案采用的是外掛疊加式的方法，即通過在終端設備中添加處理單元執行對模型的性能監控，這種方案存在以下技術問題：僅針對特定的 AI 任務，對于不同的任務需要額外添加監控處理單元，成本較高，無法滿足未來 6G 網絡多樣的 AI 任務場景需求；模型的重訓練沒有考慮基于端邊云協同的任務卸載，當網絡算力資

80、源不足時可能無法滿足模型優化需求。本文提出了一種面向 AI 大模型的優化服務，通過在基站端部署性能監控和算力檢查模塊，實時監控模型性能和網絡剩余算力資源，在模型性能下降時靈活利用網絡或者云端算力重新訓練模型，通過引入 AI 編排模塊來針對不同任務統一調度網絡資源，能夠滿足 6G 網絡 AI 任務場景多樣化的需求。所提方法的架構如圖 8 所示，包括 AI 任務編排、性能監控、算力檢查、信息采集、推斷和訓練控制模塊。圖 8 內生 AI 模型的生命周期管理架構四、四、案例分析案例分析生成式生成式 AI 在語義通信系統中的應用在語義通信系統中的應用1.生成式生成式 AI 與與語義通信語義通信概述概述生

81、成式 AI 是一種利用深度學習模型來生成新內容的人工智能技術。這種技術不僅僅局限于特定的任務，如圖像識別或自然語言處理，而是致力于展示全面的認知能力，包括邏輯推理、問題解決、感知和語言理解等30。通過深入學習歷史數據的復雜模式，生成式 AI 模型能夠自主地生成全新的內容，這些內容可以是文本、圖像、音頻或視頻等多種形式。生成式 AI 不是簡單地根據給定的規則或數據生成輸出，而是模仿人類的創造力，生成具有創新性和實用性的新內容，從而形成了人工智能生成內容（AI-Generated Content，AIGC）的概念。AIGC的優勢在于其低延遲、創造力、高效率、可擴展性和個性化定制。這些特點使得AIG

82、C 在數字藝術、音樂創作、廣告設計和產品創新等多個領域具有廣泛的應用前景。通過生成式 AI 的深度學習模型和算法，AIGC 能夠快速生成高質量的內容，同時保持創意和獨特性，滿足用戶的不同需求。其核心技術包括生成對抗網絡（Generative Adversarial Network，AIGN）、變分自編碼器（VariationalAutoencoder，VAE）、循環神經網絡（Recurrent Neural Network，RRN）等。這些技術通過不同的機制學習數據的分布，并生成新的數據實例。生成式AI 的工作過程是一個迭代的過程，需要不斷地調整模型和評估生成結果，從而得到更好的生成效果。隨著

83、大數據和計算機處理能力的不斷增強，生成式 AI 技術取得了重大進展，并在自然語言處理、計算機視覺和音頻處理等多個領域產生了巨大的影響。圖 9.兩類生成式 AI 大模型:單模態和多模態表 3.AIGC 應用和模型概覽33模型類型模型類型AIGC 應用應用AI 大大模型模型神經網絡架構神經網絡架構單模態單模態文本轉文本ChatGPT-3,Bing AIGPT-3,T5Transformer,LSTM,CNN,RNN,GAN,VAE圖像轉圖像PaintMe.AI,VizcomStyleGAN,VQ-VAEGAN,VAE,CNN,Transformer,RNN,擴散模型音頻轉音頻Murf.AI,Res

84、emble.AIWaveGAN,SpecGANGAN,VAE,RNN,CNN,Transformer多模態多模態文本轉 X文本轉圖像DALL-E 2,NightCafeDALL-E,CLIPRNN,CNN,Transformer,GAN,VAE,擴散模型文本轉視頻Synthesia,PictoryCogVideo,PhenakiTransformer,VAE,CNN,RNN,GAN,VAE,FCN文本轉音頻Murf AI,PlayHTWaveNet,AudioLMCNN,LSTM,RNN,FCNX 轉文本圖像轉文本TranskribusNIC,CLIPTransformer,RNN,LSTM,

85、CNN視頻轉文本Google CloudVideoIntelligenceAPIVideoCLIP,VideoBERTTransformer,RNN,LSTM,CNN音頻轉文本Speak AIDeepSpeechTransformer,RNN,CNN語義通信技術是一種前沿且創新的通信技術，它不僅強調對信息的精準處理，還注重在通信過程中傳輸語義層面的信息。它打破了模塊分離優化的約束，采用端到端貫通式優化和信源信道聯合設計的技術手段，獲得通信系統的整體優化31。這種技術以任務為主體，遵循“先理解，后傳輸”的原則，從而大幅提升了通信系統的傳輸效率和可靠性。在語義通信過程中，信息的發送者和接收者會共享

86、一個語義理解的環境，使得信息的傳輸不僅限于數據本身，更包括數據背后的含義32。為實現這一目標，語義通信的發送端和接收端均具備強大的語義處理能力，從而實現信息的精準提取、高效編碼與智能解碼。在信息的發端，語義通信系統首先對原始信號進行語義分析。這一步驟的關鍵在于特征提取，即識別并提取出對后續任務至關重要的語義特征。為了降低傳輸數據量同時確保信息的完整性和準確性，系統會進一步對這些特征進行壓縮和優化。在信息的收端，語義通信系統則利用相似的機器學習技術，對接收到的數字信號進行解碼和語義重構。這一過程包括智能分析接收到的信號，根據發送方和接收方共享的語義理解環境，恢復出原始信息中的語義特征。隨后，系統

87、會對這些特征進行重構，生成與發送方原始信息盡可能一致的語義表示，以確保信息的精準解碼和重構。2.生成式生成式 AI 大模型驅動的語義通信系統大模型驅動的語義通信系統生成式AI大模型驅動的語義通信系統是一種將生成式AI模型與語義通信相結合的創新網絡架構，整合了生成式 AI 的廣泛認知能力和語義通信的高效語義信息傳輸33。該網絡架構主要包括物理基礎設施、數據平面和網絡控制平面三個部分：物理基礎設施：由多個無線終端設備、接入點、基站、邊緣服務器和中央云服務器等組成。這些實體不僅執行傳統通信功能，還配備了生成式 AI 模型和知識庫，以支持 AIGC 服務。無線終端設備可以上傳數據，并通過接入點和基站下

88、載知識和訓練好的模型，實現知識的整合和知識庫的更新。邊緣節點能夠利用自身和連接的無線終端設備的知識對生成式 AI 模型進行預訓練和微調，并將訓練好的模型部署到相應的無線終端設備上34。中央云服務器則擁有龐大的存儲和計算資源，用于大規模生成式 AI 模型的預訓練和提供全局的 AIGC 服務。數據平面：AIGC 數據在該網絡的數據平面上生成、傳輸和評估。生成式 AI模型負責生成包括單模態和多模態在內的 AIGC 信息。這些信息通過語義通信方式進行傳輸，利用語義編碼器和信道編碼器提取并壓縮關鍵語義信息，隨后通過無線信道進行傳輸。接收端則通過信道解碼器和語義解碼器對數據進行恢復，以減少傳輸過程中的失真

89、31。此外，數據平面還負責從任務完成度和相關性等多個維度評估 AIGC 信息的有效性。網絡控制平面：由語義層和生成層組成，分別負責處理語義信息和管理生成式 AI 模型。在訓練生成式 AI 模型和語義通信模型的過程中，知識管理扮演著至關重要的角色。構建、共享和更新知識庫是核心環節，這涉及到原始數據的收集、分類、編碼，以及對知識庫的持續監測和更新，以確保其動態更新和可靠性35。網絡控制平面還承擔著網絡管理的職責，以適應語義通信的需求，并充分發揮 AIGC 的優勢，如低延遲、創造力、效率、可擴展性和個性化，為用戶提供高效、智能的通信服務。圖 10.生成式 AI 大模型驅動的語義通信系統在生成式 AI

90、 大模型驅動的語義通信系統中，資源分配策略需要綜合考慮計算資源和通信資源，根據實時網絡狀態、應用需求以及數據語義值來實現網絡資源的智能化與動態化管理。1)計算資源分配：計算資源涵蓋了處理能力、存儲以及內存等多個方面，構成了生成式 AI 大模型驅動的語義通信系統的核心支撐。由于網絡流量的波動性和負載的動態性，靜態的資源分配方式已無法滿足當前復雜多變的網絡環境。AI 技術的引入，使得系統能夠根據實時網絡需求進行動態計算資源分配，實現高效響應。AI 模型通過分析歷史網絡行為，利用機器學習算法預測未來的資源消耗模式，從而做出精準的資源分配決策36。這種基于預測的分配方式，不僅能夠提高資源利用率，還能減

91、少資源浪費。在多樣化的無線網絡環境中，不同的應用程序對計算資源的需求各不相同。例如，高清視頻流處理需要強大的計算能力和充足的內存，而物聯網傳感器數據傳輸則可能只需較小的計算工作量，但對存儲的要求較高。AI 模型能夠實時監控網絡狀態和應用程序的資源需求，并依據這些實時和歷史數據，智能地重新分配計算資源35。通過動態調整計算資源，生成式 AI 大模型驅動的語義通信系統能夠有效應對網絡流量變化，提升整體網絡性能和用戶滿意度。2)通信資源分配：在語義通信系統中，通信資源分配的策略也呈現出智能化、上下文感知和用戶中心化的特點37。傳統的通信資源分配主要關注數據吞吐量和帶寬效率等位相關的指標，而生成式 A

92、I 大模型驅動的語義通信系統則更加關注數據的語義或含義，旨在實現更高效、更精準的信息傳遞。為了實現這一目標，AI 模型被用于理解和解釋數據，并根據數據的語義值對其進行優先級排序。這種基于語義的優先級排序，能夠確保重要的、相關的語義信息得到優先傳輸，從而提高信息傳遞的及時性和可靠性。在基于置信度的資源分配方案中，系統會根據數據的置信度來決定其傳輸優先級，從而確保高置信度的數據得到優先傳輸38。而在多模態提示方面，系統則會利用視覺和文本等提示信息來恢復和增強數據的語義上下文，提高消息恢復的穩定性和準確性39。此外，由于語義通信中不同的知識匹配程度會導致移動用戶觀察到不同的語義性能，因此，基于知識匹

93、配度的資源分配策略應運而生40。這種策略旨在通過優化收發器之間的知識匹配度，來提高語義通信系統的資源管理效率。同時，還有一些研究探討了生成式 AI 大模型驅動的語義通信系統中 AIGC 服務的資源分配問題，旨在通過平衡資源使用和系統需求來優化服務效率。這些創新性的通信資源分配策略，為生成式 AI 大模型驅動的語義通信系統提供了更強大的通信支持，使得系統能夠在各種復雜網絡環境中實現高效、可靠的語義信息傳遞。在文獻34中，研究人員針對生成式 AI 大模型驅動的語義通信系統進行了仿真實驗。在實驗中，研究人員結合了 ViT 和 GPT-2 的圖像-文本模型來實現圖像到文本的轉換，以及關鍵詞提取和目標識

94、別。此外，還采用了 Stable Diffusion2.1 模型作為全局 GAI，用于從接收到的提示中生成 AI 圖像。語義通信部分則采用了深度卷積網絡和 Transformer 驅動的語義解碼器進行語義分割和恢復。所有模型都在信噪比為 0 dB 的 AWGN 信道上進行訓練，以傳輸 300 張不同內容的圖像。使用 Adam 優化器對神經網絡進行訓練，初始學習率為 510-4。表 4：在下行鏈路傳輸 300 張圖像所需的比特數以及 PSNR 性能34不同的圖像傳輸方案不同的圖像傳輸方案下行鏈路所需比特數下行鏈路所需比特數PSNR（峰值信噪（峰值信噪比）比）集成生成式 AI 的傳統通信1.281

95、0528.05語義通信415.9910428.25生成式 AI 大模型驅動的語義通信3.0310428.64表 4 中的仿真結果顯示，生成式 AI 大模型驅動的語義通信系統在傳輸 300張 1024x1024 像素的圖像時，僅需要 3.03104比特，相較于文獻41中的語義通信方案減少了 2.96104比特，與集成生成式 AI 的傳統通信方案相比更是減少了 9.77104比特。在圖像傳輸質量方面，生成式 AI 大模型驅動的語義通信系統的 PSNR 得分為 28.64，略高于其他兩種方法，表明該框架在減少比特數的同時，還能保持較高的圖像傳輸質量。也就是說，通過利用生成式 AI 大模型，語義通信系

96、統可以顯著減少圖像傳輸所需的比特數，從而有效節省了帶寬資源。這些結果表明生成式 AI 大模型驅動的語義通信系統在提供高質量語義通信服務的同時，能夠實現準確的語義傳輸，為圖像傳輸提供了一種新的高效方法。五、五、未來展望未來展望隨著科技的飛速發展，未來的通信網絡正逐步邁向一個全新的時代。在這個時代，AI Agent 將有望顛覆傳統的通信模式，引領一場前所未有的變革。然而，這一變革并非一蹴而就，需要我們在架構設計和協議制定上做出深入的探索和研究。AI Agent 作為未來網絡的核心元素，其潛力巨大，能夠自主決策、優化網絡性能，并為用戶提供更加個性化的服務。但要實現這一愿景，我們必須設計出與之相匹配的

97、架構和協議，以確保智能體能夠在復雜的網絡環境中高效、穩定地運行。這需要我們深入研究智能體的工作原理，理解其與傳統網絡架構的差異，從而構建出更加靈活、可擴展的網絡體系。與此同時，未來的網絡將提供泛在的AI 服務，這意味著云、核心網、無線網和終端等各個層面都需要實現緊密的協同。這種協同不僅要求技術上的無縫對接，更需要我們在策略、管理和運維等方面做出全面的優化。只有這樣，我們才能確保 AI 服務能夠覆蓋到網絡的每一個角落，為用戶提供無處不在的智能體驗。網絡數字孿生作為解決 AI 概率性和網絡高可靠性之間矛盾的主要途徑，正逐漸受到業界的廣泛關注。通過將網絡實體與數字模型進行實時映射和交互，我們可以更加

98、精準地預測和應對網絡中的潛在風險，從而提高網絡的穩定性和可靠性。同時，數字孿生技術還能夠與大模型和 AI Agent 技術相互融合、相輔相成，共同推動未來網絡的發展。從端到端的視角來看，我們需要體系化地設計面向智能體的網絡架構、安全可信機制及通信組網機制。這要求我們不僅要關注單個技術點的突破，更要從整體上把握網絡的發展趨勢，確保各個層面之間的協同和一致性。只有這樣，我們才能構建出一個真正智能、高效、安全的未來網絡。智能體作為未來 6G 網絡發展的新動能，其重要性不言而喻。我們期待與業界合作伙伴攜手共進，共同推進 6G 智能體的系統創新、標準制定及產業試點應用。通過我們的共同努力，相信未來的通信

99、網絡將變得更加智能、更加高效，為人類社會的發展注入新的活力。六、六、參考文獻參考文獻12023 年 11 月 vivo 開發者大會,https:/ G,Liu J,Li C,et al.Cloud-Device Collaborative Learning forMultimodalLargeLanguageModelsC/ProceedingsoftheIEEE/CVF Conference on Computer Vision and Pattern Recognition.2024:12646-12655.7Lin Z,Qu G,Chen Q,et al.Pushing large la

100、nguage models to the6G edge:Vision,challenges,and opportunities.arXiv preprintarXiv:2309.16739,2023.8Ding N,Qin Y,Yang G,et al.Parameter-efficient fine-tuning oflarge-scalepre-trainedlanguagemodels.NatureMachineIntelligence,2023,5(3):220-235.9Zhang Z,Yang Y,Dai Y,et al.Fedpetuning:When federatedlear

101、ningmeetstheparameter-efficienttuningmethodsofpre-trained language models.ACL,2023:9963-9977.10DouillardA,FengQ,RusuAA,etal.DiLoCo:DistributedLow-Communication Training of Language Models.arXiv preprintarXiv:2311.08105,2023.11Ye R,Wang W,Chai J,et al.OpenFedLLM:Training Large LanguageModels on Decen

102、tralized Private Data via Federated Learning.arXiv preprint arXiv:2402.06954,2024.12Xu M,Cai D,Wu Y,et al.Fwdllm:Efficient fedllm using forwardgradient.arXiv:2308.13894,2024.13Z.Qin,D.Chen,B.Qian,B.Ding,Y.Li,and S.Deng,Federatedfullparametertuningofbillion-sizedlanguagemodelswithcommunication cost u

103、nder 18 kilobytes,in ICML,2024.14Lin Z,Zhu G,Deng Y,et al.Efficient parallel split learning overresource-constrained wireless edge networks.IEEE Transactionson Mobile Computing,2024.15Liu Y,Agarwal S,Venkataraman S.Autofreeze:Automaticallyfreezing model blocks to accelerate fine-tuning(2021).arXivpr

104、eprint arXiv:2102.01386.16Li S,Yuan G,Dai Y,et al.Smartfrz:An efficient training frameworkusingattention-basedlayerfreezing.arXivpreprintarXiv:2401.16720,2024.17KuangW,QianB,LiZ,etal.Federatedscope-llm:Acomprehensive package for fine-tuning large language models infederated learning.arXiv preprint a

105、rXiv:2309.00363,2023.18RajbhandariS,RasleyJ,RuwaseO,etal.Zero:Memoryoptimizations toward training trillion parameter models,SC20:InternationalConferenceforHighPerformanceComputing,Networking,Storage and Analysis.IEEE,2020:1-16.19Fan T,Kang Y,Ma G,et al.Fate-llm:A industrial grade federatedlearning f

106、ramework for large language models.arXiv preprintarXiv:2310.10049,2023.20ZhangJ,VahidianS,KuoM,etal.TowardsbuildingthefederatedGPT:Federated instruction tuning.IEEE ICASSP,2024:6915-6919.21Jiang Feibo et al.“Personalized wireless federated learning forlarge language models.”ArXiv abs/2404.13238(2024

107、):n.pag.22McMahan,H.B.et al.“Communication-efficient learning of deepnetworks from decentralized data.”International Conference onArtificial Intelligence and Statistics(2016).23Thapa Chandra et al.“SplitFed:When federated learning meetssplit learning.”ArXiv abs/2004.12088(2020):n.pag.24ZhangJianyiet

108、al.“TowardsBuildingtheFederatedGPT:Federated Instruction Tuning.”ArXiv abs/2305.05644(2023):n.pag.25Jiang Jing et al.“Low-parameter federated learning with largelanguage models.”ArXiv abs/2307.13896(2023):n.pag.26Fan Tao et al.FATE-LLM:A industrial grade federated learningframework for large languag

109、e models,ArXiv abs/2310.10049(2023):n.pag.27Chen Chaochao et al.“Federated large language model:Aposition paper.”ArXiv abs/2307.08925(2023):n.pag.28Yang Z,Ji W,Wang Z.Adaptive joint configuration optimization forcollaborative inference in edge-cloud systemsJ.Science ChinaInformation Sciences,2024,67

110、(4):149103.29Chen Y,Li R,Yu X,et al.Adaptive Layer Splitting for Wireless LLMInference in Edge Computing:A Model-Based ReinforcementLearning ApproachJ.arXiv preprint arXiv:2406.02616,2024.30R.Gozalo-Brizuela and E.C.Garrido-Merchan,“A Survey of GenerativeAI Applications,”arXiv preprint arXiv:2306.02

111、781,2023.31H.Xie,Z.Qin,G.Y.Li,and B.-H.Juang,“Deep Learning EnabledSemanticCommunicationSystems,”IEEETransactionsonSignalProcessing,vol.69,pp.26632675,2021.32Q.Lan,D.Wen,Z.Zhang,Q.Zeng,X.Chen,P.Popovski,and K.Huang,“What is Semantic Communication?A View on Conveying Meaning inthe Era of Machine Inte

112、lligence,”Journal of Communications andInformation Networks,vol.6,no.4,pp.336371,2021.33C.Liangetal.,GenerativeAI-drivenSemanticCommunicationNetworks:Architecture,TechnologiesandApplications,inIEEETransactions on Cognitive Communications and Networking,2024,doi:10.1109/TCCN.2024.3435524.34L.Xia,Y.Su

113、n,C.Liang,L.Zhang,M.A.Imran,and D.Niyato,“Generative AI for Semantic Communication:Architecture,Challenges,and Outlook,”arXiv preprint arXiv:2308.15483,2023.35H.Du,R.Zhang,Y.Liu,J.Wang,Y.Lin,Z.Li,D.Niyato,J.Kang,Z.Xiong,S.Cui et al.,“Beyond Deep Reinforcement Learning:A Tutorial onGenerative Diffusi

114、on Models in Network Optimization,”arXiv preprintarXiv:2308.05384,2023.36G.Liu,H.Du,D.Niyato,J.Kang,Z.Xiong,and B.H.Soong,“Vision basedSemantic Communications for Metaverse Services:A Contest TheoreticApproach,”arXiv preprint arXiv:2308.07618,2023.37Y.Xu,G.Gui,H.Gacanin,and F.Adachi,“A Survey on Res

115、ourceAllocation for 5G Heterogeneous Networks:Current Research,FutureTrends,and Challenges,”IEEE Communications Surveys&Tutorials,vol.23,no.2,pp.668695,2021.38B.Du,H.Du,H.Liu,D.Niyato,P.Xin,J.Yu,M.Qi,andY.Tang,“YOLO-based Semantic Communication with Generative AI-aidedResource Allocation for Digital

116、 Twins Construction,”arXiv preprintarXiv:2306.14138,2023.39H.Du,G.Liu,D.Niyato,J.Zhang,J.Kang,Z.Xiong,B.Ai,and D.I.Kim,“GenerativeAI-aidedJointTraining-freeSecureSemanticCommunicationsviaMulti-modalPrompts,”arXivpreprintarXiv:2309.02616,2023.40L.Xia,Y.Sun,D.Niyato,X.Li,and M.A.Imran,“Joint User Asso

117、ciationand Bandwidth Allocation in Semantic Communication Networks,”IEEETransactions on Vehicular Technology,2023.41D.Huang,X.Tao,F.Gao,and J.Lu,“Deep Learning-Based ImageSemantic Coding for Semantic Communications,”in 2021 IEEE GlobalCommunications Conference(GLOBECOM).IEEE,2021,pp.16.七、七、主要貢獻單位和編寫人員主要貢獻單位和編寫人員貢獻者貢獻者單位單位吳佳駿、陳天驕、崔瑩萍、鄧娟中國移動王飛、黃歡歡、彭程暉華為孫萬飛中信科移動周通vivo沈鋼上海諾基亞貝爾倪萬里、秦志金、侯瑋琛清華大學于小雪、李榮鵬、張宏綱浙江大學劉貽靜、汪云翔電子科技大學程樂、章輝南開大學楊一帆、楊錚、馬瑛、曾捷北京理工大學