1、1/126摘要摘要在過去幾十年中，通信領域的研究主要集中在如何準確有效地將符號從發送端傳輸到接收端，即語法通信。隨著無線通信系統的發展，系統容量逐漸接近香農極限。香農和韋弗將語義通信劃分為通信的第二個層次。區別于傳統通信將符號的準確傳輸作為目標，語義通信的主要目的是實現語義信息的準確交互。語義通信專注于傳遞信息的含義和重要性，而非僅僅關注符號本身，主要用于解決如何精準傳遞發送符號的含義，以及接收方如何以期望的方式影響系統行為的問題。通過對信息語義的提取、編碼和傳輸，語義通信可大幅提升通信效率。隨著新一代通信技術和人工智能技術的蓬勃發展，語義通信在人機交互、全息通信、智能制造等領域展現出廣闊的應

2、用前景，受到了全球學術界和工業界的廣泛關注。本白皮書全面介紹了語義通信的基本原理、技術模塊、應用領域以及關鍵挑戰等，旨在為語義通信在下一代無線網絡中的應用提供參考和指導。白皮書詳細討論了語義通信的關鍵模塊，包括語義知識庫構建、語義信道聯合編解碼、語義信息傳輸以及與現有系統的兼容性，為讀者提供了深入了解語義通信技術的基礎。進一步探討了單模態和多模態語義通信系統架構，同時研究了抑制語義噪聲的方法，為實現多模態多用戶語義通信提供了綜合視角。白皮書還關注了語義通信與其他網絡的結合，包括數字通信網絡、認知網絡、分布式網絡、安全網絡以及衛星網絡等，旨在實現高效、可靠和智能化的語義傳輸。最后，分析了語義通信

3、的現有和潛在應用場景，并探討了相關的挑戰，同時展望了語義通信領域的未來發展，為讀者提供了對未來研究和創新方向的啟示。2/126目 錄摘要.11.語義通信概述.62.語義通信關鍵模塊.82.1 語義知識庫.82.1.1 語義知識庫使能的現代語義通信.82.1.2 面向語義通信的語義知識庫結構體系.102.1.3 語義知識庫的構建方法.112.1.4 語義知識庫對語義通信的支撐示例.122.2 語義-信道聯合編解碼.142.2.1 語義編解碼.142.2.2 語義信道聯合編解碼.152.3 語義信息傳輸.162.3.1 語義信息的傳輸與挑戰.172.3.2 應對現代通信挑戰：語義信息傳輸系統的示例

4、.182.4 語義通信與現有系統的兼容性.202.4.1 語義通信與信源編碼兼容.202.4.2 語義通信與經典通信系統的分層架構兼容.253.單模態語義通信.283.1 面向文本的語義通信.283.2 面向語音的語義通信.313.3 面向圖像的語義通信.353.4 面向視頻的語義通信.373.4.1 視頻傳輸背景.373.4.2 語義視頻傳輸.373.4.3 語義視頻會議.383.4.4 小結.404.語義噪聲抑制.414.1 魯棒的文本語義通信.413/1264.2 魯棒的語音語義通信.424.3 魯棒的圖像語義通信.435.多模態語義通信.465.1 多模態語義通信架構.465.1.1

5、多模態語義通信中的模態融合設計.475.1.2 多模態語義通信中的抗噪性設計.495.2 多任務的語義通信.495.2.1 多任務語義通信系統研究動機.495.2.2 多任務語義通信系統框架.515.2.3 多任務語義通信主要技術和未來展望.525.3 多用戶的語義通信.535.3.1 多用戶語義通信主要技術.535.3.2 多用戶語義通信系統架構.545.3.3 多用戶語義通信資源配置.556.數字語義通信與波形優化.576.1 數字語義通信網絡.576.2 基于 OFDM的語義通信波形優化.596.3 全雙工語義通信.616.4 基于可預測信道的語義通信.647.語義通信中的資源管理.67

6、7.1 語義通信中的資源分配模型構建.677.2 資源分配的優化目標.687.3 語義通信中的資源管理策略.697.4 語義混合自動重傳請求.707.4.1 傳統混合自動重傳技術.707.4.2 語義混合自動重傳系統.717.4.3 小結.737.5 語義錯誤檢測.747.5.1 傳統校驗檢錯方法.747.5.2 語義相似度檢測技術.757.5.3 句子語義相似度檢測.764/1267.5.4 小結.788.分布式語義通信.798.1 多模態語義中繼架構.798.1.1 多模態語義中繼架構組成與部署.818.1.2 多模態語義中繼架構優勢.828.2 分布式協同設備-服務器推理.838.2.1

7、 分布式協同設備-服務器推理組成與部署.838.2.2 分布式協同設備-服務器推理實驗性能分析.849.語義通信中的安全挑戰與對策.869.1 語義通信中的模型安全.869.1.1 對抗性攻擊與防御.879.1.2 投毒攻擊與防御.889.1.3 未來展望.899.2 語義通信中的密碼技術.899.3 語義通信中的隱私保護.929.4 語義水印安全通信.9410.面向衛星系統的語義通信.9810.1 衛星系統中的高效語義傳輸.9810.1.1 多星語義傳輸系統.9910.2 衛星系統中的高可靠性語義傳輸.10010.2.1 低鏈路預算下的語義傳輸.10010.2.2 基于語義傳輸的衛星波束賦形

8、.10010.2.3 基于信道預測的語義傳輸.10110.3 衛星系統中的智能語義傳輸.10111.應用場景.10311.1 全息通信.10311.2 自動駕駛.10511.3 數字平安鄉村.10611.4 工業智能制造.10711.5 智慧儀表.10812.關鍵挑戰.1095/12612.1 面向語義信息論的挑戰.10912.2 基于大模型的語義通信.11112.3 標準化.11213.總結與展望.11414.參考文獻.11515.縮略語列表.1246/1261.語義通信概述語義通信概述香農和韋弗指出，通信可分為語法層、語義層和語用層三個層次。依托于香農經典信息論的傳統通信屬于語法層，用誤比

9、特率、誤符號率和傳輸速率等度量標準評估網絡性能，并不考慮符號的含義，主要用于解決比特或符號正確傳輸的技術難題。語義通信專注于傳遞信息的含義和重要性，而非僅僅關注符號本身，主要用于解決如何精準傳遞發送符號的含義，以及接收方如何以期望的方式影響系統行為的問題。雖然語義通信與語法通信同步被提出，但一直以來由于技術水平和場景需求的限制，人們更注重于語法通信。然而，隨著通信技術的迅猛進步，傳統通信系統的容量已經逐漸接近香農理論的極限。另一方面，隨著人工智能技術的發展和 6G 網絡中對通信智能化需求的增長，語義通信再次成為熱門技術。語義通信是一種全新的通信范式，可以在語義層面解決信息的含義表達與傳輸問題，

10、將信息含義的理解環節部分或全部移到發送端，從而減少傳輸量，降低帶寬需求。語義通信與傳統通信的區別如下：第一是信息的表征方式，語義通信面向通信場景和任務，將符號表征升級為語義特征，使信源內容的語義特征提取和理解移到發送端。第二是服務質量評價準則。語法通信通常以誤符號率、丟包率等指標衡量服務質量，無法直接反映用戶體驗等主觀質量。根據場景和任務不同，語義通信采用客觀的語義準確性和主觀的用戶感知質量來共同定義服務質量。與傳統通信相比，語義通信系統有更高的傳輸效率。由于僅傳輸重要的語義信息而不是全部信息，因此語義通信對傳輸帶寬需求較低，可以提升傳輸可靠性和傳輸容量，進而提升無線傳輸效率。同時，原始信息的

11、重建需要語義解碼模型，因此在特定條件下語義通信也可以增強數據安全。語義通信的系統模型如下圖所示，語義通信主要關注信源內容的語義表征、傳輸與重構，以及基于語義的無線傳輸。關鍵環節包括知識庫構建、語義編解碼和信道編解碼等。在理論方面，語義通信研究主要受到香農信息論的啟發，通過用邏輯概率替代統計概率，7/126定義了語義熵、語義率失真、語義信道容量，進而建立了語義通信的理論體系。另一方面，隨著人工智能和數據處理能力的提升，基于深度學習的語義特征的提取、編碼和傳輸等算法已成功應用于不同類型的信源。語義通信在多媒體通信、增強現實、沉浸式通信等領域具有廣泛的應用前景。圖 1.1 語義通信系統模型8/126

12、2.語義通信關鍵模塊語義通信關鍵模塊2.1 語義知識庫語義知識庫2.1.1 語義知識庫使能的現代語義通信語義知識庫使能的現代語義通信圖 2.1 語義知識庫使能的現代語義通信架構隨著移動通信和互聯網技術的快速發展，高速率、低時延的無線接入需求急劇增加，傳統通信系統已趨近于香農理論極限，因此迫切需要新的通信技術的突破。語義通信作為一種內生智能的新型類腦信息交互機制，其語義元素提取、識別、理解、傳輸和推理過程與人類間信息傳輸表達類似。在傳統通信中，信源符號將按照預設的編碼方式映射到比特碼流中，其映射函數基于實踐經驗與準確的數學模型進行設計。在語義通信中，信源將被基于人工智能算法的編碼系統映射到基于語

13、義基（Seb）的語義流中，其映射函數的確立基于數據與模型雙重驅動的神經網絡體系1。傳統通信在符號比特流的基礎上進行信號處理，與傳統通信方式不同，語義通信在語義基的基礎上進行信號處理。語義通信中的最小傳輸與處理單元為語義基，目前語義基還沒有明確的定義。廣義上來說，所有從源信息提取的語義相關的特征都可以視為語義基。不過，不同方法提取的語義特征或者不同形式的語義特征，肯定都有其不同的特點，其中9/126一部分可以明顯判斷其優劣性，而另外一部分就需要根據具體的通信任務和需求來進行判斷其優劣性了。這也是語義基具有不確定性的原因之一，因為同一條確切的信息背后所包含的語義元素在不同的通信節點中可能會有不完全

14、一致的理解。因此，關于語義基的定義、獲取方式，以及多模態通用統一的語義提取仍是需要深入研究的課題。語義知識庫是語義基框架研究的一個方向，其是一種結構化的且具備記憶能力的知識網絡模型，可以為數據信息提供相關的語義知識描述。如圖 2.1 所示，面向語義通信的語義知識庫可分為信源知識庫、信道知識庫、任務知識庫，分別為信源數據（如文本、圖片、視頻等）、信道傳輸環境（如傳輸中障礙物位置與形狀信息、智能反射面位置信息等）、任務需求（如圖片分類、三維重建、語義分割等）提供多層級語義知識表征1。在端到端的語義通信中，發送端根據所具備的信源、信道、任務知識庫，可以高效獲取信源數據的多層級語義知識描述、傳輸環境的

15、信道語義估計、下游任務的具體語義需求，然后對所要發送的信息進行語義信道聯合編碼；在接收端，則根據在接收端所具備的語義知識庫，對接收到的信息進行知識查詢與理解，完成語義信道聯合解碼。語義知識庫促進了語義通信的發展。例如，當前基于深度學習的信源-信道聯合編解碼方法需要針對其面向的特定任務，基于大規模的相關數據，進行大量的訓練，以獲得合適的通信模型。這種對于數據與時間資源的高消耗特性阻礙了深度信源-信道聯合編碼的推廣。而語義知識庫作為一種先驗知識，為語義通信提供了高效且規范的語義支撐，能夠有效加速信源信道-聯合編解碼網絡的訓練，減少為了各具體通信任務進行網絡訓練時對大規模數據的依賴。下一代無線通信技

16、術面臨更復雜多樣的通信場景和業務需求，采用不同通信協議的智能體進行互聯的場景需求將大量增加。通過語義知識庫進行知識共享將有助于人-機-物的高效互聯網絡建立起統一的知識背景，從而提升異構協議智能體之間的交互效率。配置不同語義通信協議的智能體對語義基的定義與表征存在很大差異，而語義知識庫可以一定程度上應對跨協議語義通信時，語義基規范不統一、物理層信號規范不統一等挑戰。因為足夠大的語義知識庫能夠涵蓋關于各協議對語義基和信號的表征規范。將其分發至跨協議語義通信的異構智能體，可以有效幫助智能體完成面向具體任務的訓練。另外，基于語義知識庫還可以靈活的更新或增添編解碼組件，而無需對智能體已有的語義層和物理層

17、模塊進10/126行刪改。通常，語義知識庫部署在邊緣服務器中，異構協議智能體只需在每一次新建連接前從語義知識庫中申請加載相應的語義知識即可，通信的過程則無需語義知識庫參與。語義知識庫為語義通信中語義元素的提取、識別、傳輸、理解和推理過程提供全局知識背景和存儲搜索服務。語義知識庫定義了高效的搜索空間，規范了搜索路徑，大大增加了語義通信的靈活性，為語義通信在更多通信場景下的應用提供了支撐，是語義通信的關鍵使能技術之一。2.1.2 面向語義通信的語義知識庫結構體系面向語義通信的語義知識庫結構體系我們首先介紹語義知識庫的結構，包含語義知識庫的接口及內部的組織形式（如圖2.2 所示）。圖 2.2 語義知

18、識庫示意圖知識庫接口設計知識庫接口設計考慮簡單的信源與信宿共享相同知識庫的情形，信源端利用知識庫獲得信源、任務以及信道的語義知識用于指導編碼和傳輸，信宿端會利用知識庫對接收到的信號進行解碼。這其中關鍵的一步是如何從知識庫中獲取所需的知識，我們將該過程稱為知識檢索。得益于我們使用語義特征向量的形式表征不同模態信號源的語義知識，我們可以使用統一的接口處理不同模態信號源的知識檢索，保證了語義庫接口的一致性與拓展性。下面定義了語義知識庫的輸入與輸出。輸入輸入：語義知識類型（信源、任務、信道三種之一）以及數據源信息（如數字、字符、文本、圖像、語音、視頻、點云等）；11/126輸出輸出：一個列表，含有多組

19、語義向量。該列表描述了輸入信號的多層級的語義知識，其中列表的長度表示層級個數。例如，對于信源語義知識檢索，輸入一張圖像，返回多組語義向量，每一組向量代表一個層級。對于物體分割任務，返回的語義向量可以刻畫、，等。語義知識的組織形式語義知識的組織形式知識庫中將包含三類子語義知識庫，分別是信源、任務、信道知識庫。知識庫內部存儲了若干組根據數據源與目標任務預先構造的語義基，以及可用于實時動態構建語義基的計算模型。在輸入新的數據源進行語義知識檢索時，若已有的語義基滿足通信任務需求，將直接利用已有的語義基對輸入數據源進行表征，返回語義知識向量；若已有語義基無法滿足通信任務需求，將利用計算模型實時構造符合需

20、求的語義基對輸入數據源進行語義知識表征。2.1.3 語義知識庫的構建方法語義知識庫的構建方法目前面向端到端語義傳輸的語義知識庫構建方法包括知識圖譜、以帶標簽的訓練數據集、特征向量集合以及大語言模型等。第一類方法基于知識圖譜構建語義知識庫。針對文本傳輸，文獻2使用描述語義信息的三元組（包含頭部實體、關系、尾部實體）構建語義知識圖譜，并且將此作為收發端語義知識庫用于指導文本傳輸中語義編解碼設計。針對語音傳輸，文獻3提出了基于知識圖譜的多層級結構的語義知識庫基礎模型，以及包含語義表達和語義符號抽象兩個步驟的語義知識庫構建方法。針對圖數據傳輸，文獻4提出了由顯式語義、隱式語義以及與用戶相關的知識推理機

21、制組成的多層級語義表征方法，并且基于模仿學習對接收端用戶的語義推理機制進行訓練以保證與發送端推理機制一致，有效降低了傳輸負載。除此之外，文獻4進一步針對語義知識庫使能的異構網絡，基于聯邦圖神經網絡方法提出了各移動邊緣服務器協同推理機制，從而使得各服務器可基于分布式語義信息樣本構建共享語義解析模型。12/126第二類方法以帶標簽的訓練數據集作為知識庫。當需要傳輸的數據信息與訓練數據集的統計特性分布不同時，文獻5利用遷移學習中的領域自適應技術，降低了數據差異對模型泛化性能的影響，使得信道編解碼方案能夠更好的適應目標領域的所需傳輸的數據。第三類方法基于深度學習模型提取的特征向量作為語義知識庫。文獻6

22、定義一組有限離散語義基向量集合為語義知識庫，通過端到端聯合訓練獲得語義編解碼器和語義知識庫。文獻7設計了一個新型的掩碼向量量化自編碼器（VQ-VAE）網絡，用來同時訓練并獲得編解碼器和離散碼本。得益于碼本的使用，在減少傳輸開銷的同時，對抗了信道語義噪聲。第四類方法基于預訓練大模型作為語義知識庫。文獻8提出了一種基于預訓練語言模型的語義重要性感知通信方案，基于量化的語義重要性，他們研究了語義重要性感知的功率分配。文獻9提出一個基于大模型的多模態語義通信框架。該方法提出基于多模態語言模型的多模態對齊，并提出了一個個性化的大語言模型語義知識庫，允許用戶通過大語言模型進行個性化的語義提取或恢復，解決了

23、語義歧義問題。綜上所述，基于知識圖譜、帶標簽的訓練數據集、特征統計特性、大語言模型的語義知識庫已被應用于端到端語義通信中并取得了一定成果。2.1.4 語義知識庫對語義通信的支撐示例語義知識庫對語義通信的支撐示例隨著未來新型智能場景（如自動駕駛、擴展現實、智慧城市等）的發展，遠程語義理解將成為無線通信領域的一大新的挑戰。以日益增加的自動駕駛場景為例，車輛高速移動的特性導致車輛所處交通場景的持續變化，從而使得車輛感知到的數據集分布也不斷變化，進而引發了零樣本分類問題的頻繁出現。因此，如何輕量高效實現零樣本圖片分類成為智能簡化通信領域至關重要的課題之一。本節將圍繞智簡通信對于輕量高效的需求，介紹一種

24、基于語義知識庫的多層級語義編碼和傳輸機制10。13/126圖 2.3 多層級特征編碼器如圖 2.3所示，設計多層級特征編碼器。首先，為了彌合視覺與語義特征分布的差異性，基于條件主標簽空間轉換方法，將視覺與語義特征投影到一個公共空間中以學習潛在公共低維特征。其次，在潛在公共低維特征監督下，分別設計視覺/語義自編碼器，訓練得到將視覺/語義特征投影至潛在特征的視覺/語義編碼器，以及將潛在特征投影至視覺/語義特征的視覺/語義解碼器。最后，基于所得的多層級語義編碼器，設計多層級圖像分類方法，分別在視覺特征空間、語義特征空間、潛在特征空間進行類別判決。判決的目的是為了確定與當前通信需求最匹配的傳輸層級。圖

25、 2.4 語義知識庫驅動的多層級特征傳輸系統框架示意圖在零樣本多層級語義編碼器基礎之上，如圖 2.4 所示，考慮語義知識庫使能的端到端多層級特征傳輸系統，其中發送端與接收端均部署有語義知識庫與多層級語義編碼器。在進行通信任務時，有四個傳輸層級可供選擇，分別為視覺特征傳輸、潛在特征傳輸、語義特征傳輸、估計類別傳輸。決定最終的發送層級前，發送端與接收端會反復進行交互，根據語義層級的抽象程度，從高到低逐層級進行是否發送該層級語義的判決。在每一層級的發送決策中，都會先進行對應的閾值判決，符合閾值要求則進行當前層級的發送；不符合，14/126則退至抽象程度更低一層級的發送決策，再次進行類似的發送判決，以

26、最終確定發送傳輸策略。該端到端多層級特征傳輸的性能主要受以下兩方面影響：(1)收、發端的語義解碼器不一定基于相同的數據集經過訓練得到，故收、發端各自的多層級語義編碼器可能不同。因此，收、發端各自對圖像樣本的多層級語義信息的提取標準可能存在差異。(2)收、發端知識庫大小的不同可能會對語義信息傳輸的結果以及所需要的傳輸層級造成影響。例如，當接收端知識庫包含所有類別語義信息時，發送端只需要傳輸相應類別的索引；否則，發送端需要將估計到的語義特征或者潛在特征發送至接收端，傳輸負載被迫提高。由此可見，收、發端語義知識庫與編解碼器的性能，決定了語義損失與傳輸時延之間是互相制約的關系。為了實現在傳輸時延約束下

27、最小化語義誤差，在何處提取信息（即利用發送端的還是接收端的多層級語義編碼器），提取哪個層級的特征（包括視覺、潛在、以及語義特征），以及在何處進行傳輸層級判決（即利用發送端的還是接收端的語義知識庫）均需要仔細設計。該工作證明了語義知識庫驅動下的多層級特征傳輸方案對遠程視覺識別任務的高效實現起到了至關重要的作用。通過該工作，我們也進一步認識到了語義知識庫對語義通信的支撐。2.2 語義語義-信道聯合編解碼信道聯合編解碼2.2.1 語義編解碼語義編解碼在傳統通信系統中，信源編碼和信道編碼是兩個互相分離的模塊。信源編碼的目的是把原始數據壓縮為比特流，達到去冗余的目的。信道編碼的目的是通過增加額外的安全碼

28、字來達到抗干擾的目的。在語義通信系統中，傳統的信源編碼和解碼模塊被語義編碼和解碼模塊所替代。語義編碼器可以提取數據的語義信息，將輸入的信號表征為具有語義信息的形式，如語義特征、語義向量等。相比于原始信息來說，傳輸語義信息所需的通信量大大減少，因此語義編碼可以有效提升網絡性能。隨著人工智能的快速發展，基于深度神經網絡的語義編碼器的設計以及取得了一定成功，可以廣泛應用于多模態數據的語義提取。15/1262.2.2 語義信道聯合編解碼語義信道聯合編解碼在傳統通信系統中，由于信源編碼和信道編碼技術已經逐漸達到各自的理論極限，因此信源信道聯合編碼技術受到了學術界的廣泛關注。信源信道聯合編碼的基本原理是在

29、高信噪比條件下，為信源編碼分配更多的碼字，用來提高傳輸效率。在低信噪比條件下，為信道編碼分配更多的碼字，用來抑制噪聲的負面影響。受到信源信道聯合編碼的啟發，語義-信道聯合編碼成為了語義通信系統中最為關鍵的技術之一。如圖 2.5 所示，語義信道聯合編碼是由兩個深度神經網絡實現的。深度神經網絡相當于自動編碼/解碼器，它可以代表各種基于深度學習的神經網絡模型，例如：卷積神經網絡、生成對抗網絡和 Transformer 等。通過聯合訓練這兩個深度神經網絡，語義信道聯合編碼可以同時反映信號的語義特征以及傳輸信道的特征，因此能夠有噪環境中有效提取語義特征。這也意味著和傳統的分離式設計相比，在低信噪比條件下

30、，聯合編碼的方式能夠表現出更好的穩定性。圖 2.5 語義信道聯合編碼模型目前，語義-信道聯合編解碼已成功應用于各種通信系統，包括文本、圖片、音頻以及多模態數據傳輸等。具體來說，自然語言處理技術的快速發展為分析和理解信息語義奠定了基礎，并促進了面向文本傳輸的聯合語義通道編碼。為了更好的評估重建文本與原始文本之間的相似度，面向單詞和句子的語義相似性指標相繼被提出。以最大化相似度和最小化語義誤差為優化目標，基于循環神經網絡、Transformer 等模型的語義信道聯合編碼策略被逐步應用于文本傳輸中。隨著基于文本傳輸的語義通信系統的成功，面向語音傳輸16/126的語義通信系統也受到了廣泛關注。與文本信

31、號相比，由于音量、語調、背景噪音等因素，語音信號更為復雜，因此也更難被處理和理解。信號失真比（SDR）和語音質量的感知評估（PESQ）是量化重建音頻信號質量的主要度量標準。以最大化感知評估質量和最小化失真比為優化目標的編碼策略以及應用于音頻傳輸中。圖像/視頻在多媒體時代是數據流量的主要來源，面向圖像的語義信道聯合編碼策略也受到了大量學者的關注。在圖像傳輸系統中，通信任務可以是圖片識別或者圖像重建等，其中峰值信噪比（PSNR）是衡量重建圖像與原始圖像相似性的主要指標。研究表明，語義信道聯合編碼在加性高斯白噪聲信道、瑞利衰落信道和萊斯衰落信道中均比傳統編碼方式有更好的表現。除了典型的單模態數據之外

32、，用于語義通信的多模態數據傳輸框架也逐漸發展起來。例如，在與增強現實相關的應用中，不同類型的數據仍然是彼此相關的。通過考慮不同類型數據之間的關聯，具有語義感知的多模態數據編碼傳輸可以進一步提高系統性能。例如，在執行視覺問答應用中，查詢以文本格式呈現，而答案以圖像格式呈現。因此，研究人員設計了多用戶多模態語義通信系統，分別使用基于循環神經網絡和卷積神經網絡的語義信道聯合編碼方案進行文本和圖像傳輸，然后接收端通過融合語義來預測答案。除了視覺問答應用之外，基于 Transformer 模型的多用戶多模態聯合編碼策略也開始應用到其他智能任務中，包括圖像檢索和機器翻譯等任務。綜上所述，與傳統的編碼方式相

33、比，語義-信道聯合編碼展現了更好的、更穩定的性能?？偟膩碚f，語義-信道聯合編碼的增益主要來自兩方面。一方面，基于深度神經網絡的語義編碼器能夠有效提取語義信息，實現了對原始數據的壓縮，進而提高了通信效率。另一方面，語義信道聯合編碼器同時考慮信號的語義以及無線信道的狀態，因此能夠對通信環境進行自適應的改變。尤其在低信噪比條件下，語義信道聯合編碼增強了通信系統的魯棒性，為重要的語義信息傳輸提供了保護。2.3 語義信息傳輸語義信息傳輸針對通信系統的信息傳輸，雖然語義通信采用與傳統通信不同的編解碼方式，但是語義信息傳輸同樣受制于傳統通信中普遍存在的約束條件，包括傳輸信道條件的不可預測性和網絡資源的有限性

34、。因此在語義信息傳輸系統中必須應對現代通信系統帶來的挑戰。17/1262.3.1 語義信息的傳輸與挑戰語義信息的傳輸與挑戰無線通信環境中的衰落效應具有時變性，因此變化的衰落信道、不確定的信噪比（SNR）和誤比特率對信息傳輸系統的性能產生影響11。傳統信道編碼通常設計用于靜態信道環境，因此缺乏對動態信道環境實時性的考慮。在某些應用中，尤其是對實時性要求較高的場景，這可能會限制傳統編碼的適用性。為了確保最優性能，目前大多數端到端的語義信息傳輸系統通常針對特定的信噪比設計，這導致語義信息傳輸系統需要提供更大的存儲空間以容納多個網絡模型，從而引發了設備側的存儲負載和通信延遲等問題。隨著通信技術的發展，

35、大規模 MIMO 場景中的基站擁有大量天線，可為多個用戶設備提供服務。MIMO 技術為通信領域帶來了顯著的性能改進，然而，其實現卻需要占用大量存儲空間和計算資源。大規模 MIMO 系統涉及多個天線和信道，在接收和發送端需分別處理多個輸入和輸出流，導致對于系統而言需要更多的存儲器來存儲相關的信道狀態信息、矩陣權重以及信號處理算法。同時，面臨挑戰的還包括計算資源，因為多個輸入和輸出通道的復雜矩陣運算需要更高的處理能力。在 MIMO 系統的設計和實施中，必須平衡性能提升與存儲空間、計算資源的消耗，以滿足通信系統的要求。在從 5G 過渡到 6G 的過程中，MIMO 天線數量不斷增加，要最大程度地利用這

36、些天線，基站需要實時了解瞬時的下行 CSI。然而，目前采用的通過三步交互獲取下行 CSI的CSI反饋機制涉及上行資源的數據傳輸，而傳統的方法存在一些問題，如基于碼本的方式反饋開銷急劇增加，基于壓縮感知的算法迭代過程通常耗時較長，難以在計算受限或對時延要求較高的場景下使用。鑒于新興應用對通信時延、能耗和算力等方面提出了嚴格要求，因此引入深度學習進行 CSI 壓縮成為一種解決方案。在這方面，傳統通信采用分離信源信道編碼方式，而基于人工智能的 CSI 壓縮假設信道編碼模塊和調制模塊能夠保證完美傳輸，即可以根據反饋信道質量自適應調整調制編碼方式，成功傳輸所有的反饋碼字。然而，這種編碼方式下的 CSI反

37、饋存在明顯缺點，如“懸崖效應”和由信道條件不匹配引起的信道譯碼錯誤。相反，聯合信源信道編碼方案在實際信道條件變得比預期差的情況下，仍能提供平穩的性能下降，使得恢復的 CSI對于基站的后續執行過程仍然具有價值。18/1262.3.2 應對現代通信挑戰：語義信息傳輸系統的示例應對現代通信挑戰：語義信息傳輸系統的示例由于語義信息傳輸系統與深度學習技術的密切結合，后者能夠輕松地利用神經網絡的特性，實現信息傳輸系統信源的自然冗余與信道的統計特性的匹配，從而提高動態信道環境的魯棒性。圖 2.6 級聯信源信道編碼中的資源分配策略12為了適應變化的信道環境，并針對有限的信道可用傳輸資源，如圖 2.6級聯信源信

38、道編碼資源分配策略在信道條件不佳時為信道編碼分配更多比特，而為信源編碼分配更少比特12。分配給信道編碼器更多比特增加了待編碼信息的冗余度，以對抗強烈的信道噪聲，反之亦然。這種級聯信源信道編碼中的資源分配策略允許在恒定的信道碼率情況下接近最佳傳輸。然而，傳統的語法信息傳輸系統通常采用分離的信源信道編碼方法，導致信源的自然冗余與信道的統計特性難以匹配?；谏疃葘W習的語義信息傳輸系統可以使用注意力機制動態調整與信源編碼功能和信道編碼功能相關的相應子網的大小。神經網絡能夠從信源中提取特征組，特征組通道間的關系通過軟性注意力機制捕獲，并針對不同的通道生成不同的縮放因子，用以增強或減弱該通道的特征與下一層

39、網絡的連接13。語義信息傳輸與深度學習的高度組合性使其能夠根據信道的信噪比自適應調整信源編碼碼率和信道編碼碼率，以適應各種信道條件。19/126圖 2.7 CSI樣本在角度時延域的可視化圖像14在傳統通信中，采用分離信源信道編碼方式。因此，引入深度學習的 CSI 反饋方案主要基于分離源信道編碼方案的通信系統中的信源編碼模塊。如圖 2.7 所示，該方式下使用的截斷二維離散余弦變換會導致一些有用的 CSI 信息被丟棄，并且在后續過程中無法對這部分數據進行補償14。相比之下，語義通信采用的信源信道聯合編碼方式可以使用非線性變換網絡替代基于信源編碼的 CSI 反饋方法中使用的截斷二維離散余弦變換，從而

40、大幅降低用戶側反饋 CSI時的功率需求，緩解了“懸崖效應”和延時問題。與傳統的編解碼方式相比，導致在 MIMO 場景下多發送端占用存儲資源的現象，人工智能賦能的語義信息傳輸系統的編碼器可以采用相同的網絡結構，并在訓練和測試過程中實現相同的參數。在發射端數量不同的情況下，接收端網絡結構只需進行微小的調整即可適應，由此降低了模型復雜度，進而減少了存儲資源的消耗15。這種靈活性和高度可適應性使得人工智能驅動的語義信息傳輸系統更為高效且經濟，特別是在多發送端的復雜通信環境中。相比于傳統的分離信源信道編碼，先加密后壓縮策略的加解密機制改變了信源的結構信息，可能影響聯合信源信道編碼在加密域進行編碼傳輸的性

41、能，使得其難以與端到端的語義信息傳輸系統耦合。因此，傳統的加密技術均無法解決深度聯合信源信道編碼中的信源隱私保護問題，借助特征提取網絡度量視覺安全性，設計了保護和去保護網絡結構用于端到端的語義信息傳輸系統信息保護16。與傳統的加密方法相比，該保護方法會具有更好的信源重構性能，同時對多種端到端的語義信息傳輸系統具有良好的泛化性。20/126綜上所述，語義信息傳輸系統同傳統通信系統一樣面對著無線傳輸信道條件的不可預測性和網絡資源的有限性的問題。同時由于語義通信系統采用聯合信源信道的編碼方式，導致傳統分離信源信道編碼的機制中的 CSI 反饋的方式和傳輸信息保護策略不適用于語義通信系統，但是也正因為語

42、義信息傳輸系統的聯合信源信道編碼方式與深度學習方法的高可組合性，使得它可以更方便地融入到神經網絡中。通過實際示例，闡述了語義通信系統相比傳統通信系統，能更好地自適應各種信道條件，使基站能夠更有效地有效利用恢復的 CSI 進行后續處理，使多發送端占用存儲資源減少，使端到端信息傳輸系統具有更為泛化的信息保護方案。2.4 語義通信與現有系統的兼容性語義通信與現有系統的兼容性語義通信可以大幅壓縮傳輸數據帶寬，保留數據的語義信息，在未來以“智能體”為通信終端的應用場景中具有巨大的研究價值。但是，如何在現有通信系統中兼容實現語義通信，如何將人工智能（AI）與經典通信系統融合，如何打破數據信息與語義信息之間

43、的壁壘，還需要進一步研究。2.4.1 語義通信與信源編碼兼容語義通信與信源編碼兼容語義通信系統一般基于人工神經網絡（ANN）搭建，直接以圖片或文本作為輸入，進行語義編碼。但是，由于 ANN 架構基于概率模型搭建，利用梯度回傳算法進行訓練，因此其輸入輸出一般要求為 0 到 1 之間的浮點數，表示具有概率意義的數據，導致語義通信無法直接與處理二進制比特的經典編碼融合。為了探索經典信源編碼與語義編碼之間的關系，研究從數據空間到語義空間的映射，需要改進現有的語義通信系統，使其能夠接受二進制比特作為輸入。如圖 1 所示，是一種數據編碼與語義編碼分離實現系統（SDSC）的架構示意圖，簡稱為 SDSC 系統

44、17。該系統在一般的語義編碼器前，添加了數據到語義的信源編碼轉化模塊，使得數據編碼可以作為語義編碼的輸入，語義編碼可以在分離框架下兼容經典信源編碼實現。21/126圖 2.8 數據編碼與語義編碼分離實現系統架構示意圖針對文本的信源編碼轉化模塊可以考慮幾種不同的方式構建，這里采用一個全連接網絡實現轉化模塊，此時需要將不等長的輸入進行填充操作，以便于可以作為一個全連接網絡的輸入，在后續輸入語義編碼模塊時，可以將語義編碼模塊中的 Embedding 層替換為全連接層，從而實現信息的最大化傳輸。此外，需要注意的是，由于網絡輸入和輸出具有概率意義，而信源編碼的碼字，二進制比特表示一種變化情況，而非概率。

45、因此，在實現信源編碼轉化模塊時，需要采用二進制比特的出現概率代替 01 代表信源編碼，這樣相當于將比特信息轉化為概率信息。之后，經過信源編碼轉換模塊，得到等長碼字，且長度為詞表大小的編碼，進而輸入語義編碼系統中，最終得到語義特征向量作為輸出，語義特征向量經過信道被信宿接收，最后通過語義譯碼器可以將其恢復為原始消息。其中語義編譯碼器可以采用 Transformer 模塊搭建，其構建參數見表 2.1所示。表 2.1 構建 SDSC系統所采用的 ANN模型參數SDSC 模型模型結構結構參數與設置參數與設置信源編碼信源編碼Huffman code3780信源編碼轉化信源編碼轉化模塊模塊Dense+Re

46、lu3780Dense128Value Normoalization1/128語義編碼器語義編碼器Position Encoding512Dropout=0.122/126Transformer Encoder3128(8 heads)Dense+Relu256Dense16Power Normoalization/2信道信道AWGNSNR:-68 dB語義解碼器語義解碼器Dense+Relu128Dense+Relu512Dense128Transformer Decoder3128(8 heads)Dense3780SoftmaxGreed search針對上述 SDSC 系統的實驗結果如

47、圖 2.9 所示，藍線表示直接接收文本或圖片作為輸入的語義編解碼器通信性能。紅線表示無損 Huffman 編碼訓練的 SDSC 系統通信性能。黃線表示打亂的 Huffman 碼字訓練的 SDSC系統通信性能。藍線和紅線的性能非常接近，這表明 SDSC系統能夠通過信源編碼轉換模塊，有效地分離信源編碼和語義編碼。這種能力允許將語義編碼實用地集成到通信系統分離框架中。此外，與紅線相比，黃線的性能顯著下降，這表明保留語義建模信息對于成功地將經典碼字轉換為語義特征至關重要。這證實了語義通信系統的部分優勢源自自然語言建模過程，即自然語言中的文本順序。23/126圖 2.9 采用不同數據訓練，語義通信系統的

48、性能對比橫坐標代表加性白高斯噪聲（AWGN）信道的信噪比（SNR），縱坐標表示雙語評估理解（BLEU）度量，用于衡量解碼消息與原始消息之間的相似度。展示了以 BLEU1-4 為評估指標的性能曲線。17此外，為了驗證部分數據失真不會對語義通信系統性能造成影響，即不會影響語義保真，通過將 Huffman 編碼截短的方式來獲得數據失真編碼。為了確定 Huffman 編碼需要截短的長度，對由語料編碼獲得的所有 Huffman 碼字進行了統計，結果如圖 2.10 所示?？梢钥吹?Huffman 碼字的長度主要集中在 9-12 之間，因此可以將 Huffman 編碼長度截短為 9 或者 12。此外，為了進

49、一步說明語言建模信息對語義編碼的重要性，還選取了截短為 6 的 Huffman 編碼。需要注意的是，當碼字由于截短喪失了可譯性，其會被譯碼為。24/126圖 2.10 針對語料進行的 Huffman 編碼，其碼字長度分布。橫坐標為碼字長度，縱坐標為碼字數量17圖 2.11 展示了有損信源編碼可能導致語義通信系統性能下降程度。藍線表示用無損Huffman 編碼訓練的 SDSC 系統的傳輸性能，紅線代表用截短為 12 比特的失真 Huffman編碼訓練的 SDSC系統的傳輸性能，黃線展示了用 9 比特失真 Huffman 編碼訓練的 SDSC系統的傳輸性能，紫線展示了用 6 比特失真 Huffma

50、n 編碼訓練的 SDSC系統的傳輸性能。當有損編碼仍保留大部分語義建模信息時，如圖中展示的 Huffman 編碼截短為 12 位的情況，雖然它可能在傳統通信系統中造成嚴重錯誤，如懸崖效應，但是語義通信系統的性能損失微不足道。這主要是因為語義編解碼器可以基于語義建模信息恢復無法解碼的編碼詞，然后將其推斷為合理的句子。然而，當有損編碼導致大部分語義建模信息丟失時，如圖中展示的霍夫曼編碼截短為 6 位的情況，它可能導致性能下降，甚至是語義通信系統的完全崩潰。但是，當截短為 9 位時，BLEU 依然能夠達到 0.8 以上，這代表即便傳輸數據被大幅度縮減，但是其具有的語義依然是可以理解的。這說明，在語義

51、保真的情況下，語義編碼可以大幅度節省需要傳輸的數據。圖 2.11 采用不同程度的失真數據訓練，語義通信系統的性能對比。橫軸表示 AWGN信道的信噪比 SNR，而縱軸代表 BLEU 度量。展示了使用 BLEU1-4 作為評估指標的性能曲線17。綜上所述，SDSC 系統能夠接收二進制比特作為語義編碼的輸入，從而將經典信源編碼與語義編碼進行分離實現，使得語義編碼成為增強信源編碼的附屬模塊，從而實現與經典通信系統的兼容。此外，語義編碼的使用，能夠極大減少經典編碼的數據傳輸量，同時保證通信數據在語義維度上的保真。針對上述 SDSC實驗，如表 2 所示，基于語義編碼的25/126經典信源編碼可以將傳輸數據

52、量減少 75%以上，而通信雙方仍然在一定程度上可以互相理解，即 BLEU 在 0.8以上。表 2.2 Huffman 碼字截短為不同長度時，所節省的傳輸數據量信源編碼截短信源編碼截短/bits1296節約數據量節約數據量/百分比百分比20.3%75.6%92.4%2.4.2 語義通信與經典通信系統的分層架構兼容語義通信與經典通信系統的分層架構兼容事實上，基于 Shannon 的分離定理，經典通信系統已經形成了復雜的分層結構，語義通信與經典通信的兼容不止是與經典信源編碼和信道編碼的兼容，而是 JSCC 架構與整個分層結構的兼容。根據語義編譯碼器在無線通信系統中的功能和位置，有多種不同的潛在網絡架

53、構，不同架構存在不同的待解決問題?？傮w而言，越往底層兼容，待解決問題就越多。圖 2.12 應用層兼容語義編譯碼。如圖 2.12 所示，為應用層兼容語義編譯碼方案。數據在應用發送端進行語義編碼，并在應用接收端進行語義譯碼，語義特征在無線通信系統中傳輸，對無線通信系統透明。2.5.1 節中的實驗結果表明，應用層兼容語義編譯碼相對較好實現。但是，也需要空口傳遞給語義模塊相應的信道信息，以便于支持語義模塊針對不同信道和信源的微調，達到和JSCC 設計的語義通信系統相同的性能。在此架構中，語義編譯碼模塊可以利用邊緣計算（MEC）架構部署在靠近無線接入網（RAN）的位置，并通過網絡能力開放獲得對無線信道環

54、境的感知。26/126為了解決上述問題，中興通訊提出了語義通信強耦合與弱耦合的概念（緊耦合與松耦合）。強耦合是指語義編譯碼器必須通過信道進行端到端的聯合訓練，在訓練過程中梯度過信道，使得編譯碼器參數根據信道參數進行優化。弱耦合是指語義編碼器和語義譯碼器可以分開訓練，訓練時需要的梯度信息可以通過弱耦合的方式，以某種信息形式傳遞。應用層要兼容實現語義編譯碼，就需要實現弱耦合的語義通信。圖 2.13 核心網兼容語義編譯碼。如圖 2.13 所示，為核心網兼容語義編譯碼方案。在該方案中，由核心網進行語義編譯碼，并進行知識庫維護。與應用層兼容語義編譯碼方案相比，核心網的兼容方案與應用相對獨立，可以將針對特

55、定應用的語義編譯碼推廣到特定類型的業務。但是也存在一些問題。首先，語義編譯碼放在核心網會導致數據源到核心網的數據傳輸無法享受語義通信的增益；其次，核心網需要對用戶數據傳輸中的語義進行跟進和解讀，在數據安全及用戶隱私保護方面提出了新的需求；最后，核心網需要負責對語義編譯碼器和知識庫進行維護，增加了核心網的復雜度，可能需要部署更多的計算和存儲資源，可能會產生更多時延。27/126圖 2.14 RAN高層兼容語義編譯碼。如圖 2.14 所示，為 RAN 高層兼容語義編譯碼方案。此時語義編譯碼模塊與信道可以直接交互，構建 JSCC語義通信系統。但是，與核心網的兼容方案類似，該結構需要 RAN 能夠跟蹤

56、和解讀用戶語義數據，并且需要增加 RAN 高層的復雜度。此外，數據經過多層加密，并針對原始發送順序進行了重排，是否還能在 RAN層進行語義特征提取，需要進一步研究。圖 2.15 RAN底層兼容語義編譯碼。如圖 2.15 所示，為 RAN 底層兼容語義編譯碼方案。該方案支持語義編譯碼的強耦合實現方式，但是存在與 RAN高層兼容方案類似的問題。28/1263.單模態語義通信單模態語義通信近年來，深度神經網絡在自然語言處理，語音信號處理，和計算機視覺領域得到了廣泛應用。這些模型使用預訓練模型在大型通用語料庫上進行訓練，可以應用于分類任務、數據集成、聚類關聯等任務18-20。一般來說，系統由一個發射器

57、和一個接收器組成，發射器的數據是單模態的，這些模型只使用一種信息類型（文本、圖像、視頻、數據），在學習問題中被稱為單模態模型。單模態語義通信可以用于各種應用場景，包括自然語言處理、語音識別和圖像處理等。在單模態語義通信中，語義信息的傳達主要依賴于所選擇的模態。由于傳感硬件設備的普及程度較低，移動設備難以從多種信息源中采集相關數據，因此單模態語義通信仍然是目前的主要研究重點。目前，語義通信系統在提高單模態數據通信的傳輸效率和誤碼率方面取得了良好的效果。特別是在文本和圖像模態的數據處理方面。3.1 面向文本的語義通信面向文本的語義通信對于 6G 網絡，對通信效率高、計算成本低等智能通信的需求越來越

58、大。這使得研究人員將研究重點放在語義層面的高效傳輸上，并關注傳輸數據的上下文相關性。人們致力于在有限的帶寬和魯棒性、適應性和可靠性下最大程度的提高通信效率。在文本數據處理方面，文本語義編解碼器設計21、文本語義關聯挖掘2、文本語義通信系統性能優化22等方面都取得了一定的進展，在本節中，我們總結了語義通信在文本傳輸方面的相關解決方案。語義通信是一種從信源中提取語義信息并對其進行編碼以便在噪聲信道中傳輸的通信方法。與傳統的無線通信不同，語義通信不要求接收端的解碼順序與發送端的編碼順序嚴格一致。它只要求接收端恢復的語義信息與發送端傳輸的語義信息相匹配，從而從傳統的無差錯比特傳輸轉變為簡潔的語義傳輸。

59、具體來說，傳統的無線通信是強調無錯誤符號的語法編碼傳輸。語義通信是對源傳輸內容意義特征的提取、編碼和傳遞，重點是保持接收到的信息與源內容意義的一致性。語義通信突破了傳統的比特級傳輸，實現了語義級傳輸，架構設計也逐漸從模塊化設計向集成化設計轉變。如圖 3.1 所示，為語義通信的聯合源信道傳輸體系結構，源信息通29/126過編碼和解碼通過物理信道傳輸。源信息可以是文本、圖片、音頻等。與傳統無線通信的體系結構相比，語義通信的傳輸體系結構增加了語義層。語義層由語義編碼器、語義解碼器和共享知識庫組成。語義層實現源信息的語義特征提取和接收信息的語義恢復，以完成高效的傳輸和通信，傳輸層用于正確傳輸語義信息。

60、具體來說，源信息首先經過語義編碼器的語義編碼過程，再經過信道編碼和物理信道實現傳輸。最后，通過信道解碼和語義解碼進行信息恢復。語義編碼過程可以通過語義特征提取來減少信息傳輸的冗余。圖 3.1 聯合源信道語義通信系統框架23自然語言處理使機器理解人類語言，其主要目標是理解語法和文本。語義通信系統利用發送方和接收方共享的背景知識對信息進行語義壓縮和理解。目前，語義通信技術被廣泛應用于各種通信任務中。在語義編碼優化方面，對于文本傳輸，已經有一些初步研究涉及到文本的語義傳輸。Xie 等人24針對文本信息傳輸提出了基于深度學習的語義通信系統(DeepSC)，初步考慮了信源一信道聯合編碼，使接收端從語義角

61、度恢復文本，旨在通過恢復句子的含義而不是傳統通信中的位或符號錯誤，來實現系統容量的最大化和語義錯誤的最小化。為了準確地驗證語義通信的性能，論文初始化了一個新的度量，即句子相似度。DeepSC 的變體稱為 L-DeepSC25也用于文本傳輸，這里考慮了一個云/邊緣平臺執行基于深度學習的語義通信模型訓練和更新的物聯網網絡，而物聯網設備執行基于訓練模型的數據收集和傳輸，提出了一個基于深度學習的輕量級分布式語義通信系統用于低復雜性的文本傳輸。通過分析 L-DeepSC 訓練過程中衰落信道在前向傳播和后向傳播中的影響，該文獻提出一種利用信道狀態信息來輔助訓練處理的方法以減小衰落信道對傳輸的影響。隨著深度

62、學習的發展，自然語言處理使人們能夠分析和理解大量的語言文本。為了更好地借助自然語言處理在信道上實現語義通信，文獻22提出了一種基于通用變壓器的新型語義通信系統。與使用自然語言處理的固定轉換區相比，通用變壓器中引入了自適應循環機構，30/126進而更靈活地傳輸具有不同語義信息的句子，并在各種信道條件下實現更好的端到端性能。Yan 等26在 DeepSC27語義相似性的基礎上，提出了一種稱為語義譜效率(S-SE)的效率度量來表示文本傳輸的傳輸效率，并研究了語義感知多用戶通信網絡中的資源分配問題，以優化語義通信的信道分配和語義符號數量，使其能夠傳輸更多的語義信息，從而提高通信的可靠性和效率。對于具有

63、不確定性的通信場景，Zhang 等28提出了基于深度學習感知上下文的語義通信模型，以學習語義和上下文特征作為背景知識，通過背景知識可以應用于一些具有不確定性的非聯合設計的通信場景，并基于詞性與上下文設計編解碼策略，在減少信息傳輸比特數和提高傳輸信息與恢復信息之間的語義準確性方面是有效和可靠的。在此基礎上Liu 等28提出了一種擴展的基于上下文的語義通信系統。建立了一個提取和恢復句子語義特征的模型。該方法將段落的文本作為輸入，并在編碼器對當前句子進行編碼時考慮上下文含義以支持語義表示。在解碼過程中，使用先前解碼的信息和當前接收到的符號作為擴展解碼的輸入。Sachin Kadam29設計了一種自動

64、編碼器，該編碼器僅傳輸提取的關鍵字，并使用接收到的關鍵字利用收發端共享背景知識進行數據恢復，采用該方法可以節省每句傳輸字數。Hu 等30也基于語境關聯理論研究了語義通信，并提出了一個新框架Things2Vec，他們利用圖來建模由事物交互產生的功能序列關系（稱為物聯網上下文圖），并將該圖嵌入語義通信框架，通過圖嵌入技術從事物的交互中產生潛在的語義表示。在這種方法中，他們將語義關系映射到物聯網的上下文圖中，實現完整的語義信息獲取，從而實現 Things2Vec 的有效性，并保證 SC通信的可靠性。文獻31針對無線網絡提出了一種新的語義通信框架，采用基于靜態學習率進行策略梯度更新的強化學習算法，該算

65、法與注意力網絡相結合。在該框架中，基站從文本數據中提取了由語義三元組組成的語義信息，并將其傳輸給每個用戶；收到語義信息后，每個用戶使用圖形或文本生成模型恢復原始文本。在此基礎上，32與注意力策略梯度(APG)算法31采用靜態學習率進行策略更新不同，提出了一種用于文本數據傳輸的語義通信 框架，在這個框架中采用結合注意力網絡的基于近端策略優化的強化學習(RL)算法，可以根據舊策略與更新策略的差異動態調整學習率，從而保證收斂到局部最優解。其中語義信息由一組語義三元組組成的 KG 表示，接收方使用圖-文本生成模型恢復原始文本。Jiang 等33將知識圖譜引入到語義分析中，傳輸的句子使用 KG 轉換成三

66、元組，這些三元組被視為語31/126義提取和還原的基本語義符號，并根據語義相關性進行排序，對源信息進行轉換，提高語義準確性。采用語義提取和恢復方法減少傳輸信息冗余，自適應調整傳輸內容，提高可靠性。Zhou 等33提出了一種利用知識圖的認知語義通信系統，并設計了收發器的共享知識庫，實現語義信息的提取和恢復。34是對2工作的擴展，作者針對單用戶和多用戶語義通信場景提出了兩種認知語義通信框架。此外，還通過挖掘知識圖譜中的推理規則，提出了一種有效的語義糾錯算法，使接收方能夠在語義層面糾錯。在數據壓縮率和通信可靠性方面都取得了不錯的結果。為了評估文本的質量，多年來已經開發了幾個語義度量標準。如語義距離、

67、單詞錯誤率(WER)、雙語評價替代(BLEU)、基于共識的圖像描述評價(CIDEr)、語義相似度量(SSM)、SSM 的上尾概率、使用句子 bert15 的 SSM(使用 SBERT 的 SSM)、具有顯式排序的翻譯評價度量(METEOR)等。3.2 面向語音的語義通信面向語音的語義通信語音信號由于其特殊性，不僅包含了語音中獨有的語音特征信息，比如背景噪聲，說話者的音色，情緒等，還包含了說話者所表達的文字信息，因此相對于自然語言處理的蓬勃發展，語音信號處理的研究進展相對緩慢。然而，目前語義通信在語音傳輸方向已經取得一定的研究成果。Weng 等人35基于深度學習提出了用于語音傳輸的語義通信系統(

68、DeepSC-S)，其聯合設計了語義-信道編碼器用于從原始語音中提取后發送全局語義信息，并有效抑制無線信道所帶來的失真和衰減，從而在接收端恢復出于原始語音幾乎完全相同的語音序列。與傳統方法將輸入語音映射成比特序列不同，DeepSC-S 通過基于卷積神經網絡（CNN）的語義編碼器學習語音序列中的全局語義信息，并將其映射成基于浮點數的語義特征，然后通過信道編碼器轉換成可傳輸的符號序列。DeepSC-S 在整個信號傳輸過程中，不包括比特-符號之間的轉換，所以，為了衡量原始語音序列和恢復的語音序列之間的誤差，采用MSE 作為損失函數訓練整個端到端語義通信系統的網絡參數。另外，為了進一步對語義信息進行分

69、析，DeepSC-S 設計了基于一種注意力機制的語義編碼器(SE-ResNet)，其核心是考慮語音序列中的靜音片段和說話片段所攜帶的信息量差異，通過神經網絡網絡學習得到不同語音片段的重要性并分配不同的重要性，并且在參數更新階段優先更新重要性高的32/126部分，因此更加準確地恢復出攜帶更多語義信息的語音片段，從而極大程度地提升恢復出的語音序列的整體準確性。相比于傳統通信系統，DeepSC-S 被證明在語音清晰度恢復上有很大的提升，從而證明了基于深度學習的語音語義通信系統的可行性。另外，DeepSC-S 也超越了采用基于深度學習的信源編碼級聯傳統信道編碼，以及基于深度的信源編碼級聯基于深度學習的

70、信道編碼的框架，其進一步證明了語義編碼對于語音壓縮和語義提取的有效性，和語義-信道聯合編碼機制的優越性。在 DeepSC-S 的基礎上，Xiao 等人在文獻36提出了一種更加高效的語音語義編碼傳輸方(DSST)，其引入了一種非線性變換將語音信號映射到語義潛在空間，并在語音潛在空間的基礎上設計了一個熵模型來估計語義特征之間的重要性,以此來實現更高效的語義壓縮從而降低傳輸所需的數據量。另外，DSST 還提出了信道信噪比適應機制，訓練獲得魯棒的神經網絡模型可在各種信道狀態下獲得穩定的語音恢復性能。在 DSST 中，采用 CNN 來構建主題 JSCC 架構并設計了一個邊緣信息傳輸鏈路將從原始語音序列中

71、提取的輔助信息發送至接收端以提升最后語音重載的準確性。而在文獻37中，Zhou 等人基于 Transformer 來構建端到端的語音語義傳輸系統(DeepSC-TS),該工作中首先基于 CNN 對語音序列進壓縮，然后采用 Transformer 來學習相關語義特征，并在接收端設計了基于 CNN 和 Transformer 的特征重提取器來提取淺層語義特征和深層語義特征，最后通過一層 CNN來實現語音的有效重載。33/126圖 3.2 DeepSC-S 與不同的語音傳輸系統框架之間的性能對比面向語音的語義通信系統同樣被用于實現各種下游智能任務。用于語音傳輸的語義通信系統同樣被應用到面向任務。對于

72、語音信號，兩個比較典型的智能任務是語音識別和語音合成。因此，為了彌補面向任務的語義通信在語音信源方面的空缺，Weng 等人在文獻38中提出了用于語音識別和語音合成的語音語義傳輸系統(DeepSC-ST)，其核心在于構建一個強大的語義編碼器來提取語音信號中的文字信息并轉換成相應的語義特征。DeepSC-ST 設計了基于 CNN+GRU 網絡架構的語音編碼器，極大程度地對原始語音進行壓縮以過濾到與語音特征相關的信息，僅保留與文字相關的語義信息，從而降低傳輸所需的數據量并提升帶寬利用率。并且，在接收端恢復出準確的文字相關語義特征后，通過一個特征解碼器可以直接獲得用戶所需的文字信息，實現端到端語音到文

73、字傳輸。為了實現語義-信道聯合編碼的統一訓練，作者采用 CTC 作為損失函數來衡量系統損失，并采用字錯率(WER)和詞錯率(CER)來衡量獲得的文字的性能。另外，為提升系統輸出的多樣性且為用戶提供清晰的語音序列，接收端獲得文字被送入到獨立的語音合成模塊來獲得完整的語音序列。因此，通過聯合語義-信道編碼提取和發送文字相關語義特征，DeepSC-ST 實現了用于語音識別和語音合成的語義通信系統。另外，Han 等人39在 DeepSC-ST 的基礎34/126上加入了去冗余模塊和基于額外語義信息提取的對齊模塊，從而提升了對原始語音的壓縮率并提升了語音識別的準確率。在該方法中，作者采用 BLSTM+全

74、連接層的架構來構建語義編碼器，在接收端基于全連接層來設計語義解碼器，并且提出了基于 Transfomer 的語義糾錯器來進一步提升語義特征的保真度，實現高效的語音到文字傳輸。另外，在語音合成方面，作者設計了基于 Transformer 的生成對抗網絡(GAN)的機制來訓練獲得一個強大的生成器以合成清晰的語音序列。圖 3.3 用于語音識別和語音合成的語義傳輸系統(DeepSC-ST)38。為了進一步拓展面向任務的語義通信系統在語音信源方面的應用。Weng 等人40構建了用于語音到文字翻譯和語音到語音翻譯的語音傳輸系統(TOS-ST)。在該方法中，作者利用 Transfomer 設計了語義-信道聯

75、合編碼機制提取深層語義特征，并在接收端首次提出了語義到文字模塊。在語義到文字模塊中，作者利用 Transformer 編碼器和一個基于RNN 的檢測網絡構建了一個語義錯誤檢測器用于檢測恢復語音中的受損語義并返回一個表征向量。然后基于該表征向量，作者利用 Transformer 解碼器和全連接層設計了一個語義錯誤糾錯器來修正語義錯誤檢測器中所檢測中的受損語義，并采用 CE 作為損失函數計算語義損失并更新語義到文字模塊的所有神經網絡參數，以此實現高保真的語義傳輸從而提升翻譯后的文字的可懂性和準確性。另外，為了滿足多語言多信源的多樣化的語義通信系統，作者利用多層 Transformer 構建了目標文

76、字到目標語音的語音合成機制，為只懂目標語言的用戶提供清晰流暢的語音序列。因此，TOS-ST 實現語音到文字的不同信源，以及多種語言之間的傳輸系統。另外，為了使語音語義通信更加適用于到實際的通信場景，Weng 等人41設計了用于 MIMO 信道傳輸的語音語義通信系統(SAC-ST)。在該方法中，作者首先基于 SVD算法35/126對 MIMO 信道進行預編碼操作，將 MIMO 信道分解成多個并行的 SISO 信道，且基于奇異值之間的差異，不同的 SISO 信道上的有效信噪比與特征值大小保持正比例關系。然后，作者根據預編碼的 MIMO 信道采用 Transformer 和全連接層構建了語義-信道聯

77、合編碼機制實現語音到文字的傳輸范式。此外，文獻41中首次提出了針對語音信號的語義分析機制，其核心是將從預訓練的語義編碼器提取的語義特征送入到采用全連接層構建的語義覺知網絡進行語義分析，并返回一個重要性向量來衡量每一個語義特征的重要性，以此來識別出包含重要語義信息的特征向量。最后，結合 MIMO 信道分解得到的多個不同信噪比的 SISO 信道和訓練好的語義覺知網絡，作者巧妙地設計了一個根據語義重要性的來對語義特征進行分級傳輸的方法。具體來說，傳統的比特層傳輸中，不同的比特序列包含的信息重要性被認為是平等分布的，所以將多個比特序列通過至具有不同信噪比的并行 SISO信道進行傳輸時，任何隨機的分配所

78、帶來的增益都是一致的，而在 SAC-ST 中，根據神經網絡學習得到的重要性向量，將更重要的語義特征分配至具有更高信噪比的 SISO 信道傳輸，而重要性更低的語義特征被分配至更低信噪比的 SISO 信道傳輸，這樣來保證接收端恢復的語義特征的整體保真度。通過 SAC-ST 的語義重要性分級傳輸機制，極大程度地提升了 MIMO語義通信系統中語音到文字傳輸的準確性。3.3 面向圖像的語義通信面向圖像的語義通信由于圖像數據具有更豐富的語義，在圖像語義通信領域，已經有許多研究工作證明了深度學習方法在圖像編碼和傳輸方面的潛力。針對圖像信源的語義提取，Gunduz 與Kurka 等人42基于卷積神經網絡提出了

79、一種用于無線圖像傳輸的聯合源信道編碼(JSCC)技術，該技術不依賴于顯式編碼進行壓縮或糾錯，直接將圖像像素值映射到復值通道輸入符號，編碼器和解碼器函數被建模為互補的卷積神經網絡，并在數據集上進行聯合訓練，以最小化重建圖像的均方誤差，實現了較好的性能。并在此基礎上研究了將無噪聲或有噪聲信道輸出反饋納入傳輸系統43，引入了一種基于自編碼器的 JSCC 方案，利用信道輸出反饋，并在固定長度傳輸的端到端重建質量方面提供了相當大的改進。44提出了非線性變換信源信道編碼(NTSCC)，該方法能夠與非線性變換下的信源分布緊密適應，在該模型中，發送端首先學習非線性分析變換，將源數據映射到潛在空間，然后通過深度

80、源信道聯合編碼將潛在表示傳輸給接收端。有效地提取了源語義特征，并為源信道編碼提供了輔36/126助信息，并且通過在不同分辨率的測試圖像源中，NTSCC 傳輸方法的性能總體上優于使用標準深聯合源信道編碼的模擬傳輸和基于經典分離的數字傳輸。45提出了一種基于生成對抗網絡(GANs)的圖像語義編碼方法，其目標是語義交換而不是符號傳輸，使用多個感知度量來訓練和評估所提出的圖像語義編碼模型。為了解決傳輸數據的統計特征分布與訓練數據集的統計特征分布普遍不同這一難題，Zhang 等人46利用生成式對抗網絡（GAN）支持的域適應（DA）方法，將觀測數據轉換為類似經驗數據的形式。數值結果表明，該方法在圖像傳輸和

81、分類任務中分別非常有效。在傳統的通信系統中，一般的信源編碼器和信道編碼器可以根據信噪比實現自適應的 CR 和信道編碼率，從而在有限的帶寬條件下實現最優的性能。為了填補語義通信與傳統通信之間的這一空白，12中的作者考慮了一種具有信噪比反饋的點對點圖像傳輸系統，他們將計算機視覺中廣泛使用的注意機制整合到語義提取中。注意機制采用額外的神經網絡對原有神經網絡中的某些特征進行嚴格選擇或對不同的特征賦予不同的權重，該方法具有更高的魯棒性、通用性。47提出了一種知識引導語義計算網絡(SCN)，該網絡由一個主要的知識引導語義樹模塊和一個輔助的數據驅動的輕量級神經網絡模塊組成，用來提取語義信息，語義樹模塊通過前

82、向計算過程快速計算出分類結果。輕量級的神經網絡模塊可以幫助語義樹模塊提高分類能力。48提出了一種基于壓縮比優化的語義通信方法，通過優化圖像數據的壓縮和傳輸過程，減少通信延遲，提高數據傳輸的可靠性。首先，在特征提取階段，該方法從原始圖像數據中提取關鍵的視覺特征。隨后，在語義關系提取階段，我們進一步分析這些特征之間的關聯關系，以了解圖像數據的語義內容。最后，在語義壓縮階段，我們實現了一種自動選擇最優壓縮比的自適應優化方法。在保證圖像質量的同時實現了高壓縮率，提高了抗干擾能力。5提出了 SC-AIT 的人工智能語義通信架構，接受知識庫的訓練，學習如何提取語義信息并通過通信渠道傳輸，大大提高分類、檢測

83、等圖像處理任務的執行效率。Zhang 等49開發了一種用于圖像傳輸的語義通信框架，提出了一種基于值分解的熵最大化多智能體強化學習方法，使服務器能夠以分布式的方式協調訓練并進行資源塊分配。在針對有關通道反饋的 JSCC 研究方面，50提出了一種基于視覺轉換器(ViT)的多輸入多輸出(MIMO)系統無線圖像傳輸的聯合源信道編碼(JSCC)方案，稱為 ViT-MIMO。該模型能夠根據源圖像和信道條件自適應學習特征映射和功率分配，ViT-MIMO 可以顯著提高不同的信道條件下的傳輸質量。51提出了一種新的無線圖像傳輸模式，該模式可以利37/126用接收器的反饋，稱為 jsccformer-f。文中考慮

84、了一個塊反饋信道模型，其中發射器在每個塊后接收無噪聲/有噪聲信道輸出反饋。jsccform-f 的統一編碼器可以利用源圖像的語義信息，從反饋信號中獲取信道狀態信息和解碼器對源圖像的當前信念，在每個塊上生成編碼符號。解決了現有信道反饋圖像傳輸方法存在的四個關鍵問題，即復雜度高、不適應性、次優性和非泛化性問題。在面向任務的通信中，多個人工智能代理以集中或分布式的方式合作完成任務，任務中的語義感知通信以主動或被動的方式在不同終端之間建立多個顯式或隱式連接，以增強智能體之間的知識。52關注由無人機圖像傳感驅動的面向任務的語義通信場景，設計了一個節能的面向任務的語義通信框架，并將語義通信視為突破香農極限

85、的一項有前途的技術，并將其視為未來 6G 網絡和智能醫療等應用的關鍵推動因素。Kang 等人53提出了一種聯合圖像傳輸和場景分類方案。他們利用深度強化學習來識別服務于傳輸任務的最基本語義特征，從而在分類精度和傳輸成本之間實現最佳權衡。迄今為止，已經提出了許多用于圖像質量評估(IQA)的語義度量。常用的有圖像語義相似度、峰值信噪比(PSNR)、圖像與圖語義相似度(ISS)和識別精度等圖像語義通信指標。3.4 面向視頻的語義通信面向視頻的語義通信3.4.1 視頻傳輸背景視頻傳輸背景伴隨著社會科技的發展，視頻的傳輸已成為人們工作和生活中不可或缺的一部分。然而，當前無線視頻傳輸系統在面對時變信道條件時

86、容易受到干擾，這可能導致視頻畫面模糊、卡頓或丟失。特別是高分辨率視頻的傳輸需要大量的傳輸資源，使得在低網絡帶寬或不穩定網絡環境下保持流暢的視頻通信成為一項挑戰。為了解決這些問題，一些相關工作已經著眼于語義通信相關技術的應用。通過引入語義通信，系統可以更加智能地理解和處理視頻內容，而不僅僅是簡單地傳輸圖像數據，從而提高視頻會議的質量。3.4.2 語義視頻傳輸語義視頻傳輸語義通信技術能夠識別并優先傳輸視頻中的關鍵信息，如人物表情、動作或重要場景，而對于次要信息則可以采用更為壓縮的方式傳輸，從而節約傳輸帶寬。此外，通過實時調整視頻編碼參數和優化傳輸路徑，語義通信技術還能夠適應不同的網絡條件，提升視頻

87、傳輸的穩定性和效率。為了解決傳統視頻傳輸系統的問題，Wang 等人54提出了一種基于38/126聯合信源信道編碼（JSCC）的語義端到端視頻傳輸系統（DVST），該系統利用非線性變換和條件編碼架構來自適應地跨視頻幀提取語義特征，并通過一組學習到的可變長度深度JSCC編解碼器和無線信道傳輸語義特征，該方法可以超過傳統的無線視頻編碼傳輸方案。Liang 等人55針對視頻傳輸帶寬資源進行了優化，提出了一種傳輸語義而不是視頻所有比特的視頻語義系統（VISTA），通過語義分割模塊對源視頻中動態和靜態片段分別進行分類和編碼，獲得動態和靜態片段的語義與位置信息。同時，通過適應不同信道條件的JSCC 模塊對分

88、割后的信息進行編碼、傳輸與解碼。最后通過幀內插值模塊在接收端恢復視頻。3.4.3 語義視頻會議語義視頻會議針對語義視頻會議（SVC）傳輸方面，鑒于視頻中的背景基本上是靜態的，且發言者變化不頻繁，因此可以只傳輸表達面部表情變化的關鍵點，而其他在視頻會議中保持不變的信息可以提前發送，從而有效提升語義視頻會議的傳輸帶寬56。同時，Jiang 等人57對于傳輸錯誤對 SVC 的影響進行了研究，并探究了評價視頻質量的方法，以確保語義系統的性能。在存在傳輸錯誤的 SVC系統中，其結構如圖 3.4 所示。圖 3.4 文獻57提出的語義視頻會議（SVC）網絡結構整個系統分為效果層、語義層和物理層。效果層反映了

89、傳輸和恢復視頻之間幀的差異，語義層完成對視頻的編碼解碼以及知識庫的共享，而物理層則用于傳輸編碼后的語義特征。在語義層，由于視頻會議中的背景和說話人變化較小，發送端將視頻的第一幀作為共享知識庫與接收端共享。然后，關鍵點檢測器提取當前幀中面部的變化，并將這些變化編碼成相應的比特信息，通過物理層進行傳輸。接收端根據接收到的關鍵點和共享的第一幀視頻，39/126利用生成器對傳輸的視頻進行重建。由于自動混合重傳請求（HARQ）可以應對無線通信中的時變信道，并且在帶有確認（ACK）反饋信號的時變信道下能夠進行重傳和發送增量比特來提高傳輸質量。圖 3.5 SVC各個模塊的基本結構SVC 各個模塊的基本結構如

90、圖 3.5所示。關鍵點檢測器由的卷積神經網絡（CNN）組成，輸入的圖像矩陣通過抗混疊插值進行下采樣，以降低關鍵點檢測器的復雜度，然后分別通過具有三個塊的 hourglass 網絡、卷積層、softmax 激活函數得到最終的關鍵點。在編碼器-解碼器結構中，全連接層完成關鍵點維度的變化，量化操作將神經網絡輸出的浮點數映射為比特數據，以及比特映射為浮點數，解量化操作則將接收的比特重新映射為浮點數，以符合實際的通信場景。生成器則通過將共享、接收到的關鍵點以及預先共享的圖片計算視頻中的動態部分，完成發送視頻幀的復原。40/126（a）(b)圖 3.6 傳統方法、SVC以及不同配置 SVC-HARQ在不同

91、 BER 下的性能57圖 3.6（a）展示了傳統的 H264 與 SVC 使用基于 VGG 的檢測器在不同誤比特率（BER）下的接收幀的可接受比率。圖 3.6（b）則展示了傳統方法、SVC 以及不同配置的 SVC-HARQ（其中的 SVC-HARQ(160,160 bits)表示第一次傳輸和第二次傳輸都傳輸160 比特信息）在不同誤比特率（BER）下的吞吐量。吞吐量是在 1.526M 傳輸比特下接收到的質量可接受的視頻幀的數量，其中當 BER=0 時，1.526M 位可以傳輸 10000 個由SVC 編碼的視頻幀。在圖 3.6（a）中，在 BER 較小時，傳統方法的可接受率高于 SVC，這是因

92、為 SVC 使用神經網絡處理數據存在一定的壓縮。隨著 BER 的不斷增加，H264 的性能急劇惡化，在 BER 高于 0.04時幾乎難以正常工作。而 SVC 有著較強的抗干擾能力，即使當 BER 達到 0.2 時，其可接受率依然在 0.95 以上。在圖 3.6（b）中，可以看出傳統方法 AV1+LDPC-HARQ（AV1 視頻編碼、LDPC 信道編碼與 HARQ 技術結合）只有較少的幀可以被接受，并且 SVC 隨著 BER 的逐漸提高恢復視頻的能力下降明顯，而 SVC-HARQ借助增量比特有效對抗了信道影響，從而確保了傳輸視頻的質量。3.4.4 小結小結在視頻語義通信中，通過引入語義通信技術有

93、效緩解了無線視頻傳輸系統受時變信道的影響。采用基于深度學習和信源信道編碼的方法，如 DVST 和 VISTA，系統能夠提取和傳輸視頻中的語義特征，提高視頻傳輸的穩定性與帶寬利用率。同時針對語義視頻會議，SVC 通過僅傳輸關鍵面部表情變化的關鍵點，并利用生成網絡對視頻幀進行復原，有效提升了傳輸帶寬以及抗噪聲干擾的能力，保障了視頻傳輸在時變信道下的可靠性。41/1264.語義噪聲抑制語義噪聲抑制除了物理信道噪聲及干擾，語義通信系統還會受到語義噪聲的影響。語義噪聲58是指使得收發端對語義信息的理解出現偏差的信號,如圖 4.1所示。對語義噪聲的魯棒性是制約語義信息傳輸性能的一個關鍵因素。本白皮書介紹了

94、文本、語音、圖片模態中存在的語義噪聲，進而提出語義通信系統魯棒性設計的必要性。具體而言，魯棒的語義通信系統不僅需要探究語義噪聲對傳輸性能的影響規律，還必須針對特定模態的數據設計魯棒的語義通信系統來消除語義噪聲，從而提高傳輸系統的語義保真度。圖 4.1 語義通信系統中的語義噪聲4.1 魯棒的文本語義通信魯棒的文本語義通信文本信息作為一種常見的信息載體，具有復雜的來源。一方面，互聯網中存在大量的人為生成的文本信息，包括博客、維基百科等。另一方面，隨著語音以及圖像識別技術的發展，語音以及圖像也為文本數據庫貢獻了大量的數據，比如自動音頻識別技術、光學字符識別等都可以用文本信息來表征語音、圖片的語義信息

95、。雖然這些文本信息可以作為深度模型的語料，提高模型對文本信息的語義理解能力，但是由于人為的錯誤以及識別算法的不完備性，文本數據中會存在一定的錯誤，這些錯誤就是文本模態中的語義噪聲。如果不對這些錯誤進行糾正，會干擾系統提取出的語義保真度，進而影響語義通信系統的性能。但是現有的文本語義通信,如 DeepSC 等，都假定輸入的文本信息是正確無誤的，因此沒有針對語義噪聲進行系統設計，而實際中存在的語義噪聲會嚴重影響這些語義通信系統的性能。42/126同時，自然語言處理領域中現有的語法糾錯算法,如59等，往往獨立于通信系統，僅作為前端或后端的輔助模塊，在發送文本前或者重建文本后進行糾錯，這種重復的語義提

96、取會導致計算資源的浪費。而語義通信由于傳輸的是語義信息，如果能夠在語義信息上進行處理，就可以在通信的過程中消除語義噪聲，提高計算資源的利用率。為了解決上述問題，60定義了文本語義通信中的語義噪聲，并提出度量指標對語義噪聲強度進行量化，同時還設計了一種帶有語義糾錯器的文本語義通信系統，魯棒的語義通信系統的架構如圖1 所示，該系統可以對語義信息進行修正，消除語義噪聲，提高語義通信的語義保真度。圖 4.2 魯棒語義通信系統架構圖值得一提的是，文本語義通信中的語義噪聲研究存在一些挑戰。首先，文本中的語義噪聲形式十分多樣，人為產生的拼寫錯誤和自動音頻識別錯誤在形式上具有很大差異，如何設計統一的魯棒語義通

97、信系統來消除所有形式的語義噪聲具有很大的挑戰；其次，語義通信系統在添加了魯棒系統設計之后，如何保證系統的通信速率不受到影響也是一個值得研究的課題。只有解決了這兩個問題，才能實現魯棒的文本語義通信，實現廣義保真度下語義信息的協同傳輸。4.2 魯棒的語音語義通信魯棒的語音語義通信語音中的語義噪聲具有一定的多樣性，其包括了對于語音信號內文字信息的噪聲，還有針對語音獨有特性的噪聲。因此，設計魯棒的語音語義噪聲抑制機制非常具有挑戰性。另外，在實際的通信場景中，語音信號作為主要的信源之一，且因其數據量大的特性，因此占據了實際通信開銷的大部分資源，并且在實際通信中，語音信號往往受到周邊環境的影響而損壞其原先

98、所表達語義信息。因此，為了實現高語義保真的語音傳輸，需要對受損語音信號中的語義噪聲進行有效抑制。43/126為了解決語音語義通信系統中的語義噪聲問題，Weng 等人61在基于神經網絡構建的端到端語音到文字翻譯的傳輸范式中設計了針對受損語音的語音語義噪聲抑制機制。具體來說，首先基于清晰的語音序列，設計了深度語義編碼器來提取語音信號中的深度語義特征，從而實現準確的端到端語音到文字翻譯。此外，為了抑制受損語音信號中的語義噪聲，設計了深度語義補償器來估計受損的語義信息并同時提取與目標語言相關的語義特征。具體來說，提出了基于生成式網絡(GAN)的訓練策略，通過訓練判別器來區分準確的語義特征和通過深度語義

99、補償器獲得的受損的語義特征，然后通過訓練深度語義補償器來最小化準確的語義特征和受損的語義特征之間的差異。通過判別器和深度語義補償器的交替訓練，使得判別器無法再分辨出深度語義補償器生成的語義特征和準確的語義特征，且深度語義補償器能夠獲得幾乎準確的語義特征，以此來抑制受損語音信號中的語義特征。圖 4.3 魯棒的語音語義傳輸系統架構圖值得一提的是，目前語音語義噪聲的研究只具備一些前期技術基礎，對于如何分類和量化語音中的語義噪聲還存在一些技術瓶頸。另外，如何將語音中的語義噪聲與前面提及的文字中的語義噪聲相結合，設計統一的魯棒的語義噪聲抑制機制，也是一個需要長期研究的課題。4.3 魯棒的圖像語義通信魯棒

100、的圖像語義通信隨著深度學習技術的不斷進步，語義通信作為提取和傳輸數據中與特定任務相關信息的重要方法，已經引起了廣泛的關注。例如，在處理目標檢測任務的圖像數據時，我們只需關注目標的位置和形狀，因為這些信息直接關系到目標檢測任務的成功與否。而圖像的背景信息，與任務并無直接關聯，因此在傳輸過程中可以忽略。此外，語義通信對較差的信道環境具有較強的魯棒性62。在許多對通信可靠性要求極高的應用場景中，這一點顯44/126得尤為重要。雖然基于深度學習的端到端語義通信系統在一些特定任務中已經取得了令人矚目的性能表現，但如何進一步提高其對噪聲的魯棒性，仍然是未來研究的重要方向。除了經典的信道噪聲外，語義通信系統

101、還面臨一種特殊的語義噪聲挑戰。這種噪聲會導致發送端傳輸的語義信息和接收端解碼出的語義信息之間存在失真，進而引發對語義信息的誤解和解碼錯誤。這種語義噪聲可以在不同階段產生，包括語義信息編碼、數據傳輸和語義信息解碼階段。在數據傳輸階段，由于信道衰落導致的信號失真，以及惡意攻擊者發送的干擾信號都會引入語義噪聲。圖像中的語義噪聲可以建模為對抗擾動，即對圖像像素做一些細微的人眼無法察覺的改動，從而誤導深度學習模型輸出錯誤的結果，導致系統性能的惡化。針對端到端魯棒語義通信系統在安全性和可靠性方面的研究，在未來的無人駕駛和智慧醫療等 6G場景中至關重要。圖 4.4 語義噪聲模型及魯棒語義通信系統框架7首次對

102、圖像在語義通信系統傳輸過程中的語義噪聲進行了建模，并設計了一種端到端魯棒語義通信系統來對抗這種噪聲，同時降低傳輸開銷。具體來說，針對不同場景，他們建立了兩種物理層收發機中的語義噪聲模型。第一種是在發送端實時地生成樣本依賴45/126的語義噪聲，即針對每張圖像添加不同的語義噪聲。發送端語義噪聲一般在發送端編碼時產生，如圖 4.4(a)所示?？紤]如下場景：有一個惡意攻擊者攻擊網站，下載圖像數據集，將語義噪聲加在該數據集的每張圖片上，再將該修改過的數據集上傳至網站。語義噪聲對編碼過程有嚴重的影響，并且會誤導深度學習模型使其產生錯誤的結果，從而導致任務失敗。對于難以獲取 CSI 和傳輸符號的場景，他們

103、提出了一種在接收端產生的非樣本依賴的語義噪聲。這種噪聲對不同輸入樣本產生相同的語義噪聲，并添加到不同的傳輸信號中，導致大多數圖像無法成功解碼。該語義噪聲產生的原因有硬件非理想特性，由信道引起的傳輸信號畸變，惡意攻擊者的攻擊等，如圖 4.4(c)示。為了提高通信系統對語義噪聲的魯棒性，7提出了一種新的訓練方法：權重擾動的對抗訓練。這種方法的核心思想是將帶有語義噪聲的樣本納入訓練數據集，從而在訓練過程中就考慮到噪聲的影響，有助于系統更有效地應對噪聲問題。值得注意的是，由于無線通信環境的開放性和神經網絡的脆弱性，接收端的語義噪聲成為了一個嚴重的問題。63深入探討了這一挑戰，并為接收端語義噪聲設定了四

104、項基本要求：面向語義、不可感知、輸入無關和可操控性?；谶@些要求，63利用神經網絡設計了一個接收端語義噪聲生成器，并結合了一種新型的混合對抗訓練方案，顯著提升了圖像語義通信系統的魯棒性。此外，語義通信還面臨著一種“內源性風險”。這意味著，除了外部攻擊者可能通過向原始數據樣本添加語義噪聲來干擾通信外，端到端訓練過程中也可能產生語義噪聲，這種噪聲會降低訓練后模型的性能。因此，對于語義通信系統的研究和設計，必須充分考慮和應對這些挑戰，以確保通信的準確性和可靠性。46/1265.多模態語義通信多模態語義通信5.1 多模態語義通信架構多模態語義通信架構隨著無線通信系統的發展，系統容量逐漸接近香農極限。為

105、了進一步提高通信系統的傳輸能力，現如今語義通信已經引起了工業界和學術界的廣泛關注64。與需要正確傳輸原始符號的傳統通信不同，語義通信聚焦于如何準確傳達符號的內在語義信息而不是符號本身，通過提取出與接收端的任務相關的信息進行傳輸，可以有效地完成數據壓縮，從而提升信息傳輸的有效性。同時，隨著通信和深度學習的融合，現已可以通過深度神經網絡從源數據中提取與任務相關的語義信息，并用編碼的特征來表示。即使是在較差的信道環境中，基于深度學習的語義通信研究已經實現了較大的性能提升。本篇旨在綜述已有單模態語義通信的相關工作以及多模態語義通信的挑戰和研究現狀，介紹多模態融合技術，整體框架如圖 5.1所示。圖 5.

106、1 本篇整體框架通常信源數據主要可以被分為文本、音頻、圖像和視頻四類模態。大多數現有的語義通信研究都圍繞上述幾種模態展開。如基于 Transformer 的聯合語義信道編碼方法24，聚焦于文本的數據類型，在考慮加性白高斯噪聲（AWGN）的影響下，能夠很大程度上去除信道噪聲及語義噪聲。除此之外，考慮到文本中某些詞句具有更強的語義模糊性，一種引入了自適應循環機制的 Transformer 被設計出來用于進一步增強系統的抗干擾能力22。對于圖像數據，基于注意力的聯合信源信道編碼（JSCC）系統以不同的信噪比（SNR）較好地完成了圖像傳輸任務12，并通過實驗表明聯合信源信道編碼的方案具有更好的魯棒性。

107、除此之外，已有很多文獻進一步研究了面向音頻信號傳輸的語義通信，如基于自然語言處理的 Wav2Vec65和引入了注意力機制的編解碼系統66。最后對于視頻47/126數據類型，一種被稱為 DeepWiVe 的方案給出了使用強化學習（RL）的端到端聯合信源信道編碼的視頻傳輸框架67，可以克服傳統基于分離的數字通信方案中普遍存在的懸崖效應。盡管目前的語義通信系統在很多場景中表現出了令人滿意的性能，但它們只能用單一的數據模態處理一項任務。一方面單模態的數據在本質上具有多義性，即一個源信號通?？梢员唤庾x為多種含義，如果沒有上下文或相關背景知識，通過語義編碼器得到的特征往往是不充分的，獲取其潛在的真實含義是

108、較為困難的。同時另一方面，隨著當下數字多媒體業務迅猛發展，各類終端獲取的信息早已不再單一，與人類通過多種感官感知世界的方式類似，多模態的數據可以從多個方面提供全面的信息，現如今包括各種類型在內的多模態服務已經逐漸成為各類場景的主流。一般意義上，多模態語義通信將由來自兩種或兩種以上的不同模態的數據作為輸入，旨在聯合表示不同模態的數據或探尋其中的內在的語義特征。多模態學習已成為機器學習的最新趨勢，與單模態學習相比，通過集成多模態數據，可以在一定程度上提高最終性能。例如，人類動作識別68和多模態情感分析69可以從音視頻等不同模態中提取多模態的特征表示，從而提高預測性能。因此，設計一個面向多模態數據的

109、語義通信系統是很有必要的。探索多模態數據語義通信系統是較為困難的，其原因主要歸結于數據類型的不同。如何處理不同模態間的語義隔閡或探索到統一的語義表征是當前多模態語義通信面臨的總體挑戰，目前的主要研究方向也可進一步被分為：模態融合和抗噪性。5.1.1 多模態語義通信中的模態融合設計多模態語義通信中的模態融合設計目前一個基本挑戰是多模態數據融合，即結合來自兩個或多個模態的信息來執行某項任務（如分類、預測、回歸等）。如圖 5.2 所示，融合可以分為兩種方式，早期融合和后期融合。圖 5.2 早期融合與后期融合結構示意圖（以雙模態分類任務為例）48/126早期融合，通常又稱為特征融合，是指對模態進行特征

110、提取之后立刻進行的一種融合方式，具體而言即是在模型的淺層或輸入層將多個模態的特征拼接起來（通常在發送端完成），然后再送入深度網絡結構。該方案優勢在于可以在早期利用來自不同模態的多個特征之間的相關性，適用于模態之間高度相關的情況，但由于多個模態的數據來源不一致，會給拼接造成很大的難度，并且直接對原始數據進行拼接會引起較大的特征維度。例如有文獻提出了一個服務于多任務的統一語義通信系統，用于處理圖片和文本兩種模態的輸入70。其在發送端將兩個模態的特征進行拼接后發送，采用了域適應模塊可以在特定任務的特征上更好地分割和聚合語義信息，同時設計了多出口的解碼器以便讓一些較為簡單的任務早退得到結果。該作者后續

111、在此基礎上設計一個輕量級的特征選擇模塊，可以根據不同信道條件和任務動態調整需要傳輸的特征數量71。也有研究設計了一種去中心化的多模態學習策略72，并設計了知識蒸餾模塊（KD）用于解決由于模態的異構性和非獨立同分布（IID）數據導致本地訓練的生成器只能學習到本地分布的問題。后期融合，通常也稱為決策層融合，指的是在每種模態都做出決策（分類或回歸）之后或即將做出決策前才進行的融合（通常在接收端完成）。該方案允許獨立訓練多個模型，即可以讓各模態單獨處理，特征獨立互不影響。同時即使某個模態信息丟失也可以正常訓練，具有很強的靈活性，但沒有充分利用模態間底層特征的相關性。有研究以執行視覺問答（VQA）任務為

112、例，即部分用戶發送圖像，而其他用戶發送文本來查詢圖像的信息。該研究使用 ResNet-101 作為圖片模態的編碼器，使用雙向長短期記憶（Bi-LSTM）網絡作為文本模態的編碼器，考慮了一個簡單的拼接后再分離的通信場景，在最后一層將兩個模態的特征進行融合送入記憶力、注意力和合成（MAC）網絡得到輸出73。后有學者進一步考慮了多用戶的情況，使用基于 Transformer 的框架來統一不同任務的發射器結構，并在接收端根據實際任務選擇是否對不同模態進行融合74。不同模態的語義特征對同一項任務的影響是不一致的，且各自特征可能存在不對齊的情況（即如何確定某一模態經過多少層網絡后的特征提取程度與另一模態相

113、同，不同程度的語義信息并不適合直接進行結合），同時進一步地，在考慮無線通信的場景下，應將更多的資源分配給具有更多語義信息或對任務更為重要的模態上。因此設計一個合適的方案考慮到上述因素對多模態的語義進行深度融合也是一個值得思考的問題。49/126除此之外，在實際場景中，部分數據通常會存在模態的缺失，因此在進行多模態任務中可能會帶來性能的降低。通常情況下，面對模態的不完備，系統在高模態缺失率下可能表現出性能震蕩或下降。因此，在進行系統建模和設計時可以進一步考慮可能存在的模態缺失問題。5.1.2 多模態語義通信中的抗噪性設計多模態語義通信中的抗噪性設計語義通信可以通過減少傳輸數據量來提高通信效率，但

114、語義的引入也帶來了新的威脅和風險。在語義通信的完整框架下，系統需要考慮到信道噪聲和語義噪聲。同時在多模態的場景下，同樣的噪聲作用于不同模態上的效果并不相同，這也給多模態語義通信的抗噪設計提出了新的挑戰。有學者75在分布式多模態的語義通信框架下，利用魯棒性驗證問題（RVP）76來表征不同模態的輸入擾動與語義輸出失真之間的關系，基于不同模態的噪聲敏感性，定義了不同模態對語義任務的語義重要性。同時還設計了一種速率自適應編碼機制，聯合考慮語義信息和信道條件，根據不同模態的語義意義為其分配不相等的編碼速率。除此之外，也有信道級的信息融合方案被提出來77，即讓不同模態的語義信息按信道增益作為權重求和至一起

115、，并設計了語義預編碼方案來防止語義信息被無線信道的不確定性破壞，并降低無線信道對多模態語義特征融合的隨機效應。語義級別的傳輸確實可以在很大程度上節省帶寬，但由于語義是高度凝練的信息，一些微小的擾動可能會產生較大的變化。這樣的失真來可能涉及多種因素，而在多模態的場景下，不同模態的數據經過同種方案的編碼、傳輸和解碼造成的失真往往是不一致的。因此亟需探索一些方案對不同模態的語義失真進行建?；驌p失函數的設計，而不是采用深度學習中常用的損失函數（如交叉熵和最小均方誤差）等，這不僅僅可以提高深度神經網絡的可解釋性，還可以用于指導對不同模態數據處理算法的設計。5.2 多任務的語義通信多任務的語義通信5.2.

116、1 多任務語義通信系統研究動機多任務語義通信系統研究動機隨著互聯網和智能技術的普及，網絡傳感器在日常生活中的作用日益突出。它們從各種環境模式中收集大量數據，進而產生了大量的傳輸數據?，F有的語義通信系統已經展現了傳輸不同類型數據（如圖像、文本和語音）的潛力。近年來，學者們對研究先進的語義50/126通信系統表現出了濃厚的興趣，主要側重于提升語義通信的傳輸性能，包括重構失真或準確度，并考慮了各種度量標準，如峰值信噪比（PSNR）和分類準確率?，F有工作主要可以分為兩大類：數據重構和智能任務執行。在數據重構方面，語義通信系統致力于從源數據中提取全局語義信息。一些代表性的工作包括經典的用于文本傳輸的 D

117、eepSC24和用于圖片重構的 DJSCC42。這些方法旨在減少數據的冗余，提高傳輸效率。這些方法的核心思想是通過自動編碼器將信源符號直接映射為信道符號進行傳輸，并通過端到端學習進行訓練。對于任務執行的應用程序，語義通信系統僅在發送端提取和編碼與特定任務相關的語義信息75。例如可以將語義通信系統設計為一個端到端系統，并執行各種智能任務，比如分類和目標檢測。這種方法的優點在于，它僅傳輸任務所需的關鍵信息，從而減少傳輸的數據量。盡管現有的語義通信系統在某些特定場景中表現出了令人滿意的效果，但它們通常只處理具有單一數據模態的特定任務。在實際應用中，多模態數據的處理和多任務執行的需求越來越普遍，例如一

118、個完備的收發機通常需要能夠同時執行數據重構任務和智能任務。更具體地說，許多設備要求在單一系統中執行多個任務，這使得現有的語義通信模型面臨一些挑戰。具體來說，現有工作中提出的深度 JSCC 框架專門設計用于處理單一任務。當執行與模型設計不同的任務時，由于模型不匹配和/或不適當的訓練流程（例如，模型訓練時使用的損失函數），它將無法正常工作。為此，現有的模型可能需要重新訓練，這導致了大量的梯度傳輸和計算成本?；蛘呖赡苄枰鎯Χ鄠€模型，這又增加了存儲需求和管理復雜性。因此，開發一個能夠統一處理多模態數據傳輸的多任務語義通信系統具有重要的實際意義。此外，相比單任務系統，多任務語義通信系統也具有一些潛在優

119、勢。（1）由于多任務共享模型參數，存儲模型所需的內存空間可以顯著減少；（2）如果一些相關任務共享互補的語義信息，同時對多個任務進行訓練并提高性能會更加容易，換言之，通過同時優化多個任務，每個任務可以從其他任務中受益，進而提高整體性能；（3）多任務語義通信可以被視為一種正則化方法，有助于防止模型過擬合。在多任務學習中，模型需要同時滿足多個任務的要求，這對模型進行了一定的約束，有助于提高其泛化性能。（4）對于某些任務，可能存在大量的標記數據，而對于其他任務則可能只有有限的標記數據。通過51/126在同一語義通信模型中同時訓練多個任務，可以更充分地利用可用的數據，提高模型的性能。5.2.2 多任務語

120、義通信系統框架多任務語義通信系統框架圖 5.3 統一的多任務、多模態語義通信系統框架如上節所述，現有語義通信系統模型處理的任務往往會涉及多種模態，例如圖像、文本和語音，支持多模態數據傳輸也自然成為多任務語義通信系統的必要功能。因此，一個多模態多任務語義通信模塊需建模為圖 5.3 所示的框架,該框架旨在根據所選任務自動激活相應的發射器，并處理涉及不同模態（如圖像、文本和語音）的數據。該框架主要由四個主要部分組成：圖像發射機：圖像發射機：負責處理和編碼圖像數據，確保圖像信息的準確傳輸。文本發射機文本發射機：負責處理和編碼文本數據，確保文本信息的準確傳輸。語音發射機語音發射機：負責處理和編碼語音數據

121、，確保語音信息的準確傳輸。統一接收機統一接收機：負責接收來自不同發射機的數據，并進行相應的解碼和處理，以實現多模 態數據的統一接收和處理。為了支持多任務語義通信，在接收端通常需要多個輕量級任務附屬頭網絡，該網絡用于執行最終的特征映射，將隱變量映射為最終的感知類別，或者定位坐標。如圖 5.3 所示的例子中，我們考慮一個任務 T4，該任務同時包含了三種模態的數據。然后，發射端根據涉及的模態激活所需的發射機，進行語義編碼和信道編碼。接著，接收端將接收到的信號進行融合并進行解碼，最后根據當前執行的任務選擇合適的任務頭模塊輸出相應結果。52/126借助這一框架，我們能夠實現更加靈活和高效的多模態、多任務

122、語義通信系統，以滿足日益增長的多模態、多任務數據處理需求。5.2.3 多任務語義通信主要技術和未來展望多任務語義通信主要技術和未來展望為完成多任務語義通信這一目標，目前已有學者進行了針對性研究，并提出了解決方案。例如對于分類任務，78提出了一種多任務語義方法，通過聯合優化多個接收機來完成多個任務。此外，針對圖像數據，79設計了一個模型來處理圖像檢測和分割任務，該方案在這兩個主流任務上取得了優秀性能。為滿足多模態、多任務語義傳輸的需求，71首次嘗試為端到端數據傳輸設計一個統一的語義通信模型，即 U-DeepSC。這個模型不僅考慮了單模態任務，還涵蓋了多模態任務，從而更好地適應各種實際應用場景。U

123、-DeepSC 能夠同時處理圖像、文本和語音這三種不同模態的數據，展現了強大的多模態處理能力。由于數據重建是現有通信系統中至關重要的功能，因此除了上述采用先進的模型架構聯合優化多任務的研究之外，也有研究著重關注于圖像重構和智能任務執行的統一。這一類研究嘗試在盡可能保持語義信息的前提下，對數據進行最大程度的壓縮來降低傳輸開銷。例如，80和81中研究了聯合速率最小化和失真最小化問題，并提出了一個新的端到端語義通信系統。該語義通信系統能夠同時執行圖像重構和分類任務。具體來說，該模型能夠獲得一個低維的特征表示，該特征不僅能夠被用于接收端的數據重構，同時也能夠用于執行各種智能任務。盡管現有研究已經取得了

124、一定進展，多任務語義通信中仍然存在很多關鍵性問題。首先，通過設計先進的網絡結構和先進的訓練方法提升多任務語義通信系統性能仍需要進行長期的探索。另外，在多任務語義通信中為每個任務選擇合適的傳輸速率是一個值得考慮的問題。在邊緣推理場景中，多任務語義通信可能是由多個設備共同完成，例如圖 5.3 中的三個發射機可能位于不同的設備之上。在這樣的場景下，如果在多任務場景下進行多設備的調度和多任務多設備的聯合訓練會是一個很有價值的問題。多模態、多任務語義通信系統的研究正在不斷深入，以應對日益復雜和多樣化的數據處理需求。未來這些系統的設計和優化旨在提高傳輸效率、降低能耗并增強任務執行精度，為未來的智能通信和數

125、據處理奠定基礎。53/1265.3 多用戶的語義通信多用戶的語義通信對于多用戶語義通信，一種理想的方法是直接將單用戶點對點語義通信模型擴展為多用戶語義通信模型，但這種方案需要訓練大量的語義編、解碼器，有著極高的訓練成本。同時，簡單的擴展忽視了用戶間干擾、語義知識庫不匹配、資源利用率低等問題。因此，需要重新設計高效的架構并合理配置各項資源以滿足不同場景下的多用戶語義通信。5.3.1 多用戶語義通信主要技術多用戶語義通信主要技術（1）基于非正交多址的多用戶語義通信）基于非正交多址的多用戶語義通信NOMA 通過多個用戶共享時間和頻率資源，解決了 OMA 在用戶擴展上的困難，提升了頻譜效率，降低了傳輸

126、時延，但其非正交特性使得系統的設計變得困難。一方面，由于 NOMA 讓所有用戶的信息均在公共信道中傳輸，接收端需要使用干擾消除技術實現對應信息的分離，常見的手段有接收信號的重構82、接收端多用戶檢測等。另一方面，多用戶語義通信的擴展性不高。為了解決這一問題，Lin 等人83通過集成 NOMA 和 OFDM，實現了多用戶語義通信系統從 AWGN信道到瑞利衰落信道的切換。（2）基于信道優化的多用戶語義通信）基于信道優化的多用戶語義通信無論是單用戶還是多用戶的語義通信，大部分問題都僅僅考慮如何從發送端或接收端解決語義誤差，而忽視了對物理信道的分析。語義信息很容易由于信道的干擾和不同用戶的不同理解產生

127、偏差，除了信道編碼、信道均衡、信道優化算法等傳統方法，利用預編碼可以減輕隨機信道的影響，利用信道級信息融合可以減輕接收端的負載77，利用語義均衡84可以減輕不同用戶之間的語義誤差。但如何融合多模態數據，如何解決同道干擾，如何準確完成無線信道估計等問題仍然懸而未決。（3）基于多天線技術的多用戶語義通信）基于多天線技術的多用戶語義通信相比于其他的技術手段，將 MIMO 與多用戶語義通信相結合，在提升頻譜效率的同時，還能夠增大通信的覆蓋范圍。但基于 MIMO 也會使得不同用戶之間存在干擾。由于語義通信“達意傳播”的特性，語義干擾遠比一般干擾復雜。為了解決這一問題，可采用預編碼85、功率控制等技術。其

128、次，語義通信計算需求大、不同語義知識庫不匹配等問題限制了基于 MIMO 的多小區語義通信的實現與優化。對于上述問題，在建立語義干擾消除的背景上，需要聯合考慮多個用戶，以合理利用計算資源、減小語義誤差。54/1265.3.2 多用戶語義通信系統架構多用戶語義通信系統架構（1）一對多（廣播）語義通信）一對多（廣播）語義通信一對多（廣播）通信可以方便的將點對點語義通信擴展到多用戶的語義通信，但需要考慮其擴展性、兼容性和收斂性。廣播語義通信在接收端需要考慮如何將不同用戶的數據進行分離。相比于 TDMA、FDMA 等正交多址技術，在解碼端設置特征識別模塊，可有效提高資源利用率。其次，由于接收端不同用戶需

129、要配備不同的解碼模塊，而傳統的訓練手段需要依次對單個用戶的模型進行訓練，消耗資源大、時間長。對于這一問題，Hu 等人86利用遷移學習，在降低訓練復雜度的同時，加快了收斂速度。圖 5.4 廣播語義通信架構（2）異構語義）異構語義-比特多用戶通信比特多用戶通信為了滿足不同場景下不同任務的需求，語義用戶和比特用戶往往需要共存，稱為異構語義-比特多用戶通信系統。由于兩類用戶本質上的不同，其信息度量的單位、傳輸速率、準確性等指標不可能用統一的形式表達，因此，比特流和語義流需要分離。Mu 等人87提出了一種結合 OMA與 NOMA 的半 NOMA 方案，有效促進了兩類用戶的語義通信。其次，語義和比特用戶的

130、分配需要一定的準則。從用戶距離考慮，由于語義通信所需要傳輸的數據量遠遠小于比特用戶，一般將遠距離用戶作為語義用戶，近距離用戶為比特用戶。從傳輸條件考慮，由于語義通信在低信噪比條件下良好的性能，一般將傳輸條件差的用戶為語義用戶，傳輸條件好的用戶為比特用戶。55/126圖 5.5 異構語義-比特多用戶通信系統（3）面向車聯網的語義通信）面向車聯網的語義通信車聯網將車輛與車輛之間、車輛與設備之間相連接，為自動駕駛、智能交通等應用提供了基礎。語義通信在“先理解，后傳輸”的背景下，能夠很好的滿足車聯網頻譜資源大、傳輸時延低、準確性高、隱私性強的特點，是大規模車聯網系統實現以及性能提升的有力手段。面向車聯

131、網的語義通信可分為兩類。第一類是自動駕駛等對時延有著高要求的應用，通常采用靠近車輛一側的基站作為輔助共同完成計算任務。第二類是智能交通等對時延不敏感但計算量較大的應用，通常采用距離更遠但計算能力更強大的云端服務器處理信息。圖 5.6 面向車聯網的語義通信5.3.3 多用戶語義通信資源配置多用戶語義通信資源配置在設計并實現了多用戶的語義通信后，需要進一步考慮資源配置的問題。相比于傳統通信，語義通信在解決工程問題的同時還要解決語義層面的效率。因此，傳統的資源配置算法應用到語義通信時需要做出一定的改進。56/126首先需要考慮的是進一步提高頻譜效率，降低消耗能量，減少傳輸時延等通信資源的配置。通過引

132、入隊列、能量等模型，將提升語義頻譜效率、語義能量效率作為目標，設計一個高效、低能耗、低時延的多用戶語義通信模型。其次，由于 AI 的引入，語義通信在提升性能的同時，存在著高能耗、高計算需求的現實情況。而用戶的計算資源是有限的，僅靠用戶無法實現語義通信模型以及語義知識庫持續的更新與優化。因此，需要聯合考慮云端服務器和邊緣側服務器，在解決計算資源緊張的同時，滿足用戶的傳輸時延。另外，與單用戶點對點語義通信不同，多用戶的語義通信需要實現多個用戶資源的共同調配，以實現多用戶自適應語義通信88，避免出現部分用戶資源緊張但其余用戶資源富裕的問題。盡管對多用戶語義通信的資源配置有不同的研究，但面對實際情況中

133、所存在的問題與限制，多用戶語義通信的資源配置并非單一的考慮一方面的問題，其需要聯合優化通信計算能量資源。圖 5.7 多用戶語義通信通信-計算-能量聯合資源配置示意圖57/1266.數字語義通信與波形優化數字語義通信與波形優化在當今數字通信領域，數字語義通信成為引人注目的研究方向。該領域旨在通過深入挖掘數據的語義含義，借助先進的數字信號處理技術，提高通信系統的智能性和效率。同時，在實現這一目標的過程中，OFDM 波形優化作為關鍵技術之一，通過將信號分解成多個正交的子載波，在頻域上實現高效傳輸。全雙工通信作為另一個重要議題，探討了如何在同一時間和頻率上實現雙向通信，克服了傳統系統中的局限性。此外，

134、可預測信道的研究則強調了對信道變化的提前洞察，以優化傳輸參數，增強系統的穩定性。這一綜合性的研究框架使得數字語義通信不僅關注信息的傳遞，更注重理解數據的內在含義，為通信技術的不斷進步打開了新的可能性。6.1 數字語義通信網絡數字語義通信網絡隨著第五代（5G）無線通信系統、人工智能（AI）和其他支持技術的發展，出現了各種關鍵任務的應用，如自動駕駛、智能工業和遠程醫療13。在當前的通信系統中，這些應用生成的原始數據被傳輸從設備傳輸到邊緣或云計算服務器，那里使用先進的 AI 算法進行進一步分析。傳統的通信系統旨在精確或近似地重現源數據。然而，受限的頻譜資源使得滿足這些應用的嚴格服務要求變得極為具有挑

135、戰性，例如大規模連接、實時數據傳輸和處理等。最近，語義通信引起了廣泛的研究興趣24，25，35，89，90，91，92，它集成了先進的通信和 AI 技術，用于提取然后傳輸數據。在給定特定任務的情況下，原始數據的期望含義是完成諸如分類和目標檢測等任務。因此，語義通信也被稱為任務導向通信25，89，90，91。與傳統通信不同，語義通信不再旨在最小化比特誤碼率。相反，語義通信的主要目標是在語義領域內實現有用信息的可靠傳輸。因此，所需的帶寬可以顯著減少，使得語義通信成為關鍵任務應用的有前途的解決方案。當前語義通信的研究以模擬通信方案為主，其中特征向量直接映射到模擬符號進行傳輸，而不在任何階段轉換為比特

136、93。盡管可以以模擬的通信方式學習和傳輸語義特征，但它對硬件、協議和加密提出了新的挑戰。數字通信在許多方面都優于模擬通信，包括更高的糾錯能力、更強的抗干擾能力、更高的。58/126圖 6.1 數字通信架構示意圖在數字通信中，模擬信號首先經過模數轉換，將連續的模擬信號通過連續抽樣和量化轉化為離散的數字值。這一過程將模擬信號的持續變化映射為離散的離散級別，形成數字信號。數字信號被進一步轉化為比特序列，形成了可處理的數字化序列。數字化的序列隨后通過調制方式適應信道特性，將數字信號映射為星座點。最后，通過發射機，映射為星座點的數字信號被傳輸到接收端，經過信道，接收端的解調器將其解調還原為數字信號。數字

137、通信架構如圖 6.1所示。圖 6.2 數字語義通信架構 1 示意圖圖 6.3 數字語義通信架構 2 示意圖根據數字通信的框架，數字語義通信的架構可劃分為兩種：一種采用端到端的編碼網絡，直接生成對應調制方式的星座點9495，如圖 6.2 所示；另一種方式則通過量化編碼網絡將信號轉換為數字序列，結合數字調制將序列映射到相應的星座點9697，如圖6.3 所示。前者通過端到端的編碼網絡直接輸出星座點，有助于減少對硬件設備的依賴，然而，當調制方式發生改變時，需要頻繁更新神經網絡。后者將信號轉換為數字序列，可適應多種調制方式，但卻依賴于額外的調制設備。59/1266.2 基于基于 OFDM 的語義通信波形

138、優化的語義通信波形優化近年來，深度學習被認為是解決無線通信問題的一種很有前途的技術。特別地，深度聯合信源信道編碼(DJSCC)方法已被證明比傳統的分裂信源信道編碼(SSCC)技術更有效，具有更低的失真，更簡單的設計和計算，并消除了懸崖效應。OFDM 是一種廣泛應用于無線和有線通信系統的調制技術，尤其在高速數據傳輸和抗多徑干擾方面表現出色。通過將基于深度學習的 JSCC 方案與 OFDM 結合，可以將端到端的語義通信系統用于多徑信道下，提高高速數據傳輸能力。通過擴展 JSCC 框架，可以將可訓練的 CNN 層OFDM 基帶處理模塊的不可訓練但可微的層結合起來。如圖 6.4 為 DJSCC 與 O

139、FDM 結合的語義通信系統，語義編碼器通過提取輸入信源的語義特征，將原始信源映射到的復數符號序列，再經過快速傅里葉逆變換(IFFT)轉換為時域信道輸入；接收端將接收到的信號進行快速傅里葉變換(FFT)生成頻域信號，通過語義解碼器后重構褚原始信源。圖 6.4 加入 IFFT 和 FFT 的 DJSCC系統模型98然而，由于生成符號的隨機性，DJSCC 在與正交頻分復用(OFDM)結合時存在嚴重的高峰均功率比(PAPR)問題。較高的 PAPR 會導致帶內失真和帶外輻射，這是由于無線電發射機的高功率放大器(HPA)的非線性造成的此外，OFDM 接收機的檢測效率對數模轉換器和 HPA 等非線性器件特別

140、敏感。過高的 PAPR 會增加了硬件成本，嚴重時甚至會帶來信號的非線性失真，造成系統性能的損失。如圖 6.5 在語義通信系統中，因為 DJSCC 模擬調制生成的星座點是散亂無章的，當 OFDM 與語義通信系統結合時，更有可能生成大峰值功率符號,多載波的疊加進一步加劇了這種現象，從而產生了更高的 PAPR 值,造成更嚴重的信號失真現象。60/126圖 6.5 DJSCC發送端調制圖98各種降低 PAPR 的技術被提出并成功應用于工程實踐中。傳統的 PAPR降低技術根據它們是否對原始信號引入失真被分為信號失真類和非失真類別。信號失真類的抑制 PAPR技術主要包括限幅、限幅濾波、加峰加窗、削峰和壓擴

141、。信號非失真 PAPR抑制技術包括預編碼、選擇性映射(SLM)、部分傳輸序列(PTS)、交織、音調保留、音調注入、主動星座擴展、星座重塑等。除了傳統方案外，一些基于 DL的 PAPR降低技術最近被提出99，主要有將 PAPR 作為懲罰損失函數加入決定參數更新方向的損失函數中；將限幅作為一個非線性函數加入到網絡的訓練過程中從而進一步提升限幅法的性能。如圖 6.6 所示,將限幅加入到訓練中的方法獲得了最佳的 PAPR 抑制性能。并且,在失真 類算法中,訓練中的限幅具有最佳的 PSNR 性能,尤其是在低信噪比情況下。例 如,在信噪比為 0dB 的情況下,此方法接收端的圖像質量高于 PAPR 懲罰損失

142、函 數法和簡單限幅法大約 3dB,高于壓擴法約 10dB!另外,將限幅加入到訓練過程中 不用對網絡模型進行任何修改,而且也不會增加過多的計算復雜度。圖 6.6 基于深度學習的 PAPR 抑制技術和傳統方案的性能對比9661/126綜上所述，本節研究了基于 DJSCC 的 OFDM 系統的 PAPR 抑制技術，包括傳統的PAPR 抑制技術和基于 DL 的 PAPR 抑制技術。仿真結果表明，盡管傳統的 PAPR 抑制技術可以應用于 DJSCC，但 DJSCC 的性能與傳統的 SSCC 不同，例如，DJSCC/SSCC 中的限幅性能優于/劣于壓擴；此外，對于信號畸變的 PAPR 抑制技術，帶再訓練的

143、限幅技術在 PAPR抑制和恢復精度方面都取得了最好的性能。此外，信號非失真 PAPR抑制技術，即 SLM 和 PTS 可以成功地降低 DJSCC中的 PAPR，而不影響信號的重構。6.3 全雙工語義通信全雙工語義通信隨著工業互聯網和車聯網的快速發展，對內容和控制信息傳輸的需求急劇增加。與傳統通信專注于盡可能準確地恢復傳輸的符號不同，語義通信專注于恢復傳輸內容的語義，所需通信資源少得多，有望突破現有系統的瓶頸，成為極具競爭力的 6G 技術?，F有的語義通信研究主要集中在構建單向或單向通信系統，而很多情況下需要進行雙向語義通信。例如，異構機器人協作完成某項任務或者車輛相互協作進行自動駕駛。雙向智能通

144、信任務啟發我們研究全雙工語義通信系統。在深度學習方法的輔助下，語義通信系統已被證明可在文本傳輸，語音傳輸，圖像傳輸，智能任務等方面表現出有效的性能。具體來說，通過聯合信源信道編碼(JSCC)，收發機可以用神經網絡(NN)表示，并根據已知的信道模型以端到端的方式進行學習，以適應當前的信道條件，并獲得比基于模塊的傳統通信系統更好和更魯棒的性能，特別是在低信噪比(SNR)條件下。然而，當離線訓練的信道狀態與當前情況不匹配的情況下，JSCC 框架的應用受到了極大的限制，從而導致不可忽視的性能下降。以圖像傳輸為例，當實際信道條件為 10 dB 時，模型為 0 dB 下訓練得到，其關鍵指標峰值信噪比(PS

145、NR)比在線訓練下降約 4 dB。緩解性能退化的一個潛在解決方案是在線訓練或微調。在單向語義通信系統中，在線訓練通常如下進行：發送端通過信道發送訓練數據，接收端通過設計的損失函數得到的梯度用于更新接收端和發送端的權重。然而，由于信道衰落特性模型未知，發射機的權重無法通過梯度反向傳播更新。因此，這種方法所獲得的性能增益仍然是有限的，因為它只微調接收機的權重，而發射機被排除在外。為了解決這個問題，生成式對抗網絡(GAN)被提出，以實現未知信道模型下的高效比特傳輸。通過使用 GAN 學習隨機信道的等效 NN，62/126在接收端學習發射機的最佳參數權重并發送給發射機，但這需要另一條可靠的反向通信鏈路

146、在訓練過程中對訓練信息進行反饋。簡單地將單向語義通信系統擴展到雙向場景會帶來顯著的數據傳輸和時延開銷。因此，需要探索一種在訓練階段不依賴訓練信息反饋的高效實用的實時全雙工語義通信技術。如圖 6.7 所示，本小節建立了一種新的全雙工語義通信系統框架(TW-SC)，其中收發器和信道神經網絡被聯合設計以執行雙向圖像傳輸。具體來說，我們使用條件生成對抗網絡(CGAN)對圖像傳輸的無線信道分布進行建模，其中接收到的語義特征(稱為語義導頻)被視為 CGAN 的附加信息，命名為 SP-CGAN。當信道互易且節點 A 和節點 B 的神經網絡具有相同的超參數時，節點 A 和節點 B 的接收器具有相同的更新梯度，

147、這有助于我們在本地完成發射器的訓練并且不需要節點間反饋，從而有效降低了通信開銷和延遲。通過利用雙方的權重互惠性，節點 A 和 B 的語義編碼權重可以在本地高效學習，而不需要實時的數據交換。圖 6.7 全雙工語義通信系統框架63/126圖 6.8 The PSNR score versus SNR in AWGN channel圖 6.8 顯示了 AWGN 信道上的 PSNR 分數和 SNR 之間的關系。對于 AWGN 信道，所提出的 TW-SC-AWGN 在低 SNR 范圍內表現良好并接近最優算法，驗證了雙向系統中權值互易的效率?；?GAN 模擬通道的 GAN-SC 表現最差。我們還比較了瑞

148、利通道下的不同方法以確認算法的性能。在 AWGN 通道下訓練的 TW-SC 優于在瑞利通道下訓練的模型。然而，當 SNR 低于 2 dB 時，在瑞利信道下訓練的模型獲得了較高的 PSNR 性能，這與現有研究認為在衰落信道下訓練可以提高模型在各種信道類型上的魯棒性是一致的100?？傮w而言，在與測試通道不同的通道下訓練的模型會出現一些性能下降。另一方面，所有傳統方法都存在懸崖效應，其中使用 4-QAM 的方法在 2 dB、16-QAM 在 10 dB和 64QAM 在 14 dB 時開始顯著提高性能，最終在高信噪比下實現更好的 PSNR 性能。因此，與高階調制相比，低階調制具有更強的噪聲魯棒性。此

149、外，所提出的 TW-SC 算法在低信噪比下仍然優于傳統算法。64/126圖 6.9 The loss and PSNR performance of the proposed TWSC system during channel SNRdecay(Decay from 21 dB to 9 dB at 3 dB intervals)在圖 6.9 中，我們展示了所提出的 TW-SC 系統的性能，當發射機功率保持恒定時，信道 SNR 隨著節點之間的距離增加而降低。我們通過以 3 dB 間隔將 SNR 從 21 dB 降低到 9 dB 來模擬這種衰減。如圖所示，TW-SC 的損失性能在訓練過程中逐漸

150、下降，而PSNR 性能隨著每個 epoch 的增加而增加。然而，每次當信道 SNR 急劇下降時，TW-SC的性能都會受到一些損害，TW-SC 在 2-3 個 epoch 后穩定并適應當前的無線環境并繼續收斂。此外，我們發現隨著訓練次數的增加，信道 SNR 衰落對 TW-SC 性能的影響波動較小。該實驗旨在驗證我們提出的 TW-SC算法的可靠性。6.4 基于可預測信道的語義通信基于可預測信道的語義通信無線信道是通信系統的重要組成部分。信道的衰落對數據傳輸的穩定性具有很大影響101。信道取決于傳播環境，隨著動態環境變化信道呈現高動態復雜性。在傳統通信系統中，信源編碼及信道編碼技術通過提高信息傳輸的

151、可靠性來對抗信道衰落。然而，在傳輸語義信息而非符號的語義通信系統中，信道衰落帶來的影響對于系統性能的影響有所提升。具體的環境信息是獲取精準信道狀態的基礎。目前，語義通信系統缺乏對復雜多變的無線環境的考慮，其中的語義化主要是利用語義編碼對信源語義信息進行處理，對于依賴動態物理環境信息的信道語義化研究尚不充分，從而無法最大限度的降低信道衰落帶來的影響，限制了傳輸性能的上限。65/126在感知場景中，智能應用中的具體任務與感知場景中的目標高度相關102103。例如智能駕駛的駕駛決策的環境信息包括道路上的車輛以及道路基礎設施。智能監控的治安突發事件檢測與行人、車輛的行為以及狀態有關。不僅如此，通常還需

152、要根據目標信息，針對目標任務做出智能決策，發出指令等響應。所以，這些與決策相關的目標是語義信息的主要載體，定義為語義目標。如果將承載語義的目標進行傳輸，在接收端進行較為高級的場景理解等任務，可以降低目標不清晰導致的語義通信的不確定性。隨著語義通信在文本和語音任務中研究的深入，面向圖像任務的語義通信方法也受到廣泛關注。相比于文本和語音數據，圖像數據所包含的語義信息更加豐富，語義不確定性更強。就數據量而言，針對圖像數據的語義通信方法帶來的信息壓縮效果更加顯著。因此，為了提高傳輸效率的同時保證傳輸的可靠性，提出基于可預測信道的語義通信方法（PC-SC）104。感知場景下面向感知圖像傳輸任務的 PC-

153、SC 語義通信方法如圖6.10 所示。對承載語義信息的完整語義目標信息進行提取并進行傳輸，將面向任務的語義信息抽象后移至接收端，從而降低由于任務模糊性導致的低可靠性。在感知場景下可以對感知采集到的環境圖像數據中的語義目標圖像進行提取并傳輸。同時利用提取到的語義目標圖像進行波束預測，從而提升語義通信的傳輸可靠性。針對智能監控場景下感知圖像傳輸任務，基于顯著目標檢測技術提出語義目標提取方法，對包括車輛、行人等在內的承載場景語義信息的主要語義目標圖像及掩碼圖進行收集并傳輸。然后，基于接收到的語義目標圖像和背景圖像提出圖像合成方法，在接收端完成圖像數據重建。同時，通過信源語義目標共享的方式實現信道預測

154、，即利用待傳輸的環境語義目標信息對當前感知傳播環境下的波束進行預測。圖 6.10 面向感知圖像傳輸任務的 PC-SC語義通信方法66/126以 Res-Net18 為基礎網絡對基于語義目標圖像的波束預測方法以及基于完整感知圖像的波束預測方法進行對比。通過改變最大池化層參數以及卷積層參數對兩種方法的網絡魯棒性進行評估。其中最大池化層參數分別將內核大小設置為 4和 10；步幅設置為 1和 8。此外，ResNet-18 中的 4 個基本塊均包含 4 層，每層卷積大小分別設置為(64,128,256,256)以及(32,64,128,128)。因此，可以構成四種組合的網絡配置來訓練模型，以進行消融研究

155、并評估性能。即第一組為（4，1）和（64，128,256,256），第二組為（4，1）和(32,64,128,128)，第三組為(10,8)和(32,64,128,128)，第四組為(10,8)和（64，128,256,256）。圖 6.11 104顯示了不同網絡配置的 top-1、top-2 和 top-3 準確率。結果表明，基于環境語義目標圖像方法的網絡魯棒性更強，對于最大池化層參數以及卷積核大小敏感度更低。相比之下，基于完整環境圖像的方法對網絡配置更敏感，精度變化程度較大。這就說明完整圖像中除語義目標外的細節信息無法帶來精度上的增益，其中的冗余信息卻會隨著網絡捕捉細節信息能力的提升，導致

156、精度以及魯棒性的下降。這是因為，傳播環境中不重要的環境變化信息可能會造成干擾，而對信道產生影響的動態目標數據已經包含了反映傳播環境變化的有效信息。同時，對兩種方法的預測時間進行了對比?；谕暾h境圖像的預測模型每個樣本需 0.055s，而基于環境語義目標的方法只需 0.037s，從而節省了 32%以上的預測時間。圖 6.11 不同網絡配置下 top-1，top-2，top-3 精度67/1267.語義通信中的資源管理語義通信中的資源管理在語義通信網絡中，存在多個用戶，并且每個用戶會執行多種任務，不同任務下傳輸的數據可能是不同的模態，有必要對語義信息進行感知、提取、理解和分析。無線資源的稀缺性導

157、致資源分配十分重要，迫切需要既能提高網絡整體性能又可以支持高質量多媒體業務的無線資源分配策略，通過合理的資源分配可以給用戶提供更好的通信服務，如更高的數據速率，更大的系統容量，更好的用戶體驗等，因此無線資源的合理分配是在復雜通信環境下解決無線資源短缺的最直接而有效的手段。在智能設備的廣泛應用下，數據計算以及信息傳輸等均需要消耗能量，因此能量資源的分配也是一個重要的問題，優先給語義信息更豐富的數據分配更大的功率，確保了能量的有效利用。除此之外，語義特征信息的感知和推理需要一定的計算資源，特別是深度學習在語義通信中的廣泛應用，更需要對計算資源進行合理的分配，而且隨著邊緣計算在語義通信系統中的應用，

158、緩存資源的管理也十分必要。傳統資源分配往往將資源分配的結果映射為對應的物理量或是用戶的體驗并以此作為優化目標，難以滿足語義通信智能任務下對語義理解的需求105。語義通信中的資源分配與目標智能任務和特定交互需求緊密相關，為了發揮語義通信的最大優勢，有必要開發更高效、更合理的資源分配方案，將有限的資源分配給語義信息更豐富的數據。7.1 語義通信中的資源分配模型構建語義通信中的資源分配模型構建語義通信中存在不同的語義傳輸任務，包括單模態任務（文本傳輸、圖像傳輸、圖像分類等）和多模態任務（視覺問答、圖文檢索等）。針對語義通信網絡中多任務多模態共存的需求，資源分配優化問題一般建模為最大化語義通信系統的整

159、體性能，需要考慮的優化變量、優化目標以及約束條件如下106：（1）優化變量：除了現有資源分配模型中考慮的無線傳輸資源相關變量，包括功率、帶寬等，與語義通信系統性能相關的參數也應作為優化變量以提高語義傳輸性能。具體如下：68/126 由于語義通信系統中不同的語義壓縮率決定了接收端的語義保真度，進而影響任務性能，同時語義壓縮率也影響用戶對無線資源的需求量，因此，語義壓縮率需與無線傳輸資源聯合優化；考慮到語義通信系統需要利用語義知識庫進行語義特征提取及任務結果推演，需要強大的計算能力輔助，而計算資源與傳輸資源相互制約，共同決定網絡性能，因此計算資源優化也應被考慮在內；智能傳輸環境（比如智能反射面等）

160、對網絡傳輸性能有不可忽視的影響，應當結合語義壓縮、無線資源及計算資源的約束，對傳輸環境進行聯合優化。（2）優化目標：基于所構建的語義信息傳輸性能評估指標，語義通信資源分配的優化目標可設為網絡中所有用戶的語義傳輸性能之和。用戶的語義傳輸性能取決于用戶的語義信息量、語義壓縮率、智能環境參數、發送功率、帶寬、計算資源等因素。（3）約束條件：從無線資源受限的角度看，需要對用戶分配的頻譜資源進行限制，比如帶寬或資源塊數目等；從用戶本身能量以及計算能力受限的角度考慮，需要對發射功率和語義壓縮率進行限制；對于智能傳輸環境優化，需考慮所對應的傳輸環境參數約束，比如，對于考慮智能反射面的信道環境，需考慮幅度和相

161、位優化的范圍；同時考慮邊緣計算服務器的可用計算資源，尋求其與傳輸資源的平衡，從而保證不同用戶的語義傳輸需求；此外，為了保證網絡中不同任務的完成情況，應保證任務性能不低于某一閾值。值得注意的是，對多模態任務，多個用戶共同決定任務性能，因此執行同一任務的用戶應同時被分配足夠的無線資源以保證任務執行。7.2 資源分配的優化目標資源分配的優化目標從資源角度來看，傳統蜂窩網絡資源分配主要為頻譜資源和能量資源的分配，頻譜資源分配的目的是提高頻譜利用率，能量資源分配的目的是降低能耗，語義通信中的資源分配也同樣考慮頻譜資源和能量資源的分配。從性能評價角度來看，傳統的資源分配通常都是基于香農容量來評價通信系統的

162、性能，并不能充分利用語義通信的優勢，而語義通信的資源分配從智能任務出發，基于語義信息來衡量系統性能以及目標任務完成程度。69/126語義通信網絡中的資源分配優化目標如圖 7.1 所示，在資源角度，優化目標包括語義頻譜效率和能量效率；在語義通信系統性能的度量指標方面，主要有基于語義信息論的信道容量度量、語義相似性度量以及面向業務的網絡指標度量107。圖 7.1 語義通信網絡資源分配優化目標7.3 語義通信中的資源管理策略語義通信中的資源管理策略目前已有很多關于語義通信系統中資源管理的研究，不同文獻中的資源管理策略各不相同，求解資源分配優化問題的方法主要分為表 7.1所示的三類，在實際情況中，可根

163、據具體場景和優化問題以及約束條件等選擇適合的資源分配求解算法108。算法類別代表算法參考文獻優點缺點適用場景精確算法窮舉法26能得到精確解運算量大，復雜度高求解規模小，對可靠性要求高啟發式算法遺傳算法、粒 子群算法109靈活，高效，收斂速度快可能停留在局部最優解，無法保證得到全局最優解對時延要求低70/126表 7.1 常用資源管理策略盡管語義通信中的資源管理已有了一定的研究，然而，面對多種任務共存、多種模態共存的實際語義通信場景中，不同用戶所傳輸數據的語義信息量勢必是不同的，要想公平地為它們分配無線資源，首要的挑戰就是如何對不同模態、不同任務的語義信息進行量化。多模態任務語義通信中，多個用戶

164、共同決定任務性能，因此，不僅要分析單個任務下的性能，還需要考慮多任務多模態并存時如何從語義角度設計資源分配策略，這給語義通信系統的設計帶來了一定的挑戰。此外，多用戶語義通信的資源配置并非單一的考慮一方面的問題，其需要聯合優化通信計算能量資源的分配。7.4 語義混合自動重傳請求語義混合自動重傳請求7.4.1 傳統混合自動重傳技術傳統混合自動重傳技術在語法通信中，存在于介質訪問控制層的混合自動重傳技術（HARQ）113結合了自動重傳請求（ARQ）和前向糾錯（FEC）兩種機制，允許在不引入過多延遲的情況下，盡可能地在傳輸過程中糾正錯誤。FEC 為待發送碼字添加冗余信息，接收端利用冗余糾正一部分傳輸過

165、程中的錯誤。對于 FEC 無法糾正的錯誤，接收端使用檢錯碼，通常為循環冗余校驗（CRC），來檢測接收到的數據包是否出錯。如果沒有出錯，則接收端發送確認信息（ACK）給發送端，發送端收到 ACK 后，會接著發送下一個數據包。如果出錯，則接收端會丟棄該數據包，并發送否定信息（NACK）給發送端，發送端收到 NACK 后，會重新發送相同的數據包，重復上述操作直至發送端接收到 ACK。在 HARQ 機制中，接收端收到的錯誤數據包雖然無法被正確解碼，但其中可能包含了有用信息，如果選擇全部丟棄，則系統整體傳輸效率降低。為提高系統效率，改進為帶軟合并的 HARQ 機制，即接收端將接收到的錯誤數據包保存在一個

166、 HARQ 緩存中，并與后續接收到的重傳數據包進行合并，從而得到一個比單獨解碼更可靠的數據包，然后對合并的數據包進行解碼，如果還是失敗，則重復“請求重傳，再進行軟合并”的過程。根據重傳的比特信息與原始傳輸機器學習算法強化學習110-112自適應性強需要大量的計算資源和時間來訓練決策優化，高動態變化場景71/126是否相同，帶軟合并的 HARQ 又可分為追逐合并 HARQ 和增量冗余 HARQ，前者中重傳的比特信息與原始傳輸相同，后者不同。HARQ 技術可以高效地補償由于采用鏈路適配帶來的誤碼，提高數據傳輸速率并減小數據傳輸時延。7.4.2 語義混合自動重傳系統語義混合自動重傳系統隨著人工智能的

167、發展，深度神經網絡提取多媒體數據隱含表達的能力不斷提升，使得語義通信成為可能，并成為 6G 移動通信的重點研究方向之一。語義通信根據信源信息、信道環境的統計分布特征和用戶需求等多種條件，高效地提取語義信息、適應信道環境?，F階段關于語義通信的研究在語義提取方法、語義度量方法和語義通信架構等方向有了一系列進展，如利用卷積神經網絡（CNN）實現無線圖像語義傳輸，基于 Transformer 的語義收發器 DeepSC24等。在適應信道環境方面，現有的語義通信系統大多采用將信道環境信息嵌入神經網絡進行端到端的聯合訓練，以使得訓練的神經網絡能夠學習信道環境信息，但這種方案訓練出的神經網絡參數只能適應特定

168、的信道環境，一旦環境改變，又需要重新訓練以適應新的信道環境，且這些研究存在無法根據信道動態改變編碼長度的問題，靈活性有限，無法確保語義信息的可靠傳輸。為了有效解決以上問題，考慮將語義通信與廣泛應用于現代移動通信系統的 HARQ結合，形成面向語義的混合自動重傳請求機制，提出了一種面向文本基于語義通信的增量混合重傳請求（IR-HARQ）架構，名為 SCHARQ114。圖 7.2 SCHARQ的單次傳輸過程在 SCHARQ 中需要根據接收端的錯誤檢測結果進行多次傳輸，每次傳輸過程如圖7.2 所示，根據語義編解碼和 RS編解碼先后順序分為串行和并行兩種方式。串行方式中，72/126發送端以時間先后依次

169、對待傳輸句子 進行語義編碼和 RS 編碼后得到待傳輸碼字，傳輸至接收端。接收端進行 RS 解碼和語義解碼后得到原始句子的估計。并行方式中，發送端語義編碼和 RS 編碼同時進行，分別得到語義編碼比特和 RS 校驗比特，組合成待傳輸碼字，傳輸至接收端。接收端分離兩部分得到語義編碼比特和校驗比特，解碼語義編碼比特，利用校驗比特進行 RS解碼得到原始句子的估計。如圖 7.3所示，若采用 ARQ機制，則在發送端和接收端分別添加 CRC 校驗比特的獲取和 CRC 校驗模塊，并在接收端通過CRC 校驗時，反饋 ACK 至發送端，表示傳輸成功，否則反饋 NACK 至發送端，表示傳輸失敗。圖 7.3 多次傳輸的

170、 SCHARQ 整體結構114多次傳輸的 SCHARQ整體結構如圖 7.3 所示。對編解碼器用于 R 次傳輸。句子在第 i次傳輸時被編碼得到第 i 次傳輸的增量位，并經過信道和解碼器解碼。接收端對進行 CRC校驗，如果通過檢測，表示傳輸成功，否則傳輸失敗。如果傳輸失敗，接收端反饋錯誤信息至發送端，發送端再次傳輸增量位，直至通過 CRC 錯誤檢測。接收端聯合接收到的全部，解碼得到最終結果。傳輸比特的長度作為超參數決定了每個編碼器的輸出維數，這些超參數根據 HARQ 的傳輸目標設置。在第一次傳輸中，傳輸位用于良好的信道環境，需使得多數信源內容可以被編碼而沒有任何信息損失。然后設置接下來的傳輸位，以

171、恢復較差信道下的長句子。73/126如圖 7.3右側所示，信源信道編解碼器分別由語義編碼器、量化器和語義解碼器、解量化器組成。語義編解碼器主要由 Transformer 網絡、全連接網絡等組成，實現對信源的語義編解碼、語義信息壓縮和解壓。量化器和解量化器主要由全連接網絡組成，將高維向量量化為待傳比特并根據句子長度和信道信息控制量化后的比特數。圖 7.4 SCHARQ對比其他方案的誤句子率（左）、平均待傳比特數（右）114SCHARQ對比不同方案的性能結果如圖 7.4所示。在低 BER 情況下 SCHARQ 性能略低于 SC-RS-HARQ 和傳統 Huffman-RS-HARQ，在高 BER

172、情況下相反，但 SCHARQ 整體待傳比特數遠小于其他方案。7.4.3 小結小結通過比較提出的 SCHARQ 框架和傳統方式，在較高的誤比特率情況下，SCHARQ 在誤句子率和平均待傳比特數方面有很大優勢，在較低誤比特率情況下，僅有很小的性能下降。靈活高效的 SCHARQ 框架，將語義通信和 MAC 層的 HARQ 技術結合，充分發揮兩者優勢，通過傳輸增量比特，有效地解決了傳輸不同長度句子和變化的信道環境問題。在此基礎上，90提出了漸進式語義混合自動重傳請求方案，利用增量知識同時降低通信成本和語義誤差，115提出了將基于脈沖神經網絡（SNN）的語義通信與 HARQ 結合，根據信道條件動態調整帶

173、寬，而不會造成性能損失。因此，語義通信和 HARQ 的結合有很大的發展空間，有望更進一步提高通信系統的性能。74/1267.5 語義錯誤檢測語義錯誤檢測7.5.1 傳統校驗檢錯方法傳統校驗檢錯方法隨著數字通信技術的飛速發展，各種數據通過無線通信進行傳輸，這時數據的準確性對于業務流程和用戶體驗至關重要。然而，由于網絡噪聲、信號干擾或傳輸介質的不穩定性等原因，數據在傳輸過程中可能會發生錯誤。這些錯誤可能導致嚴重的數據損壞，影響通信的質量。因此需要在接收端進行相應的錯誤檢測，從而確保通信數據的準確性。循環冗余校驗（CRC）是一種根據網絡數據包或計算機文件等數據產生簡短固定位數校驗碼的一種信道編碼技術

174、，主要用來檢測或校驗數據傳輸或者保存后可能出現的錯誤。它是利用除法及余數的原理來作錯誤偵測的。圖 7.5 展示了一個基于 CRC32 的句子傳輸方法。在發送端通過 CRC錯誤檢測算法生成 32 位奇偶校驗碼會與發送句子的信源編碼、信道編碼結果一同經過信道。在接收端，發送的編碼結果通過信源解碼、信道解碼后恢復發送的句子，然后通過與發送的奇偶校驗碼進行錯誤檢測。如果恢復的句子被 CRC32 判定為正確，則 ACK 確定信號被發送到發射機，否則，下一次傳輸將根據 NACK 反饋開始，直到句子被正確接收或者達到最大發送次數。圖 7.5 基于 CRC32檢錯的句子傳輸系統雖然 CRC 作為一種高效且簡單

175、的差錯檢測方法，并被廣泛應用于各種通信系統中，但是 CRC 錯誤檢測在語義通信系統中的使用效率并不高。例如在基于語義通信的文本傳輸系統中，CRC 檢測會將包含錯誤單詞但具有與原始單詞相同含義的句子視為有錯誤。75/126而對于語義通信系統，相似的句子即使單詞不同，但是基本語義相同也是可以接受的，因此針對語義的相似度設計時有必要的。7.5.2 語義相似度檢測技術語義相似度檢測技術針對傳輸內容的相似度評價，句子相似性度量的方法包括 Levenshtein 距離116、雙語評估替角（BLEU）117等。Levenshtein 距離是通過計算將一個字符串轉換成另一個字符串所需的最少編輯操作（插入、刪除

176、、替換）次數來衡量它們之間的差異。但是，這些方法僅計算兩個句子之間的單詞變化，而無法洞察不同單詞的含義。在文獻24中采用了數十億個單詞和句子下進行預訓練的模型 BERT118來衡量句子的語義相似性。然而，這些方法往往需要在接收端獲取真實的傳輸內容才能進行相似度的評價，而傳輸內容在接收端是不可用的，因此需要一些適應實際通信系統的相似度檢測技術。目前已經有部分研究針對在接收端無法獲取真實傳輸內容時，對接收內容進行語義相似度的錯誤檢測的方法。為了評價接收到的視頻幀與原視頻幀之間的差異，文獻57提出了部署在接收機的質量檢測器與流暢度檢測器分別來評價重建視頻的質量與流暢度，兩個檢測器的結構如圖 7.6

177、所示。對于質量檢測器，可以通過遷移學習一個基于 VGG-19 的分類器來獲得?；?VGG-19 的質量檢測器由 VGG-19 和一個具有 Sigmoid 激活功能的密集層組成，通過 Sigmoid 激活函數，將網絡的輸出映射到 0 與 1 之間，從而作為生成的視頻幀的質量指標。而對于流暢度檢測器，則是使用關鍵點檢測器捕捉第 i 個和第 i-1 個接收的視頻幀，提取出這些視頻幀對應的關鍵點特征，然后計算這兩個關鍵點之間的距離，大的距離則代表前后兩幀視頻存在比較大的變化，并且傳輸的關鍵點也可能存在一些錯誤。從而，再通過一個全連接和 Sigmoid 激活函數將流暢度映射到一個值為 0到 1 之間的

178、數，作為評價視頻流暢度的指標。圖 7.6 質量檢測器與流暢度檢測器的基本結構76/1267.5.3 句子語義相似度檢測句子語義相似度檢測圖 7.7 語義相似度檢測語義相似度的度量通常利用預訓練模型 BERT 將句子映射到高維特征空間，通過高維特征的余弦距離衡量它們的語義相似度。將語義相似度檢測引入 SCHARQ，接收端需要已知原始句子和復原句子的語義信息進行重傳判斷，但在接收端無法獲取準確的原始句子語義信息，因此文獻114提出 Sim32 相似度檢測網絡替代 CRC 校驗。如圖 7.7 所示，其中 Sim32 編碼器、解碼器結構與 SCHARQ 的編碼器、編碼器類似，Sim32 編碼器輸出32

179、 位比特替代用于 CRC校驗的 32位比特。當 Sim32解碼器的輸出結果大于設定閾值時，表示接收句子的語義信息損失在可接受范圍內，認為傳輸成功，否則傳輸失敗。為了提高檢測結果的可靠性，進一步結合 CRC 和 Sim32提出 CRC-Sim32 校驗方案，即在接收端先進行 CRC校驗，在不滿足 CRC校驗前提下再進行 Sim32相似度檢測。77/126圖 7.8 Sim32方法的檢測錯誤率將 Sim32 引入 SCHARQ，在誤比特率分別為 0.05 和 0.2 情況下分別測試，得到Sim32 的檢測錯誤率性能如圖 7.8 所示。當 Sim32 輸出大于 0.98，認為語義傳輸正確，否則錯誤，

180、因此兩種誤比特率情況的 Sim32 判決錯誤率均在發送端和接收端句子相似度為0.98 附近時較大，而在句子相似度低于 0.9 時，誤判率幾乎為 0。誤比特率為 0.05，在句子相似度為 1 時，Sim32 的判決錯誤率較高，為了解決這個問題，提出 CRC-Sim32 校驗方法，即在進行 Sim32 判決前，先進行 CRC 校驗，如果能通過 CRC 校驗，則不再進行Sim32校驗，否則進行 Sim32校驗。圖 7.9不同錯誤檢測方法的性能對比CRC、Sim32 和 CRC-Sim32 三種校驗方式的性能對比如圖 7.9 所示，CRC-Sim32 錯誤檢測方案整體性能優于 CRC 和 Sim32。

181、在低誤比特率時，CRC 性能優于 Sim32，高誤78/126比特率時相反，這是因為低誤比特率時，基于深度學習的語義相似度檢測準確率不如傳統CRC方法，導致成功傳輸的句子數量少于 CRC方法。7.5.4 小結小結語義相似度評價技術包括 BLEU、基于 BERT 的余弦距離等方式，通過在語義層面衡量傳輸質量，充分發揮了語義編解碼的優勢。為了發掘語義相似度的潛在能力，將它融入HARQ 技術，用于在接收端判斷傳輸句子的語義錯誤程度，并與 CRC 校驗結合，形成CRC-Sim32 校驗機制。CRC-Sim32 錯誤檢測允許句子語義相似但誤比特率較高的句子在接收端成功接收，有效降低了重傳次數和傳輸時延。

182、79/1268.分布式語義通信分布式語義通信8.1 多模態語義中繼架構多模態語義中繼架構隨著 6G 網絡的快速發展，多個物聯網智能設備之間的應用交互引起了廣泛的關注，如無人機系統、車聯網、智能城市等。與此同時，由于這些智能場景需要頻繁的數據傳輸和模型更新，對無線通信的大規模連接和傳輸效率提出了巨大的需求。語義通信作為一種革命性的無線通信范式，在滿足上述智能場景的高需求具有巨大的潛力。然而，由于語義通信需要大量的數據訓練數百萬計的神經網絡參數和終端有限的計算能力等問題，分布式語義通信可以為多智能設備間的通信提供一個高效的解決方案。圖 8.1 分布式語義通信框架示意圖本節將介紹提出的分布式語義通信

183、框架。如圖 8.1所示，它包含了層次化多模態知識、多模態語義中繼架構和邊緣智能輔助的分布式語義通信118。具體來說，在語義通信范式下,分布式語義通信可以通過研究多模態語義中繼架構和分布式訓練促進多模態信息傳輸。層次化多模態知識包括多尺度多模態特征提取和異構多模態圖，分別用于建立多模態數據對語義信息的全尺度感知。多模態語義中繼架構利用多模態語義信息的相關性并在中繼節點補充語義知識，以提升語義通信在低信噪比下的魯棒性和準確性。分布式訓練可以使終端設備基于帶寬、計算資源和存儲資源自適應選擇提取本地傳輸的語義特征表示。80/126例如，終端設備可以根據工作負載和任務貢獻對集群內的設備采用資源分配和設備

184、選擇策略。此外，邊緣服務器還可以優先考慮貢獻較高的設備，基于聯邦學習發送更新的模型參數，并禁止更新頻率較低的設備。圖 8.2 分布式語義通信的技術示意圖在分布式語義通信框架可以使用以下技術實現，如圖 8.2所示，將這些技術分為三類：語義對齊和補充、多模態語義中繼方案、分布式自適應工作負載優化和分布式聯邦學習推理。不同模態之間全局和局部的語義特征具有一定的相關性。因此，通過對多模態數據進行多模態特征提取和多模態知識聚合，用以對齊和補充缺失模態的語義信息。在實際通信場景中，在發射器和接收器之間共享語義背景知識往往使不同的。同時，在惡劣的通信環81/126境中，多模態信息往往也很難可靠地傳輸到接收機

185、。因此，在存儲豐富背景知識中繼節點利用多模態語義相關性對語義進行補充和加強，可以減輕無線信道和語義噪聲的影響，從而提高了任務性能。分布式訓練在受到多種應用場景、終端設備計算能力不足、數據隱私泄露和通信延遲過多的限制。為了解決這些問題，分布式設備可以傳輸滿足通信資源和延遲約束的輕量級多模態語義特征，利用語義中繼和邊緣智能來實現語義通信。8.1.1 多模態語義中繼架構組成與部署多模態語義中繼架構組成與部署近年來，為了實現多模態數據的可靠傳輸，學者們已做出了許多研究，如 U-DeepSC71作為一個通用框架可以支持圖像、文本和音頻模態的語義傳輸。然而，目前大多數語義通信只考慮端到端通信范式，而不利用

186、無線中繼。實際上，邊緣服務器可以作為數據放大和語義補充的中繼節點。語義中繼可以利用多模態信息相關性和背景知識對接收到的語義信息進行補充和強化，提升多模態的語義信息量，提高了語義通信的魯棒性和有效性。圖 8.3 多模態語義中繼架構示意圖多模態語義中繼架構由一個發射機、一個多模態語義中繼節點和一個接收機組成。如圖 8.3 所示，在源節點，通過單模態語義編碼器提取單模態的語義特征（如圖像），并由信道編碼器映射為傳輸符號。當單模態語義特征在中繼處被單模態信道解碼器接收并恢復時，將其與附加的其它模態（如文本）語義融合，得到增強的多模態語義特征。在通過一82/126個多模態信道編碼器之后，將融合后的語義從

187、多模態語義中繼器傳輸到目的節點，然后根據用戶特定的需求進行恢復以完成目標任務。在源節點，終端首先將圖像數據進行統一的規范化處理。然后，利用圖像語義編碼器對給定模態提取特征并通過信道編碼器映射為統一規范的傳輸符號，其中圖像語義編碼器可以根據終端配置自行選擇模型。在中繼節點，多模態語義中繼由一個圖像信道解碼器、文本語義編碼器、多模態特征融合模塊和多模態信道編碼器組成。在多模態語義中繼模塊，圖像信道解碼器由一個多層神經網絡搭建而成，文本語義編碼器由 BERT 級聯 Bi-LSTM 組成來提取文本特征。然后，基于注意力機制的多模態特征融合模塊將語義信息互補的文本特征與恢復的圖像特征進行融合，然后通過多

188、模態信道編碼器得到多模態語義向量轉發給接收方。在目的節點，采用多模態信道解碼器將多模態語義向量恢復得到多模態特征，然后根據用戶特定的需求進行恢復以完成目標任務。8.1.2 多模態語義中繼架構優勢多模態語義中繼架構優勢多模態共享互補語義信息可以提升語義通信的有效性。在語義通信范式下，終端執行任務所需要的不再僅僅是單模態數據，而是包含了文本、圖像、視頻、音頻等多模態數據，不同設備來源的多模態數據包含了相關的上下文信息。語義通信可以利用多模態數據源之間的相關性，以減少傳輸中的冗余和延遲?，F有的語義通信架構仍未充分挖掘多模態信息之間的潛在相關性，導致多模態信息利用率不足。邊緣服務器充當中繼節點，引入互

189、補的其它模態語義信息和額外的知識，可以幫助終端精確刻畫樣本特性，提升語義通信的有效性。語義中繼架構可以抑制源節點和目的節點間的語義噪聲。在語義通信中，由于用戶屬性的異質性和任務的多樣性，不同任務之間的多模態背景知識多樣化，導致發送機和接收機之間的多模態語義信息不一致，即語義噪聲。因此，語義噪聲引起的傳輸錯誤是傳統通信技術在通信中難以抑制的的問題。因此，利用多模態信息之間的內在相關性來加強語義和克服語義噪聲是一個很有前途的研究領域。多個中繼節點可以輔助語義信息在信道中的傳輸，避免了長距離或惡劣場景下的傳輸，減少了語義信息的丟失，這使得多模態語義互補或語義恢復變得更為可控。同時，多個中繼節點可以通

190、過共享背景知識和補充傳輸的語義，降低發送機和接收機間的語義噪聲，幫助分布式設備準確地恢復語義信息。例如，圖83/1268.3 顯示了多模態語義中繼架構在抵抗語義噪聲的例子。用戶使用無人機拍攝運動型多用途汽車，并將圖像傳輸到遠程監視器，而不提供任何額外的描述。由于功耗低，無人機只能將圖像發送到附近的邊緣服務器（即發射機），通過無線信道連接到另一個邊緣服務器（即多模態語義中繼）。通過多模態語義中繼的補充，附加的語義信息（如底盤高度等語義信息）被添加到更新的語義信息中。因此，監視器并不會僅使用它自己的背景知識錯誤地將目標識別為一個多用途汽車，而可以通過更新的多模態語義信息正確地識別為運動型多用途汽車

191、。適應移動端設備的低計算能力需求。通常，語義通信系統由語義編碼器、信道編解碼器和語義解碼器等模塊組成。由于終端設備的計算能力非常有限，在現實場景中大規模部署在終端設備上可能并不實際。因此，引入多模態語義中繼架構可以將接收機過多的計算操作和復雜的多任務調度轉移至中繼節點，這幫助分布式設備僅需要傳輸少量必要語義信息，減少語義通信的需要的計算資源和通信資源。8.2 分布式協同設備分布式協同設備-服務器推理服務器推理8.2.1 分布式協同設備分布式協同設備-服務器推理組成與部署服務器推理組成與部署為了充分利用邊緣服務器和分布式設備的計算能力，節省通信開銷，保護用戶隱私，我們采用了基于聯邦學習（FL）的

192、參數共享機制實現分布式訓練，使用多個邊緣服務器或設備與全局服務器協同學習模型參數，來提高語義通信模型的訓練效率。如圖 8.4 所示，當處理多個局部邊緣服務器從設備收集到的非獨立和同分布數據時，可以使用對偶方法和二次近似來獲得獨立和可學習的任務。然后，每個邊緣服務器或設備可以利用區域收集的數據訓練其局部模型，并將更新后的局部模型參數傳輸到全局服務器。多設備檢測模塊計算所有局部模型參數的加權平均參數作為全局模型參數，并將其廣播到所有邊緣服務器或設備。邊緣服務器和全局服務器交替地更新模型直到達到預定義的收斂閾值。與傳統的集中學習中所有數據都傳輸到全局服務器的集中學習不同，基于聯邦學習參數共享的分布式

193、訓練不僅減少了通信負載，還提高了語義通信模型的收斂速度。此外，由84/126于基于聯邦學習僅傳輸模型參數，不傳輸原始數據，這使得用戶隱私獲得了最大保護。圖 8.4 基于聯邦學習參數共享的分布式訓練示意圖8.2.2 分布式協同設備分布式協同設備-服務器推理實驗性能分析服務器推理實驗性能分析在本節中，我們采用了一個多模態分類任務來證明多模態語義中繼架構對信道噪聲和模態缺失的有效性和魯棒性，數據集采用 UPMC Food-101 數據集120。同時，我們與三種基線進行了比較，即單文本模態（JSCC-T）和單圖像模態（JSCC-I89）和分布式信息瓶頸變分特征編碼（DIB-VFE-I121），其中添加

194、在 DIB-VFE 模型前面引入 Inception-v3對 UPMC Food-101 數據集的圖像進行預處理。多模態語義中繼架構假設模擬的信道是一個加性高斯白噪聲（AWGN）信道，并且在訓練和測試階段的信噪比（SNR）狀態是相同的。根據圖 8.5 的結果顯示，在 SNR0 dB 的情況下，多模態語義中繼架構相比于單模態的 JSCC-T、JSCC-I 和 DIB-VFE-I 表現更優。在低信噪比條件下（即 SNR=-10 dB），JSCC-T、JSCC-I 和 DIB-VFE-I 的分類準確率分別僅為 22.7%、13.27%和 1.57%，而多模85/126態語義中繼架構仍能夠達到 62.

195、86%的分類準確率。值得注意的是，通過利用多模態語義中繼提供的互補語義信息，多模態語義中繼架構的分類準確率比 SNR-5dB 的 JSCC-I 高出 20%。因此，在低信噪比情況下，提出的多模態語義中繼架構能夠有效抑制語義噪聲，顯著提高分類精度。同時，我們通過掩蔽 50%的傳輸圖像模擬惡劣的通信環境來驗證所提出的多模態語義中繼架構的魯棒性。圖 8.5 顯示，使用掩蔽圖像的多模態語義中繼架構只有輕微的性能下降。其原因是缺失的圖像信息在中繼節點上被互補的語義特征所補償。對于具有掩蔽圖像的 JSCC-I 和 DIB-VFE-I，當 SNR=10 dB 時，分類準確率分別從完整圖像的 62.06%和6

196、4.17%下降到掩蔽圖像的 50.15%和 61.41%。即使在某些圖像模態由于信道條件差而缺失時，多模態語義中繼架構仍可以可靠地執行分類任務。此外，為了驗證分布式訓練可以提高語義通信的訓練效率和魯棒性，我們分別進行了集中學習和基于聯邦學習（FL）的參數共享機制的實驗。在 FL 的訓練過程中，我們認為有 10 個邊緣服務器和一個語義中繼作為全局服務器。UPMC Food-101 數據集平均分布到邊緣服務器。在圖 8.5 中，與集中式學習相比，所提出的多模態語義中繼架構在 FL 中的性能損失在 2%以內。相比之下，JSCC-I 在 FL 中比集中學習的性能損失約 16.7%。結果表明，所提出的多

197、模態語義中繼架構在 FL 中具有較高的訓練效率和魯棒性。圖 8.5 在 AWGN信道下多模態語義中繼架構與基線實驗的分類精度對比圖11986/1269.語義通信中的安全挑戰與對策語義通信中的安全挑戰與對策9.1 語義通信中的模型安全語義通信中的模型安全人工智能模型是語義通信系統的重要組成部分，語義通信系統中語義編解碼器、信道編解碼都以模型或神經網絡的形式存在。語義通信系統不僅面臨傳統網絡攻擊的威脅，還面臨針對人工智能模型的攻擊。語義通信模型安全對整個語義通信系統安全至關重要122。下文將根據圖 9.1 展開，闡述語義通信系統可能面臨的兩種典型模型攻擊，對抗性攻擊和投毒攻擊，并介紹相應的防御手段

198、。圖 9.1 語義通信模型安全示意圖87/1269.1.1 對抗性攻擊與防御對抗性攻擊與防御對抗性攻擊對抗性攻擊是指在模型使用階段對輸入樣本故意添加一些人類難以察覺的細微的擾動，導致模型以高置信度給出一個錯誤的輸出。對抗性攻擊可以作用在語義通信系統的物理信道和信息源，在物理信道中進行故意擾動，使語義解碼器恢復錯誤的或指定的數據，被稱作語義噪聲，或在信息源（原始數據）中添加特別設計的擾動，使語義編碼器提取不正確的特征。上述擾動對人類來說是難以察覺的，但會造成語義編解碼器的錯誤輸出甚至特定輸出。對抗性攻擊影響系統提取不正確的語義特征，破壞語義信息的完整性和可用性，導致語義通信系統的準確度降低。根據

199、對模型和知識庫的了解程度，對抗性攻擊可以分為白盒攻擊和黑盒攻擊白盒攻擊和黑盒攻擊。白盒攻擊，攻擊者對語義編解碼器和知識庫完全了解，清楚語義編解碼器內部的結構和參數，根據上述內容，攻擊者能夠計算目標函數相對信息源的梯度，從而利用該梯度生成故意擾動。經典的白盒攻擊算法有：快速梯度符號法、投影梯度下降法、單像素攻擊。白盒攻擊比較簡單，但實際情況常常不是這樣。黑盒攻擊，攻擊者對語義編解碼器的結構、參數不了解，對知識庫和訓練算法不了解或了解很少，只能通過輸入輸出來“詢問”。常見的黑盒攻擊算法有：基于訪問的黑盒攻擊、模擬梯度的黑盒攻擊。黑盒攻擊更類似于無法獲得完整模型信息和知識庫信息的實際情況，是研究的重

200、要方向。根據攻擊者的目標，對抗性攻擊可以分為定向攻擊和非定向攻擊定向攻擊和非定向攻擊。以對語義解碼器的攻擊為例，定向攻擊指攻擊者希望語義解碼器將語義特征錯誤解碼為某一指定內容，如將“Apple”解碼為“Banana”。而非定向攻擊則不指定錯誤解碼的內容，只需要語義編碼器將語義特征錯誤解碼即可。與定向攻擊不同，非定向攻擊的一個重要目標是最大化錯誤概率。對抗性樣本的微小擾動在不同模態語義通信中有不同的形式。對抗性樣本的微小擾動在不同模態語義通信中有不同的形式。圖像對抗性樣本常常通過添加噪聲或修飾圖像特定區域生成；語音對抗性樣本將人耳難以察覺的微小擾動覆蓋到原始音頻上；文本對抗性樣本在保持語法正確的

201、前提下，通過刪減或替換詞語添加擾動。未來多模態語義通信場景下，微小擾動的形式將更加復雜。對抗性攻擊現有的防御手段可以分為被動防御和免疫防御。88/126被動防御被動防御的核心思想是通過過濾器進行數據去噪。過濾器可以作用在輸入處或模型內部。當過濾器作用在輸入處時，過濾器的作用是部分或完全地消除信息源或物理信道中由惡意擾動引起的噪聲。以圖像類型數據為例，過濾器常見的防御機制有圖像模糊化、圖像壓縮、圖像重構等。還有一種特殊的輸入過濾器以隨機化的方式進行防御，過濾器對圖像進行多次隨機裁剪、拼接，再隨機選擇某個樣本作為過濾器輸出，這種過濾器安全性非常高，因為防守者實際上沒有固定的防御手段，攻擊者難以進攻

202、。過濾器同樣可以作用在模型內部，對語義編解碼器某些層或每一層提取的特征去噪，從而降低微小擾動對語義編解碼器的影響。被動防御可以有效降低對抗性樣本的強度，從而實現對各類對抗性攻擊的有效防御。但是，在使用過濾器去除噪聲的過程中，不可避免地損失部分有用信息，導致對于正常數據，整個語義通信系統的表現會下降。免疫防御免疫防御的核心思想是訓練一個不容易被攻破的模型。最常見的方式是對抗性訓練，即將對抗性樣本示例添加到知識庫中，依托這種知識庫進行訓練可以顯著提升語義編解碼器的魯棒性，并起到減少過度擬合和提升泛化能力的作用。另一種方式是模型優化，有研究表明某些損失函數在防御對抗性攻擊方面有效，可以據此調整語義編

203、解碼的損失函數，此外，可以通過附加特定神經網絡的方式提高語義編解碼器的魯棒性。免疫防御可以得到更強壯、更不容易被攻破的語義通信模型，但由于模型訓練依托現有的攻擊方式，免疫防御的泛化能力較差，未必能抵擋新的攻擊類型，而且對抗性訓練需要大量的訓練資源，顯著增加開銷。9.1.2 投毒攻擊與防御投毒攻擊與防御投毒攻擊是指在模型訓練階段攻擊者將少量精心設計的中毒樣本添加到模型的訓練數據集中，利用訓練或者微調的過程使模型中毒，從而破壞模型的可用性或完整性，最終使模型在測試階段表現異常。投毒攻擊常常作用在語義通信系統的知識庫模塊。知識庫的數據來自語義通信各參與方的共享以及大量互聯網數據，這些數據用于訓練語義

204、編解碼器，對恢復消息的準確性產生極大影響。普通攻擊者在互聯網數據收集階段向知識庫有限地投毒，而某些特權攻擊者可以在訓練階段使用大量中毒樣本污染知識庫。語義特征的提取和恢復取決于知識庫中數據的質量，因此中毒的知識庫會損害語義通信系統的真實性和可用性。在某些條件下（如后門）可能造成極其嚴重的后果。89/126投毒攻擊可以分為數據投毒和模型投毒數據投毒和模型投毒。數據投毒主要污染訓練數據（知識庫）。常見的數據投毒攻擊有：基于臟標簽的數據投毒攻擊，如標簽翻轉投毒，通過改變數據與標簽的映射關系生成中毒樣本；干凈標簽的數據投毒攻擊，采用特征碰撞法生成中毒樣本，中毒樣本的標簽看起來完全正常，難以被數據清洗者

205、發現，這種攻擊能以較低的染毒比例得到非常高的攻擊準確率。模型投毒的攻擊重心在模型本身，攻擊者可以使用更直接的方式操縱語義編解碼器的訓練，如用惡意模型替換全局模型、向模型增添噪聲等。另一種常見的模型攻擊是后門攻擊，攻擊者在訓練數據（知識庫）中注入具有觸發標識的樣本，使語義編解碼器中毒，在處理信息源時，語義編解碼器可以正確提取并恢復不包含觸發標識的信息源的語義特征，但會錯誤處理攜帶觸發標識的信息源。投毒攻擊現有的防御手段有基于數據的防御、基于梯度的防御、基于模型的防御基于數據的防御、基于梯度的防御、基于模型的防御?；跀祿姆烙ㄖR庫篩選和數據預處理，知識庫篩選可以根據不同數據類型，采用神經網

206、絡或其他方法篩選并刪除可疑樣本，減少或清除知識庫中的中毒數據；數據預處理旨在強化數據本身特征并模糊中毒特征，可以采用圖像裁剪分割、文本向量化、音頻去噪或放大指定音頻等方法?；谔荻鹊姆烙赴菡纪ヴ敯粜跃酆?，這是一種被動防御策略，通過改變全局模型的聚合方式來減輕中毒攻擊的危害，有梯度裁剪、去除極值、差分隱私等方法?；谀Ｐ偷姆烙Ｐ头治龊湍Ｐ徒舛?，模型分析根據模型相似性或評價指標評估模型中毒與否、檢測模型的中毒程度；模型解毒通過模型微調、重新訓練、模型修剪等方法降低被攻擊模型的中毒程度。9.1.3 未來展望未來展望在上述兩類威脅之外，語義通信模型安全還面臨推斷攻擊、模型抽取攻擊、木馬攻擊等威

207、脅，近年來各種新型攻擊手段如新型后門攻擊、模型竊取層出不窮，造成語義通信模型安全的難度和復雜度提升。未來，語義通信系統需要魯棒性更強、工作效率更高、泛魯棒性更強、工作效率更高、泛化能力更好化能力更好的模型安全策略。9.2 語義通信中的密碼技術語義通信中的密碼技術當語義通信在無線信道中傳輸信息時，由于無線信道全開放、易接入的特點，傳輸過程易遭受竊聽攻擊。攻擊者通過收集無線信道中傳輸的語義特征，獲取秘密信息；進一步，90/126攻擊者還可以通過對傳輸的語義信息的偽裝、重放、篡改來實現更加復雜且隱蔽的攻擊，僅依靠模型安全無法抵御上述針對通信過程的各種攻擊123。運用密碼學手段來確保傳輸信息的保密性、

208、完整性、可用性是一種非常有效的方法。傳統加密技術是面向符號表征的，相比之下，語義通信中的密碼學更加關注語義的安全性，即在保障機密性的同時，更注重信息的語義完整性和有意義性。語義通信密碼學的出現為解決當前通信安全面臨的挑戰提供了全新的可能性和視角。因此，值得深入探討語義通信密碼學技術，探索其在應對當前及未來安全挑戰中的作用與前景，推動通信安全技術的持續進步。本節旨在綜述目前語義通信中已有探索的密碼學技術，同時提出亟待進一步研究的技術，語義通信中的密碼學技術示意圖如圖 9.2所示。圖 9.2 語義通信中的密碼學技術示意圖混淆與置換混淆與置換：兩者都可以看作是輕量級的加密技術，優勢在于可以在幾乎不影

209、響系統性能的前提下為通信過程提供一定程度的安全保護。以圖片的語義通信為例，把待傳輸的語義特征排列成二維數組，置換是指將數組中的某幾行或某幾列按一定規則進行置換，混淆則是指向數組中按一定規則插入虛假特征。二者的規則可以從隨機噪聲中生成，同時，91/126該規則應被當作是密鑰進行存儲，并發送給接受方。惡意用戶在不知道規則的前提下很難恢復出高質量的圖像，從而一定程度上保證了語義通信的保密性。加密加密：這是一種經典的保護通信的保密性的方案，通過引入僅合法通信方掌握的秘密信息和密碼算法來對通信內容進行保護。語義通信中采用的加密方案與傳統的加密方案有顯著不同，語義通信中采用深度神經網絡來實現對語義特征的加

210、密，將語義編/解碼器、信道編/解碼器、加解密器聯合在一起，通過類似生成對抗網絡的架構來訓練出一個最好的加/解密器，使加密強度足以抵抗攻擊者。不過，與傳統加密方案相同的一點是，密鑰消息仍然需要單獨安全信道進行傳輸，這個安全信道可以借助傳統密鑰交換算法或其他任意方法實現。這種加密方案可以較好的保護語義通信過程的保密性，沒有密鑰的惡意用戶無法重建正確的語義信息。密鑰生成密鑰生成：如何快速、高效的產生高質量的密鑰一直是密碼學熱烈討論的問題，而如何產生高質量的隨機數又是其中的關鍵問題之一。語義通信過程中所涉及到的動態無線信道、語義抽取、句子相似度、BLEU 分數等都是天然的隨機數來源，經過合適的處理基本

211、能保證在較長時間內產生穩定的隨機數序列。因此，語義通信過程中可以綜合利用這些穩定的隨機數序列，生成穩定可用的隨機密鑰流。例如，可以利用無線信道的動態隨機特性和 BLEU 加權分數實現的密鑰生成算法產生隨機密鑰流。盡管學者們已經提出多種方法來應對語義通信中的安全問題，然而，現有方案仍存在亟待解決的一系列缺陷。首先，現有方案未能對密碼算法的安全性進行分析。深度學習的不可解釋性使得用理論分析方法驗證密碼算法的安全性變得異常困難。同時，當前缺乏客觀評估密碼算法安全等級的指標，現有算法的安全性驗證主要依賴于通過實驗證明攻擊者無法有效還原語義信息的方法。然而，這種驗證方法的說服力尚待深入探討。另外，由于密

212、碼算法是使用深度神經網絡實現的，現階段還缺乏快速的物理實現方式，在實際工作性能方面也存在可優化的空間?？傮w而言，對密碼算法安全性的理論分析和客觀評價，以及對密碼學的強度和算法可解釋性的關注，將是推動語義通信密碼學領域取得實質性進展的一個重要方向。值得一提的是，當前密碼學在該領域的發展仍然處于早期階段，許多方面尚未充分討論。首先，盡管已經涌現了一些關于物理層安全、隱蔽通信以及量子密鑰交換的零星研究，但相關領域的深入探討仍然相對稀缺。其次，在實際的通信場景中，存在大量復雜的通信92/126情境，其中必然涉及到安全協議的使用，以確保密碼算法的正確實施。然而，對于這方面的討論在當前仍未充分展開。未來的

213、研究應該更加著重于這些實際場景中安全協議的設計和應用，以全面提高語義通信加密系統的整體安全性?？偟膩碚f，語義通信中的密碼學相關問題仍需要廣泛、深入的討論，從而推動語義通信加密技術的進一步發展和完善。9.3 語義通信中的隱私保護語義通信中的隱私保護語義通信需要海量數據進行學習，以提升語義通信模型的表征能力和泛化能力。然而，語義通信所需的訓練數據總是分布在不同的個人或機構中。為了充分利用更加豐富完善的樣本數據，各參與方需要共享各自知識庫數據?？紤]到共享數據中包含敏感隱私信息，語義通信訓練過程面臨嚴重的隱私泄露風險。隨著數據隱私意識的增加以及數據合規性要求的提升，數據隱私安全問題變得越來越重要。為保

214、護語義通信參與方的隱私，相關隱私保護技術亟待研究。聯邦學習聯邦學習是提升語義通信隱私保護能力的可行方案之一124。其在不共享原始私有數據的情況下進行協作機器學習訓練，減少了隱私泄露的風險。在聯邦學習中，各參與方先使用自身數據進行本地訓練，然后分享其模型參數進行聚合以獲得全局模型。在不斷的聚合過程中逐步提升全局模型的性能。整個過程不涉及原始數據的共享，因此可以減少隱私泄露和數據外泄的風險。然而，聯邦學習無法阻止攻擊者通過梯度重建出敏感的訓練數據。此類攻擊被稱為梯度泄露攻擊。為抵御此類攻擊，模型劃分方法125在參與方中引入私有模型，以避免攻擊者獲取參與方的完整模型信息，從而有效阻礙攻擊者的梯度分析

215、。梯度泄露攻擊的復雜度隨著私有模型的增大而急劇上升，因為攻擊者必須推斷出私有模型的所有超參數，才能通過梯度重建出敏感的訓練數據。差分隱私差分隱私是另一種重要的隱私保護手段，旨在通過引入噪聲的方式，保護數據隱私的同時仍然能夠提供有用的數據分析結果。差分隱私通常運用高斯噪聲或拉普拉斯噪聲，這些噪聲可被添加進數據，或者梯度計算、參數更新等過程中?？刂圃肼暤拇笮】梢造`活地調節信息泄露程度，進行隱私保護和數據分析之間的平衡。過小的噪聲無法滿足隱私保護需求，而過大的噪聲會影響模型準確性。差分隱私能夠提供數學上可證明的隱私保護，并且適用性廣泛，有望應用于語義通信的隱私保護場景。93/126多方安全計算多方安

216、全計算是一種隱私保護的多方協作計算方法，通過綜合運用多種密碼學技術和協議來實現計算結果的正確性和數據的私密性。多方安全計算各參與方無法獲知其他參與方的輸入數據。語義通信中各參與方可利用安全多方計算，在不披露自身知識庫的情況下，實現數據共享的模型訓練和使用。表 9.1對上述隱私保護方法進行總結，并說明各方法在語義通信數據收集、模型訓練、模型預測中的運用階段。表 9.1 語義通信中隱私保護技術的總結與運用階段當前，語義通信的隱私保護研究仍面臨挑戰。首先，語義通信結合隱私保護技術往往帶來性能損失或計算復雜度增加等問題。未來研究需要平衡隱私保護與通信性能的需求，解決隱私保護與計算復雜度之間的矛盾。其次

217、，當前語義通信隱私保護研究聚焦在上層，忽視了語義通信作為跨層通信結構的特點。如何結合物理層等其他層面的隱私保護技術以提供跨層的語義通信隱私保護是一大研究方向。最后，如何綜合利用多種隱私保護技術，構建完善的隱私保護技術體系，面向語義通信中隱私信息進行全生命周期保護是亟待研究的問題?？偠灾?，語義通信中的隱私保護問題仍需要廣泛深入的研究。解決隱私保護問題有助于提供更加安全、可靠的語義通信環境，促進語義通信技術的應用和推廣。94/1269.4 語義水印安全通信語義水印安全通信隨著圖像處理技術的飛速進步，修改隱私圖片變得異常簡便。同時，迅猛發展的網絡技術極大地便利了隱私數據的非法傳播，這也催生了越來越

218、多的圖片安全防護技術。在這方面，數字水印技術，憑借其在圖像認證、完整性驗證、篡改檢測、版權保護和數字圖像安全等領域的多功能性，已成為一種關鍵工具126。然而，當前數字水印技術仍面臨諸多挑戰，攻擊者往往能夠探測出數字水印算法127，從而識別并修改水印，實現破解或篡改。因此，數字水印的二次加密尤為重要。數字水印誕生于上個世紀九十年代，由 Tirkel 等人于 1994 年正式提出兩種空間域嵌入算法128，雖有較好的魯棒性，但透明性表現較差。為改善透明性，Bors 等人提出在DCT 嵌入數字水印129。之后相繼出現了 DFT、DWT 等變換算法，改善了數字水印的透明性，但減弱了其魯棒性。Zhang

219、和 Wei 在文130中提出將 DCT 和 DWT、SVD結合，在提高水印不可見性的同時，還增強了對各種攻擊的抵抗力，使之更適合多種實際應用場景。文131進一步改進了 DCT-DWT-SVD 水印算法在無線信道的魯棒性，并完成了實驗驗證。區別于傳統數字水印，語義通信主要側重于提取并關注信息傳輸的含義，智能化的信息交互。以此為借鑒,可以利用語義信息生成新的數字水印來輔助整個安全通信過程。由于語義水印作為二次加密的方案，需要讓輸入層與輸出層盡可能的接近，因此可以采用自編碼器的網絡架構。在此過程中，提取的語義特征通過精心設計的神經網絡可以精確地還原目標信息。與傳統加密方法相比，針對攻擊者而言，解析基

220、于語義特征的神經網絡架構比解析傳統水印嵌入提取算法要復雜得多，因而具有更高的安全保障。針對數字水印技術中存在的問題，可以設計基于語義的無線水印安全通信，即將提取到的數字水印圖像的語義特征用于新的水印圖像生成，從而避免傳統水印技術被探測后的破解和篡改。對新生成的數字水印施加了各種可能的攻擊，驗證語義信息生成水印的性能。同時，利用遺傳算法對 DCT-DWT-SVD 數字水印算法131進行優化，通過設計適應度函數完成數字水印最佳嵌入因子的選取，確保魯棒性與透明性的最佳平衡。仿真結果表明，所提框架和算法能夠有效保障數字水印的魯棒性與透明性。95/126DCT-DWT-SVD 數字水印算法是在 YCrC

221、b 顏色空間上進行處理，對 Y 分量進行DWT處理，并選擇其中能量集中的低頻自帶分量 CA 進行 DCT 分塊處理。通過對分塊的結果進行 SVD，選取其中的 S矩陣作為數字水印的最終嵌入目標，完成數字水印的嵌入。提取流程與上述一致，在每個分塊完成提取后即可得到數字水印圖像。圖 9.3 遺傳算法優化表 9.2 最優嵌入因子等參數統計最優嵌入因子最優性能PSNRNC467.798899.198153.14170.9980487.8528101.149253.14921508.0288103.202353.10331由于水印嵌入因子的不同會對不同圖像中數字水印的性能有著顯著影響，可以采用遺傳算法進行

222、優化，選取不同圖片的最佳水印嵌入因子。遺傳算法種群大小為 25，迭代次數為 100，代溝為 0.95，交叉概率為 0.7，變異概率為 0.01。選擇算子為隨機競爭選擇算子，變異算子為基本位變異算子，交叉算子為單點交叉算子。將峰值信噪比(PSNR)和相關性(NC)作為衡量指標，適應度函數定義為 PSNR+NC，是適應度函數中 NC 的權重比例，最優嵌入因子等參數統計如表 9.2 所示。隨著的增加，算法能夠在保持高水印提取準確度的同時，進一步提升水印的隱蔽性和圖像質量。在取 48 時，最佳嵌入因子為7.8528，將此次結果用于后續嵌入過程。96/126圖 9.4 基于語義的數字水?。ㄗ螅┡c DCT

223、-DWT-SVD 數字水?。ㄓ遥Ρ绕渲?，基于語義的數字水印在嵌入圖像后，圖像的 PSNR 為 40.6137。DCT-DWT-SVD 數字水印直接嵌入圖像后，圖像的 PSNR 為 40.9294。正常情況下，PSNR 值大于35dB，肉眼就無法察覺，表明水印的嵌入不會顯著影響圖像的視覺質量。圖 9.5 不同攻擊對數字水印產生的影響（左：基于語義的數字水??；右：DCT-DWT-SVD數字水?。┗谡Z義的數字水印在以上攻擊中有著較好表現，僅在均值噪聲、中值濾波以及均值濾波(33)攻擊下存在部分解碼偏差。而 DCT-DWT-SVD 數字水印在面臨以上攻擊時，均會收到不同程度的影響。97/126圖

224、9.6 發射機，接收機設計參考流程在圖像傳輸中，數據經過壓縮編碼后被分成多個 MAC 服務數據單元，并附加到MAC 幀頭。經過 CRC 和幀校驗序列 FCS 處理形成 MAC 協議數據單元，最終轉換為物理層服務數據單元，同時遵循 OFDM 標準進行傳輸。在接收端，執行 OFDM 信號檢測，提取 PLCP 前導碼進行同步和信道估計，并經過各種處理步驟還原原始數據流。98/12610.面向衛星系統的語義通信面向衛星系統的語義通信衛星通信近期正處于由技術進步推動和投資興趣復蘇的階段。與地面通信系統相比，衛星通信系統面臨更多挑戰，其中一部分是傳統衛星通信系統所持續面臨的，而另一部分則是新場景下新一代衛

225、星通信系統所遇到的。盡管學術界已經廣泛研究了克服這些挑戰的方法，但仍有進一步提升的空間。作為一種新興的高效、智能化信息傳輸技術，語義通信技術具備更好應對這些挑戰的潛力。另外，衛星通信中的一些獨特特征也與語義通信傳輸模式相契合。統通信技術在發送端和接收端克服信道中的噪聲和衰落等因素。調制技術、波形設計和編碼技術等可以有效地克服這些挑戰。對于衛星通信場景，由于鏈路預算有限、多普勒頻移大、網絡拓撲結構動態性強，這些挑戰依舊嚴峻。造成這種瓶頸的原因之一是傳統通信技術忽略了語義或有效性問題，而將問題簡化為以最可靠的方式在信道上傳輸離散或連續波形。語義通信是一種強調理解和處理語義的通信方式。它不僅僅關注信

226、息的傳遞，更注重對語境、意圖和含義的深入理解。因此，語義通信有望成為突破瓶頸的關鍵技術。10.1 衛星系統中的高效語義傳輸衛星系統中的高效語義傳輸傳統通信系統側重于傳輸符號，而忽略了語義內容。而語義通信則著重于從源頭獲取語義信息，并在接收端恢復相同的語義信息。因此，與直接從源頭映射比特序列相比，語義通信會將集中的語義信息傳輸到接收端。因此語義通信所需的資源將大大減少132。當前，主流的語義通信信源類型包括文本信息、語音信息和圖像（視頻）信息133。這與目前衛星系統的主流服務業務類型相一致。舉例來說，Inmarsat 衛星系統主要提供海上語音業務；天通一號衛星系統支持語音通話、短信傳輸等業務；中

227、星系列衛星支持廣播視頻業務；另外還有監測衛星需要將圖片傳輸至地面終端。衛星業務需求決定了衛星通信網絡適用于定制化的語義通信網絡架構。另一方面，要實現高性能的信號傳輸，精確的信道估計是必要的。在新一代衛星系統中，尤其是低軌衛星系統，為了適應靈活多變的波束指向需求，越來越傾向于采用大規模相控陣列天線。然而，目前的大規模天線陣列信道估計技術需要使用較長的導頻序列，導致提供信道反饋的成本增加。此外，由于衛星傳輸的時間延遲，即使使用了較長的導頻序列，得到接近克拉美羅界的信道估計結果，進行波束賦形時仍然存在過期的信道誤差99/126134。因此，迫切需要新的方案來進行信道估計，減少空間、時間和頻率域等資源

228、的消耗。環境語義感知技術有潛力成為新的解決方案。由于衛星的傳輸信道以直射徑為主，與通過估計語義參數例如波達角和多普勒頻移得到的部分信道信息133強相關。例如，可以通過圖片來獲取環境語義，隨后重構信道信息。10.1.1 多星語義傳輸系統多星語義傳輸系統為了增強單顆衛星系統的系統級容量，衛星通信已經從單一波束系統演進為多波束系統，實現了多流數據的同時傳輸。未來衛星系統的發展趨勢是通過衛星之間的協作構建協同傳輸模式。從終端的角度來看，可見空間內的多顆衛星可以被視為多個傳輸天線或傳輸點。如果每顆衛星向終端提供一個波束，并且多個衛星同時向單個終端傳輸數據，那么整個系統可以被看作是一個規模龐大的虛擬 MI

229、MO 系統135。由于各個衛星位置的差異，它們之間的波束信道相關性較低。因此，多顆衛星的聯合傳輸避免了在單顆衛星系統中所必需的波束間隔離策略，為構建多星語義傳輸系統提供了理論基礎。圖 10.1 多星語義傳輸系統如圖 10.1 所示，每顆衛星和接收端均配備天線陣列（發送端和接收端天線陣列規?？梢圆煌?。第 M 顆衛星發送第 M 流數據，通過語義編碼提取發送數據的語義特征或信息，然后將這些特征編碼為符號進行傳輸。100/12610.2 衛星系統中的高可靠性語義傳輸衛星系統中的高可靠性語義傳輸10.2.1 低鏈路預算下的語義傳輸低鏈路預算下的語義傳輸衛星通信系統面臨鏈路預算緊張的問題。衛星通信系統的

230、接收端信號功率強度受到多種因素的影響，包括信號的發送功率、發送天線增益、路徑損耗以及接收天線增益。由于衛星的傳輸路徑較長，自由路徑損耗較大，導致終端接收到的信號強度較低，從而使得衛星通信系統的下行鏈路處于低信噪比的狀態。在地面終端向衛星進行數據傳輸的上行鏈路中，這一現象更加嚴重。因此，衛星通信亟需在低鏈路預算條件下采用高效的傳輸技術。通過語義分析和處理，語義通信有助于減少在傳統通信中常見的歧義和誤解。該系統能夠更好地理解用戶意圖，避免因為不清晰的語言表達而引發溝通問題，從而提高通信的精準度和可靠性,這最終提升了系統在低信噪比條件下執行語義任務傳輸的能力。舉例來說，在論文24中，研究人員開發了一

231、種基于 Transformer 的端到端語義通信系統，名為DeepSC。實驗結果顯示，DeepSC 在語義任務傳輸性能方面明顯優于典型的通信系統，尤其是在低信噪比條件下表現出色。10.2.2 基于語義傳輸的衛星波束賦形基于語義傳輸的衛星波束賦形衛星通信系統使用波束賦形技術的主要目的是提高通信系統的性能和效率，具體體現有如下兩點。1）波束賦形技術可以將天線的輻射能量聚焦在目標方向上，從而減少了非目標方向上的信道干擾和噪聲。這樣可以提高接收信號的質量和信噪比，增強信號的傳輸質量和可靠性。2）在衛星通信系統中，不同波束之間普遍存在互相干擾的情況。通過使用波束賦形技術，可以控制和減小波束之間的干擾，以

232、同時傳輸更多的用戶數據，提高系統的抗干擾性能和頻譜利用效率。在未來面向語義任務的通信系統中，波束賦形和語義通信技術可以兼容，具體分析如下所示：1.當衛星系統在面臨開放的無線環境下傳輸語義信息時，傳輸過程中可能面臨竊聽和監測的挑戰，尤其是對于廣域覆蓋的衛星系統而言。為了增強面向語義通信的衛星系統的傳輸安全性，具備魯棒性的波束賦形設計可以發揮重要作用。該設計能夠降低衛星波束在不確定區域（通常指潛在竊聽者所在的區域）的信號接收功率136，從而提升保密傳輸的安全性。101/1262.由于衛星在高速運動中，用于計算波束賦形矢量的信道信息可能包含過期的信道誤差。這將導致語義傳輸的物理信道在發送和接收時發生

233、顯著變化，對語義通信系統的性能產生影響。采用魯棒的波束賦形設計可以減輕由信道信息過期誤差引起的物理信道變化，從而降低對語義通信系統的影響。另一發面，魯棒波束賦形技術未來的發展趨勢是基于數字驅動的魯棒優化137。它利用大量的數據通過優化提升系統的魯棒性，而并非傳統的假設不確定性服從特定的分布。因此，基于數據驅動的魯棒波束賦形是緩解語義噪聲對語義系統影響的潛在技術。3.一般情況下，衛星系統是一個用戶服務數量龐大的過載系統。因此，在進行語義傳輸時，需要考慮到不同用戶的語義業務內容的差異。通過衛星端的多流語義信息生成，可以采用波束賦形技術來減少多個語義內容之間的干擾，從而提升多流語義系統的傳輸性能。除

234、了上述提到的幾個方面，未來將會設計出一種語義波束賦形方案，其主要目標是在信息傳輸過程中，盡量保留語義信息，而不僅僅追求數據速率的最大化。為了實現這種基于語義的波束賦形方案，需要構建一種特殊的損失函數來進行訓練。10.2.3 基于信道預測的語義傳輸基于信道預測的語義傳輸盡管衛星時刻處于高速移動中，但是衛星的運行軌跡可以近似認為是固定的，且衛星的信道主要是直射徑138。在139和140的研究中，設計了衛星系統信道預測神經網絡，該網絡可以根據歷史信道信息來預測未來的信道情況。在地面網絡中的語義通信系統中，由于復雜的多徑散射環境，很難獲得準確的信道估計結果。而在衛星網絡中的語義通信系統中，由于信道環境

235、相對單一且可預測，信道估計的難題可以通過信道預測技術來解決。10.3 衛星系統中的智能語義傳輸衛星系統中的智能語義傳輸衛星通信系統的智能化發展趨勢的必然性由以下兩個方面決定：大規模連接需求和復雜性網絡管理。而語義通信可以提升衛星通信系統的智能性，具體體現在以下幾個方面：1.傳統的調制技術主要是根據信道條件和傳輸需求進行優化。例如，在衛星的多播傳輸場景中，每一組多播數據的實際傳輸模式采用的編碼碼率和調制方式由組內最低信噪比決定。然而，在實際情況中，不同接收站的解碼能力和業務需求各不相同，傳統的調制技術難以同時滿足用戶的個性化服務?；谡Z義通信的自適應調制技術的優勢在于能夠更好102/126地滿足

236、不同應用場景對通信性能和語義理解的需求。例如，通過建立語義信息與調制方案之間的映射關系，通信系統能夠根據語義信息的不同選擇合適的調制模式。2.利用語義信息可以優化衛星通信系統中的資源分配和管理。語義資源分配技術可以根據用戶需求和通信環境，動態地分配帶寬等資源，以避免資源浪費并滿足用戶需求。以下是幾種常見的語義資源分配場景：語義路由：通過將數據的語義信息與衛星鏈路的質量和擁塞狀態進行匹配，選擇質量較好的鏈路進行傳輸。語義調度：利用語義信息進行任務的調度和資源分配。例如，通過識別任務之間的語義相關性，可以實現任務的合理調度。語義緩存管理：利用語義信息來決定數據緩存的策略和內容選擇。例如，通過分析用

237、戶的語義需求和使用模式，可以預測用戶可能需要的業務數據，并將其提前緩存在衛星設備上，以實現快速訪問和減少網絡負載。103/12611.應用場景應用場景11.1 全息通信全息通信近年來隨著全息技術的提高，全息在各個領域的應用數量和形式也逐漸增多。從最初的簡單展示，到目前的可交互立體顯示，全息的應用已經愈顯成熟。目前全息應用較為成熟的領域有服務與銷售、游戲、影院、新聞與舞美、教育、駕駛、文化和體育業?？傮w來說，全息目前在滿足用戶休閑娛樂的場景中應用廣泛，且能滿足大部分、普適的用戶，未來在滿足安全、情感、求知的場景中，發展潛力大。圖 11.1 全息場景特征體系圖當前全息場景豐富多樣，在全息場景中真實

238、現場與虛擬三維建模影像相交融、場景帶給人強烈的視覺和感官沖擊；在全息場景中人與人的交流跨越時間空間，信息以高實時和多維度的進行傳播。并且全息融合著人工智能，帶給人們身臨其境的交互體驗，宛若面對面真實的重現。在場景的六個組成維度空間、時間、交互、心理、感官、內容上，全息場景的特征可以總結為：融虛實、強沖擊、跨時空、高實時、多信維、智能化、具身交互、真實重現。結合全息應用場景特征研究，全息應用場景具有真實重現、虛實融合、具身交互、延伸時空的典型特征，同時得出了五大全息應用場景。（1）微時延超精度人機協同104/126微時延高精度人機協同場景將能夠在醫療，制造業等領域廣泛應用。醫院的?？漆t生在高性能

239、通訊網絡的賦能下，能在觸覺，視覺等多維數據與病人端交互中，對病人遠程實施遠程問診。此外，工作人員通過 6G 通訊網絡，在安全場所傳輸手部移動數據，操縱實驗室內機器人進行高?；瘜W實驗操作，提高了特殊場所下作業的安全性。（2）大容量融智孿生網絡大容量融智能孿生網絡場景主要運用于宏觀態勢監測、車聯網、自動化農業、工業資源調配和處理等應用領域。因此，用戶的使用偏向職業技術場景，且此類用戶的需求集中于大規模數據的智能化精準采集、傳輸、處理與實時交互或決策。大容量融智能孿生網絡場景具有較強的全真態屬性，例如該類場景的典型案例之一全息數字孿生城市需要對街道、建筑、車輛等城市元素進行極強的擬真化。（3）強沖擊

240、全沉浸虛實融合虛實融合的全息場景指在相對固定的系統環境下，以超低時延與超高帶寬的通信為用戶帶來沉浸式虛實融合的體驗?？梢詮V泛應用于全息婚禮布置、賽事全息投影和全息舞美布展等固定形式的大場景中，其超高精度的全息顯示效果，能夠帶給用戶多感官的強烈沖擊感和超沉浸的虛實融合場景體驗。除了生活娛樂場景，在商業布展或對顯示效果要求較高的場景中也將會給用戶帶來更為驚艷的體驗。（4）跨時空多模態具身交互多模態具身交互要求較高的帶寬進行交互對象及交互過程的數據傳輸、以保證高質量的展示及多維感官交互體驗?？梢詾橛脩籼峁┛缭綍r空的多模態交互渠道，豐富用戶的生活，提升溝通效率。通過構建豐富多維的可交互顯示效果，為全息

241、娛樂、全息文化教育等提出新的可能。例如家庭 MR 娛樂借助虛擬現實、通道交互等技術，建立高顯示質量、多交互通道的場景，讓用戶沉浸性地進行家庭游戲或虛擬運動等娛樂項目，提升用戶體驗。又如全息文物修復通過全息顯示向用戶展示文物外觀，同時借助豐富的交互手段模擬修復進程，為文博工作者提供文物修復方面的教育教學新方法。（5）多信維高保真人際互動多信維高保真人際互動場景主要賦能有關遠程通訊的領域，用戶使用場景較為日常和去專業化。此類用戶的需求集中于異地互動通訊，高感官程度影像呈現方面的追求。在性別方面，該場景下的大部分全息產品沒有明顯的性別偏向。在職業身份方面，該場景的用105/126戶類型沒有出現明顯的

242、職業化，例如云通話，全息明星互動等場景，這些場景均表現出較強的普適性。綜合上述全息通信場景可以得出，高傳輸數據量、低時間延遲、數據多模態化是不同場景中所具有的共同特點。語義通信技術能夠在保障傳輸數據質量的前提下有效降低傳輸的數據冗余性，顯著降低通信時延，對全息通信領域相關應用場景的產品參數和用戶體驗提升具有重要的意義。11.2 自動駕駛自動駕駛協同感知為自動駕駛提供了更高的交通效率和安全性，為了向車輛用戶提供各種實時服務，海量數據需要在相應的延遲限制內傳輸到服務器，其存在的復雜信號處理技術和多址接入問題為協同感知的落地帶來了前所未有的挑戰。語義通信作為一種將用戶的需求和信息含義融入通信過程的全

243、新架構，有望成為自動駕駛中協同感知的一種新型應用范式。語義通信可增強車輛、道路基礎設施和其他設備實體之間的信息交換和數據分析決策能力，實現車路高效協同，滿足極高感知準確性和極低延遲的自動駕駛和智慧交通的決策需求。從目前協同感知的實際場景和應用需求出發，在現有的硬軟件資源條件下總結概括了以下三個應用方案：網聯協同環境感知、邊緣計算輔助駕駛和智能駕駛規劃調度，構建端到端的語義通信構架，賦能面向自動駕駛的協同感知。圖 11.2 基于語義通信的自動駕駛典型場景106/126網聯協同環境感知：單車感知往往會存在遠距離視線受阻的問題，同時傳感器本身的感知范圍也較為有限，這可能會導致自動駕駛的災難性后果。為

244、了克服這些問題，網聯協同感知通過共享不同網聯車輛以及路側設施對于道路狀況的傳感信息，為自動駕駛系統提供更大的感知范圍和感知能力，從而解決單車感知中存在的視野有限和視線受阻的問題。然而傳輸傳感器所收集到的原始傳感數據如點云和圖像的通信開銷較大，這可能會使得網聯協同感知系統在通信資源受限的場景中無法較好發揮作用。語義通信通過挖掘原始傳感信息中對于環境感知較為重要的語義信息，共享感知語義來彌補自動駕駛車輛因視線受阻而缺失的信息，以達成道路全局感知語義共識，在降低通信開銷的同時保障網聯協同感知系統的魯棒性，進而推動網聯自動駕駛系統的落地。邊緣計算輔助駕駛：考慮到車載自動駕駛系統的計算資源通常較為有限，

245、因此自動駕駛車輛往往需要將自動駕駛中的部分計算任務遷移到路側設施或邊緣服務器上進行計算。然而完整計算任務信息的上傳和計算結果的下載可能會帶來較大的通信時延，這對于實時性要求較高的自動駕駛和高級輔助駕駛系統而言將會是一個巨大的挑戰。語義通信系統根據具體的計算任務提取任務相關的有效語義來降低任務數據的傳輸量，進而降低數據傳輸所需要的通信時延，從而滿足自動駕駛和高級輔助駕駛系統對于高實時性的需求。智能駕駛規劃調度：網聯協同感知系統通過提供視野盲區中車輛位置信息、交通信號燈信息等全局道路環境的感知語義，增強自動駕駛系統的感知能力，進而使得自動駕駛車輛以強大的感知系統為基礎，根據潛在的駕駛安全隱患做出更

246、為合理的路徑規劃以及更為安全的實時駕駛決策，從而降低潛在駕駛事故的風險。11.3 數字平安鄉村數字平安鄉村黨的十九大以來，習近平總書記就實施鄉村振興戰略作出系列重要指示，黨中央、國務院發布關于實施鄉村振興戰略的意見等與鄉村、農村相關文件 90 余個，明確提出要舉全黨全社會之力推動鄉村振興。我國人口眾多、城市化水平較低，如何幫助農村地區利用信息化手段提供綜合治理、安防監控和便捷的百姓服務，解決鄉村線上服務“最后一公里”，一直是改革發展任務中的重中之重。中國移動從老人看護、基層治理、農業生產等鄉村場景核心需求切入，快速匯聚生態硬件終端，推出“智慧化生活、數智化治理、智能化生產”全場景解決方案，打造

247、以村民自107/126治為基礎，以村級基層組織為核心，多個村級組織互動合作為紐帶的鄉村生活治理生產新模式。（1）智慧化生活針對農村老人、孩子的看護需求，結合看家護院攝像頭、定位器等多品類硬件終端，結合視頻監控、智能傳感等能力，為一老一小提供多樣化的生活服務，為村民生活提供便利。（2）數智化治理基于 AI 智能視覺、智能告警等能力，提供村務管理、應急管理、防溺水、防煙火、防入侵、防走丟等創新的場景化解決方案，提升村級綜合服務信息化、智能化水平，助力基層政府提升綜治水平。（3）智慧化生產聚焦“種植養殖戶”的無法拉網線、人力看管投入高、缺乏專家指導等問題，引入專業太陽能攝像頭、溫濕度傳感器、農技課堂

248、等低使用門檻產品，提供無人看護、智能監測、農業指導等輕量級服務，推出智慧生產方案，實現機器換人。然而，農村和城市的信息化應用場景差別較大。例如，服務果園、池塘、養殖場等郊野場景的攝像頭，由于光線、氣流和背景元素變化復雜，采集數據量更大，對視頻編碼和傳輸要求更高。此外，戶外攝像頭采用 PoE 有線網絡又面臨布線復雜、耗時長、成本高等難題。語義通信將信息含義的理解環節部分或全部移到發送端，從而減少傳輸量，降低帶寬需求。將語義通信技術應用到鄉村場景，可以大大提升視頻、告警和數智化信息在弱網或者網絡情況不佳時的傳輸效率和成功率，保證數據的及時性和有效性。11.4 工業智能制造工業智能制造工業互聯網是新

249、一代信息通信技術與工業經濟深度融合的新型基礎設施，通過對人、機、物、系統等全面連接，構建起覆蓋全產業鏈、全價值鏈的全新制造和服務體系，其實現離不開高效可靠的通信系統的支持。然而，現今的符號類傳輸致力于實現對信源表示符號的無差別傳輸，經過幾十年的技術發展，技術發展已經很成熟，但仍然難以滿足工業網絡海量設備接入與高可靠低時延通信的需求。語義通信只注重收發兩端語義信息的一致108/126性，不要求比特序列嚴格一致，這種對傳輸差錯要求的放寬具有突破想能極限的可能性，同時也為工業互聯網的通信傳輸低時延高可靠以及海量接入提供可能。在現實工業網絡產線中，數據類型主要分類時間序列數據與圖像數據兩類。時間序列數

250、據指的是生產端的各種傳感器按時間順序記錄下的數據序列。在生產過程中，時間序列數據是持續不斷產生的，數據的總量十分龐大，且語義信息密度極低，直接傳輸和存儲這些數據會造成很大的資源浪費。因此可以利用語義通信技術可以幫助時間序列數據進行精煉簡化，將其轉化為語義信息密度較高的表示方式，大幅減少需要傳輸和存儲的數據總量，減輕系統負擔，同時提高云端各模型的分析效率。圖像類型的數據主要指的是生產線上各種產品的圖像，在生產端的高清攝像頭拍攝生產線上的產品。在生產過程中，數據傳輸資源有限，需要大大壓縮圖像，可能造成數據嚴重失真，可能會影響生產任務。因此通過語義方法，可以在壓縮圖像時根據生產任務的需求有選擇地保留

251、圖像特征，這樣在有限資源的情況下，保證生產任務。語義通信可以幫助生產網絡在保證可靠性的同時提高傳輸速度，還可以幫助網絡精簡數據，減輕系統壓力，是改善工業網絡性能的理想技術。11.5 智慧儀表智慧儀表傳統測試測量儀表測試效率低下，且面臨測試場景多樣化、參數配置復雜、操作不夠友好等諸多挑戰。集成了語義通信、人工智能和算力網技術的智慧儀表出現，通過對測試儀表賦予智能和算力，提高了交互界面的友好性，給測試測量領域帶來了新的演進方向。在通信測試測量領域，中電科思儀科技股份有限公司提出了輕量化智能測試儀表解決方案（如圖 11.3 所示）。該方案中首先通過語義通信模塊實現用戶與儀表之間的有效交互，利用儀表內

252、生人工智能完未知信號的協議、參數識別；其次，根據識別結果，完成儀表關鍵參數配置，并上傳測試數據至算力網；最終回傳測試結果到人機交互界面，實現測試儀表的輕量化和智能化。109/126圖 11.3 輕量化智慧儀表工作原理圖在醫學治療領域也發揮著重要作用，Li 等人提出了一種基于語義視覺的磁錨定驅動內窺鏡多模態人工智能控制解決方案，詳見圖 11.4，通過語音引導、語義控制和視覺伺服的混合控制模式，驅動內窺鏡至患病區域進行病理人工智能診斷，有效降低患者痛苦，提高檢測成效。此外，該方案集成了基于深度學習的儀器檢測、自動語義識別和機器人視覺伺服控制等模塊之間的有效整合控制。圖 11.4 基于語音視覺的磁錨

253、定驅動內窺鏡示意圖12.關鍵挑戰關鍵挑戰12.1 面向語義信息論的挑戰面向語義信息論的挑戰語義的數學表征和語義通信的數學理論可以歸結為語義信息論的問題。對信息論在語義層次上的深入探索有望為語義通信系統和算法的設計提供理論指導。一般而言，語義信110/126息論包括語義熵、語義率失真、語義信道容量、語義知識庫等相關理論。盡管目前尚未形成一套完整而有效的語義信息論框架，但在學術界和工業界已有許多學者對此進行關注和研究。如何解決語義信息論方面存在的若干挑戰，將會在理論層面上推動語義通信的發展。語義的表征與度量：這涉及到語義的數學表示和語義信息度量的問題。迄今為止，對語義進行直觀且通用的數學描述仍是一

254、個具有挑戰性的難題：一方面，由于語義具有多義性和模糊性，基本內涵不易定義，因此難以進行度量；另一方面，人們對語義的產生機理和過程并不明確，這使得目前對語義的定義更多是面向特定場景，而缺乏統一的描述。隨著相關技術的發展，人們對語義的理解也不再局限于語言學中每個句子包含的語義信息，已拓展至文本、語音、圖像、視頻等多種類型的數據。面向特定場景和任務下，語義熵也有著不同的定義。探索統一的語義表征和度量的數學形式，有助于解決通信的不兼容問題，讓語義通信在不同實體間實現語義的有效傳輸。通用的語義編碼：語義編碼涉及到語義壓縮的極限問題，是語義通信理論最關注的問題之一。語義編碼是對數據所包含的語義進行編碼的過

255、程，能夠大幅度的壓縮數據，這也是語義通信的主要優勢，因為它能夠在不追求數據恢復的情況下最大程度地壓縮數據和提取與通信任務最相關的信息。目前，語義率失真的相關理論會同時衡量數據失真和語義失真，將香農的率失真理論推廣至雙失真的情形，這在一定程度上解決了語義失真和語義編碼的問題。語義通信的性能界問題：由于語義通信涉及到通信的語義層和技術層，也需要由物理信道傳輸基本符號，因此其基本性能極限難以用一個具體的容量值描述，應由技術層和語義層共同決定，其形式應體現多維特點。在語義通信中，是否存在語義信道容量，仍是一個值得探索的問題。除了語義信道容量之外，在時延、通信成功率等方面，也存在著性能界問題。語義通信網

256、絡的結構設計和優化：如何構建出更適合語義提取和傳輸的網絡直接關系到能否按預期完成任務，如何優化語義通信網絡直接關系到語義通信的性能。目前，深度學習在信源信道聯合編碼和面向任務的通信結構設計方面得到了廣泛應用，在智能任務中逐漸顯現其重要性。探索基于深度學習的語義通信的理論框架，并提供相應的理論指導，包括合適的性能指標和語義相似度量等，也是尤為必要。111/12612.2 基于大模型的語義通信基于大模型的語義通信語義通信旨在通過傳遞消息的含義來實現收發兩端之間的高效、準確的信息傳輸。大模型具有強大的語義表征和理解能力，能夠很好地提取數據背后的信息含義。將大模型應用于語義通信，可以顯著提高通信網絡對

257、原始數據的語義理解能力，進而提升通信網絡的智能化水平。比如，基于大模型的語義分析技術，可以對大規模文本數據進行深入挖掘和分析，提取出有價值的信息和知識，為數據智能壓縮和準確恢復提供支持。利用大模型對多模態數據（文本、圖像、音頻等多種媒體信息）進行綜合分析，基于大模型的語義通信可以實現跨模態語義理解，使網絡系統能夠更好地理解收發端的通信意圖，更好地滿足任務執行需求。盡管將大模型引入語義通信系統可以進一步提升通信網絡的性能和效果，但是大模型與語義通信的結合也帶來了一些關鍵技術挑戰。通用模型的壓縮與量化：大模型往往具有龐大的參數量和計算量，這不僅會增加模型的存儲和傳輸成本，還會影響模型的實時性。因此

258、，需要對大模型進行壓縮和量化，以減小模型的大小和計算復雜度。同時，在通用模型的壓縮與量化過程中，可能會引入一定的誤差，導致模型精度的降低。為了保持較高的精度，需要仔細設計剪枝策略、量化和訓練方法等，并在壓縮后對模型進行有效的調整和優化。剪枝技術需要確定哪些特征和連接應該被剪除，這需要綜合考慮特征的重要性和模型的整體性能。量化技術則需要確定最佳的量化方案和步長，以保證精度和加速效果。因此，需要探索有效的特征選擇和權重調整方法，以實現最佳的模型壓縮效果。語義對齊與融合：不同模態數據在表達同一概念或實體時，其語義應保持一致。在多模態語義通信中，不同模態的數據具有不同的特性和表達方式，因此需要進行語義

259、對齊和融合。然而，由于不同模態數據的表達方式、特征和語境可能存在差異，導致大模型在進行語義對齊與融合時面臨語義一致性的挑戰。如何保證不同模態數據之間的語義一致性，是實現高質量語義對齊與融合的關鍵。為此，未來需要進一步探索有效的語義映射方法，以實現不同模態數據之間的語義對齊與融合，將不同模態數據的語義空間映射到一個統一的語義空間。這需要解決不同模態數據之間的語義沖突、語義映射的準確性和穩定性等問題。112/126 數據高效處理與硬件瓶頸：大模型的訓練需要大量的標注數據，而在語義通信中，由于通信帶寬和設備硬件條件的限制，如何有效收集訓練數據以及如何在有限的數據下訓練出高效的通用模型是實現高效語義通

260、信面臨的挑戰。這需要采用高頻譜效率的數據傳輸方法以及數據增強、增量學習等技術，以提高數據利用效率和模型訓練效果。此外，大模型的訓練和推理需要大量的計算資源和存儲空間，這可能導致硬件設備的性能瓶頸。在許多應用場景中，語義通信需要具有實時性和可用性。然而，大模型的訓練和推理過程往往需要較長時間，并且容易受到硬件設備性能的限制。因此，需要研究如何優化大模型的訓練和推理過程，優化硬件設備和計算資源的使用效率，提高大模型的運行速度和處理能力。同時加強與實際應用場景的結合，推動基于大模型的語義通信技術在各領域的廣泛應用和落地?？山忉屝耘c隱私保護：大模型的決策過程往往不透明，導致其可解釋性和可信度需要進一步

261、改善。為了提高大模型在語義通信中的可解釋性和可信度，需要研究如何對大模型的決策過程進行可視化和驗證，以便用戶更好地理解、信任和使用大模型。此外，大模型在處理和傳輸數據的過程中涉及到用戶的隱私和安全問題。因此，需要采取有效的隱私保護和安全措施，以確保用戶數據的安全性和隱私性。例如，可以采用差分隱私、加密等技術來保護用戶數據，加強用戶數據安全防御機制的研究和應用，降低大模型被惡意攻擊的風險。12.3 標準化標準化目前，學術界對于語義通信的研究如火如荼，但面向未來語義通信標準化，仍存在如下挑戰，需要集中力量爭取業界達成一定共識。場景、評估準則與性能增益：目前 ITU 已經對于下一代 IMT 系統的場

262、景及指標開展了相關研究和定義。與現有 5G 系統相比，6G 不僅包括了 5G 三大場景的進一步增強，而且也拓展了三個新的應用場景，即：AI與通信的融合，感知與通信的融合，泛在連接。與之相對應，不同典型場景也關聯了一組性能指標，以便反映不同場景所關注的主要問題。這些指標主要從無線側反映了新技術所要達到的能力要求。但是，現有學術界對于語義通信的評價指標與工業界對于一個新技術的評價體系存在脫節的問題。例如：學術界常用的語義通信評價指標，PSNR，BLEU 等無法與傳統頻譜效率，用戶體驗速率，時延，可靠113/126性等指標建立比較直接的對應關系?，F有語義通信的評價指標與不同模態的信源強相關，與傳統關

263、注無線側傳輸，不用在意具體信源類型的方式相比，評估方法與體系不匹配。不便于與其它新技術的橫向對比與客觀的性能評估。另外，現有學術界對于語義通信的評估主要還是和傳統信源壓縮方案相比，如：H.264 等，但是實際上基于 AI 的壓縮算法也在持續發展。如果與這些基于 AI 的最新壓縮方案相比，語義通信的性能如何？值得業界進一步深入研究?？鐚酉到y設計：現有系統基于香農的信源信道分離定理進行設計，整個網絡形成了非常復雜的分層結構。傳統這種設計方式一方面使得無線通信系統設計得以簡化，把原本互相耦合的問題盡可能進行分解，便于工程設計、實現與標準化。另一方面，在保證各層相對獨立的同時，提高了系統整體設計的靈活

264、性，符合高內聚，低耦合的原則。各層設計時，都可以采樣最適合的技術來實現。但是，如果想要充分發揮語義通信的性能優勢，我們不僅要關注信源的內容，而且還要關注信道，以期達到語義層面信源與信道的最佳匹配。實際網絡中，信源一般在應用層，而信道在物理層，兩者之間相隔“十萬八千里”。這就迫使我們在未來標準化時不得不考慮打破現有設計模式，引入跨層設計的必要性，以及與現有網絡架構和分層協議設計的兼容性。不同的設計方法對于標準化的影響差異巨大，當然性能也不盡相同，其中也涉及到用戶內容的隱私安全問題等。因此，如何在性能和復雜度之間取得比較好的折中，是未來語義通信從理論走向工程落地的關鍵。語義知識庫的構建與更新：語義

265、知識庫作為一種結構化有記憶能力的知識網絡模型，能夠基于海量語義知識圖譜，對現實世界中的實體、概念、屬性以及它們之間的關系進行建模，從而為語義通信提供全局知識背景和存儲搜索服務，使語義通信的靈活性顯著增加。然而，語義知識庫的現有研究仍然距離標準化落地有一定距離。首先，語義知識庫的構建方法論尚未明確。目前針對語義知識庫的建模方案只能針對特殊傳輸場景，如何構建面向多模態多數據來源的語義知識庫，確保知識庫的覆蓋范圍和深度是一個面臨的主要挑戰。其次，語義知識庫的動態更新機制尚不清晰。相關研究主要面向圖片與文本類信源，并設計了語義知識庫的更新方法，但對信源、信道、任務等數據源信息考慮較少。如何在信道噪聲與

266、干擾影響下進行語義知識庫更新也需要進一步研究。最后，多模態多任務的語義知識庫交互機制仍需完善?，F有研究主要服務于圖像分類、視覺問答等任務，無法滿足未來復雜的跨模態跨環境語義融合傳輸需求。面對上述挑戰，需要設計更加高效與普適的語義114/126知識庫訓練與更新方法，以確保語義知識庫的高質量、全面性和實時性，為語義技術的應用提供可靠的支持。13.總結與展望總結與展望本白皮書全面深入地探討了語義通信的多個層面，包括基礎概念、關鍵技術，與現有通信技術的結合以及多樣化的應用場景，為構建智能、高效、可靠的語義通信系統提供了堅實的理論基礎和實踐指導。第一章語義通信概述，闡述了基本概念，奠定了對整體領域的認知

267、。第二章詳細討論了語義通信中的關鍵模塊，通過優化知識庫構建、語義信道聯合編碼和語義傳輸，語義通信在通信效率、準確性和魯棒性上有更好的性能。第三、四、五章介紹了語義通信在多模態多用戶復雜場景中的部署和應用。第六至九章探討了語義通信與現有通信技術的結合，同時給出了分布式語義通信系統架構以及安全通信模型，為其在實際場景中的應用提供了堅實的基礎和有利的支持。第十和十一章分析了語義通信在衛星通信、全息通信、自動駕駛、數字孿生、工業物聯網等下一代通信場景中強大的應用潛力及相關挑戰。最后，白皮書分析了語義通信所面臨的挑戰，給出了相關建議，并展望了語義通信領域的未來發展方向。在人工智能技術和通信技術的幫助下，

268、語義通信在魯棒性、通信效率上都展現出了比傳統通信系統更好的性能。然而，語義通信目前還在發展的起步階段，在取得這些進展的同時，也面臨許多挑戰和待解決的問題。目前，語義通信的研究重點多局限在基于人工智能算法的通信系統設計，缺少像香農信息論一樣的理論支持和完整的數學體系，無法給出系統性能的理論極限，因此關于語義信息論的研究迫在眉睫。另外，關于語義通信的研究較為前沿，下一步迫切需要關注語義通信的標準化問題，以實現不同系統和設備之間的互操作性，以及其在實際網絡中的部署。此外，對于語義通信的安全性，尤其是在對抗性攻擊和隱私保護方面，需要進一步加強研究。因此，我們呼吁相關研究人員開展實質性工作，加強數據的收

269、集，探索更為智能高效的語義通信模型，在實際場景中的驗證工作也亟待深入展開。相信在科研人員的不斷努力下，未來語義通信將得到更深入的研究，也將在更廣泛的應用領域發揮關鍵作用，進而為社會經濟作出更為顯著的貢獻。115/12614.參考文獻參考文獻1 鵬城實驗室,北京郵電大學,香港中文大學（深圳）.語義知識庫使能的現代語義通信白皮書J.2023.2 Zhou F,Li Y,Zhang X,Wu Q,Lei X,Hu R Q.Cognitive semantic communication systemsdriven by knowledge graphC/IEEE International Conf

270、erence on Communications.IEEE,2022:4860-4865.3 Shi G,Gao D,Song X,Chai J,Yang M,Xie X,Li L,Li X.A new communication paradigm:From bit accuracy to semantic fidelityJ.arXiv preprint arXiv:2101.12649,2021.4 Xiao Y,Sun Z,Shi G,Niyato D.Imitation Learning-based Implicit Semantic-awareCommunication Networ

271、ks:Multi-layer Representation and Collaborative ReasoningJ.IEEE Journal on Selected Areas in Communications,2022,41(3):639-658.5 Yang Y,Guo C,Liu F,Liu C,Sun L,Sun Q,Chen J.Semantic communications with AItasksJ.arXiv preprint arXiv:2109.14170,2021.6 Hu Q,Zhang G,Qin Z,Cai Y,Yu G,Li G Y.Robust semant

272、ic communications againstsemantic noiseC/IEEE Vehicular Technology Conference.IEEE,2022:1-6.7 Hu Q,Zhang G,Qin Z,et al.Robust semantic communications with masked VQ-VAEenabled codebookJ.IEEE Transactions on Wireless Communications,2023.8 Guo S,Wang Y,Li S,Saeed N.Semantic importance-aware communicat

273、ions using pre-trained language models J.IEEE Communications Letters.20239 Jiang F,Peng Y,Dong L,Wang K,Yang K,Pan C,You X.Large AI Model EmpoweredMultimodal Semantic Communications.arXiv preprint arXiv:2309.01249.10 Sun Y,Chen H,Xu X,Zhang P and Cui S.Semantic Knowledge Base-enabled Zero-shotMulti-

274、levelFeatureTransmissionOptimizationJ.IEEETransactionsonWirelessCommunications,early access.11 W.Yang et al.,Semantic Communications for Future Internet:Fundamentals,Applications,and Challenges,in IEEE Communications Surveys&Tutorials,vol.25,no.1,pp.213-250,Firstquarter 2023,12 Jialong Xu,Bo Ai,Wei

275、Chen,Ang Yang,Peng Sun,Miguel Rodrigues,Wireless ImageTransmission Using Deep Source Channel Coding With Attention Modules,IEEETransactions on Circuits and Systems for Video Technology(TCSVT),32(4):2315-2328,2022.13 Jialong Xu,Tze-Yang Tung,Bo Ai,Wei Chen,Yuxuan Sun,Deniz Gunduz,Deep JointSource-Cha

276、nnel Coding for Semantic Communications,IEEE Communications Magazine(COM-M),61(11):42-48,2023.14 Jialong Xu,Bo Ai,Ning Wang,Wei Chen,Deep Joint Source-Channel Coding for CSIFeedback:An End-to-End Approach,IEEE Journal on Selected Areas in Communications(JSAC),41(1):260-273,2023.15 Zhihang Chu,Wei Ch

277、en,Ning Wang,Bo Ai,Deep Joint Source-Channel Coding forPerson Re-Identification With Related Image Sources,IEEE International Conference onCommunication Technology(ICCT),Wuxi,China,Oct.,2023.16 Jialong Xu,Bo Ai,Wei Chen,Ning Wang,Miguel Rodrigues,Deep Joint Source-ChannelCoding for Image Transmissio

278、n with Visual Protection,IEEE Transactions on CognitiveCommunications and Networking(TCCN),9(6):1399-1411,2023.116/12617 Y.Feng,J.Xu,C.Liang,G.Yu,L.Hu,T.Yuan,Decoupling Source and SemanticEncoding:An Implementation Study,Electronics,vol.13,no.12,pp.2755,June 2023,doi:10.3390/electronics1213275518 J.

279、Yang,G.Xiao,Y.Shen,W.Jiang,X.Hu,Y.Zhang,J.Peng,A survey of knowledgeenhanced pre-trained models,arXiv preprint arXiv:2110.00269,2021.19 X.Qiu,T.Sun,Y.Xu,Y.Shao,N.Dai,X.Huang,Pre-trained models for natural languageprocessing:A survey,Sci.China Technol.Sci.,63(10),18721897,2020.20 L.Chen,S.Li,Q.Bai,J.

280、Yang,S.Jiang,Y.Miao,Review of image classificationalgorithms based on convolutional neural networks,Remote Sens.,13(22),4712,2021.21 D.Gund uz et al.,“Beyond transmitting bits:Context,semantics,and task-orientedcommunications,”in IEEE J.Sel.Areas Commun.,41(1),5-41,2023.22 Q.Zhou,R.Li,Z.Zhao,C.Peng

281、and H.Zhang,“Semantic communication with adaptiveuniversal transformer,”in IEEE Wireless Commun.Lett.,11(3),453-457,2022.23.Liu,X.Wang,Z.Ning,M.Zhou,L.Guo,and B.Jedari,A survey on semanticcommunications:Technologies,solutions,applications and challenges,Digit.Commun.Netw.,Jun.2023,doi:10.1016/j.dcan

282、.2023.05.010.24 H.Xie,Z.Qin,G.Y.Li,B.-H.Juang,Deep learning enabled semantic communicationsystems,IEEE Trans.Sig.Proc.,69,26632675,2021.25 H.Xie,Z.Qin,A lite distributed semantic communication system for Internet of things,IEEE J.Sel.Areas Commun.,39(1),142153,2021.26 L.Yan,Z.Qin,R.Zhang,Y.Li,G.Y.Li

283、,Resource allocation for text semanticcommunications,IEEE Wireless Commun.Lett.,11(7),13941398,2022.27 Y.Zhang,H.Zhao,J.Wei,J.Zhang,M.F.Flanagan,J.Xiong,Context-based semanticcommunication via dynamic programming,IEEE Trans.Cogn.Commun.Netw.,8(3),14531467,2022.28 Y.Liu,S.Jiang,Y.Zhang,K.Cao,L.Zhou,B

284、.-C.Seet,H.Zhao,J.Wei,Extended context-based semantic communication system for text transmission,Digit.Commun.Netw.,2022.29 Kadam,S.,&Kim,D.I.,Knowledge-Aware Semantic Communication System Design.arXiv preprint arXiv:2301.12161,2023.30 L.Hu,G.Wu,Y.Xing,F.Wang,Things2Vec:Semantic modeling in the Inte

285、rnet of thingswith graph representation learning,IEEE Internet Things J.,7(3),19391948,2020.31 Y.Wang,M.Chen,SAADW,etal.Performanceoptimizationforsemanticcommunications:an attention-based learning approach/Proc.2021 IEEE Global Commun.Conf.,Piscataway:IEEE Press,1-6,2021.32 Y.Wang et al.,Performance

286、 Optimization for Semantic Communications:An Attention-Based Reinforcement Learning Approach,in IEEE J Sel.Areas Commun.,40(9),2598-2613,2022.33 S.Jiang,Y.Liu,Y.Zhang,P.Luo,K.Cao,J.Xiong,H.Zhao,J.Wei,Reliable semanticcommunication system enabled by knowledge graph,Entropy,24(6)，pp.846,2022.34 Zhou,F

287、.,Li,Y.,Xu,M.,Yuan,L.,Wu,Q.,Hu,R.Q.,&Al-Dhahir,N.Cognitive SemanticCommunication Systems Driven by Knowledge Graph:Principle,Implementation,andPerformance Evaluation.arXiv preprint arXiv:2303.08546,2023.35 Z.Weng and Z.Qin,Semantic Communication Systems for Speech Transmission,inIEEE J.Sel.Areas in

288、Commun.,vol.39,no.8,pp.2434-2444,Aug.2021.117/12636 Z.Xiao,S.Yao,J.Dai,S.Wang,K.Niu and P.Zhang,Wireless Deep Speech SemanticTransmission,in Proc.IEEE Int.Conf.Acoust.,Speech,Signal Process.(ICASSP),RhodesIsland,Greece,2023,pp.1-5.37 Z.Zhou,S.Zheng,J.Chen,Z.Zhao and X.Yang,Speech Semantic Communicat

289、ion BasedOn Swin Transformer,in IEEE Trans.Cogn.Commun.Netw.,pp.1-1,Dec.2023.38 Z.Weng,Z.Qin,X.Tao,C.Pan,G.Liu and G.Y.Li,Deep Learning Enabled SemanticCommunications With Speech Recognition and Synthesis,in IEEE Trans.WirelessCommun.,vol.22,no.9,pp.6227-6240,Sept.2023.39 T.Han,Q.Yang,Z.Shi,S.He and

290、 Z.Zhang,Semantic-Preserved Communication Systemfor Highly Efficient Speech Transmission,in IEEE J.Sel.Areas in Commun.,vol.41,no.1,pp.245-259,Jan.2023.40 Z.Weng,Z.Qin and X.Tao,Task-Oriented Semantic Communications for SpeechTransmission,in Proc.IEEE Veh.Technol.Conf.(VTC-Fall),Hong Kong,Oct.2023,p

291、p.1-5.41 Z.Weng,Z.Qin and X.Tao,Semantic-Aware Speech-to-Text Transmission Over MIMOChannels,in Proc.IEEE Int.Conf.Commun.Workshops(ICC Workshops),Rome,Italy,May 2023,pp.1362-1367.42 Bourtsoulatze E,Kurka D B,Gndz D.Deep joint source-channel coding for wirelessimage transmission.IEEE Trans.Cogn.Comm

292、un.Netw.,5(3):pp.567-579,2019.43 Kurka D B,Gndz D.Deepjscc-f:Deep joint source-channel coding of images withfeedback IEEE J.Sel.Areas Inf.Theory,1(1):178-193,2020.44 J.Dai,S.Wang,K.Tan,et al.Nonlinear transform source-channel coding for semanticcommunications.IEEE J.Sel.Areas Commun.,40(8):2300-2316

293、,2021.45 D.Huang,X.Tao,F.Gao,et al.Deep learning-based image semantic coding for semanticcommunications/in Proc 2021 IEEE Global Commun.Conf.Piscataway:IEEE Press,1-6,2021.46 Zhang H,Shao S,Tao M,et al.Deep learning-enabled semantic communication systemswith task-unaware transmitter and dynamic data

294、 IEEE J.Sel.Areas Commun.,41(1),170-185,2022.47 Shi G,Zhang Z,Gao D,et al.Knowledge-guided semantic computing networkNeurocomputing,426,70-84,2021.48 Z.Wan,S.Liu,Z.Xu,W.Ni,Z.Chen and F.Wang,Semantic Communication MethodBased on Compression Ratio Optimization for Vision Tasks in the Artificial Intell

295、igence ofThings,in IEEE Trans.Cons.Electr.,2023.49 W Zhang,Y Wang,M Chen,et al.“Optimization of Image Transmission in a CooperativeSemantic Communication Networks,”IEEE Trans.Wire.Commun.,2023.50 Wu,H.,Shao,Y.,Bian,C.,Mikolajczyk,K.,&Gndz,D.(2023,May).Visiontransformer for adaptive image transmissio

296、n over MIMO channels.In ICC 2023-IEEE Int.Conf.Commun.,3702-3707,2023.51 Wu H,Shao Y,Ozfatura E,et al.Transformer-aided Wireless Image Transmission withChannel Feedback arXiv preprint arXiv:2306.09101,2023.52 Kang J,Du H,Li Z,et al.Personalized saliency in task-oriented semantic communications:Image

297、 transmission and performance analysis IEEE J.Sel.Areas Commun.,41(1),186-201,2022.53 X.Kang,B.Song,J.Guo,Z.Qin,and F.R.Yu,“Task-oriented image transmission forscene classification in unmanned aerial systems,”arXiv preprint arXiv:2112.10948,2021.118/12654 S.Wang et al.,Wireless Deep Video Semantic T

298、ransmission,IEEE J.Sel.AreasCommun.,vol.41,no.1,pp.214-229,Jan.2023,.55 C.Liang et al.,VISTA:Video Transmission over A Semantic Communication Approach,in Proc.2023 IEEE Int.Conf.Commun.Workshops(ICC Workshops),Rome,Italy,Oct.2023,pp.1777-1782.56 T.-C.Wang,A.Mallya,and M.-Y.Liu,“One-shot free-view ne

299、ural talking-head synthesisfor video conferencing,”in Proc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2021,pp.1003910049.57 P.Jiang,C.-K.Wen,S.Jin and G.Y.Li,Wireless Semantic Communications for VideoConferencing,IEEE J.Sel.Areas Commun.,vol.41,no.1,pp.230-244,Jan.2023.58 J.Bao,P.Basu,M.De

300、an,C.Partridge,A.Swami,W.Leland,and J.A.Hendler,“Towardsa theory of semantic communication,”in Proc.IEEE Network Science Workshop,WestPoint,NY,USA,Jun.2011,pp.110117.59 Z.Zhao and H.Wang,“MaskGEC:Improving neural grammatical error correction viadynamic masking,”in Proc.Assoc.Advancement Artif.Intell

301、.(AAAI),vol.34,Hilton NewYork Midtown,New York,New York,USA,04 2020,pp.1226123360 X.Peng,Z.Qin,D.Huang,X.Tao,J.Lu,G.Liu,and C.Pan,“A robust deep learningenabled semantic communication system for text,”in Proc.IEEE Glob.Commun.(GLOBECOM),Dec.2022,pp.27042709.61 Z.Weng,Z.Qin,and X.Tao,“Robust Semantic

302、 Communications for Speech Transmission,”submitted to IEEE Global Commun.Conf.(GLOBECOM).62 G.Shi,Y.Xiao,Y.Li and X.Xie,From Semantic Communication to Semantic-AwareNetworking:Model,Architecture,and Open Problems,IEEE Commun.Mag.,vol.59,no.8,pp.44-50,Aug.2021.63 G.Nan et al.,Physical-layer adversari

303、al robustness for deep learning-based semanticcommunications,IEEE J.Sel.Areas Commun.,vol.41,no.8,pp.2592-2608,Aug.2023.64 Tong,Wen,and Geoffrey Ye Li.Nine challenges in artificial intelligence and wirelesscommunications for 6G.IEEE Wireless Communications 29.4(2022):140-145.65 Tong,Haonan,et al.Fed

304、erated learning for audio semantic communication.Frontiers incommunications and networks 2(2021):734402.66 Weng,Zhenzi,Zhijin Qin,and Geoffrey Ye Li.Semantic communications for speechsignals.ICC 2021-IEEE International Conference on Communications.IEEE,2021.67 Tung,Tze-Yang,and Deniz Gndz.DeepWiVe:D

305、eep-learning-aided wireless videotransmission.IEEE Journal on Selected Areas in Communications 40.9(2022):2570-2583.68 Gao,Ruohan,et al.Listen to look:Action recognition by previewing audio.Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.69 Hazarika,Devamanyu,Ro

306、ger Zimmermann,and Soujanya Poria.Misa:Modality-invariantand-specific representations for multimodal sentiment analysis.Proceedings of the 28thACM international conference on multimedia.2020.70 Zhang,Guangyi,et al.A unified multi-task semantic communication system with domainadaptation.GLOBECOM 2022

307、-2022 IEEE Global Communications Conference.IEEE,2022.71 Zhang,Guangyi,et al.A unified multi-task semantic communication system formultimodal data.arXiv preprint arXiv:2209.07689(2022).119/12672 Yin,Benshun,Zhiyong Chen,and Meixia Tao.Knowledge Distillation and TrainingBalance for Heterogeneous Dece

308、ntralized Multi-Modal Learning over Wireless Networks.arXiv preprint arXiv:2311.06500(2023).73 Xie,Huiqiang,Zhijin Qin,and Geoffrey Ye Li.Task-oriented multi-user semanticcommunications for VQA.IEEE Wireless Communications Letters 11.3(2021):553-557.74 Xie,Huiqiang,et al.Task-oriented multi-user sem

309、antic communications.IEEE Journal onSelected Areas in Communications 40.9(2022):2584-2597.75 He,Yangshuo,Guanding Yu,and Yunlong Cai.Rate-Adaptive Coding Mechanism forSemantic Communications With Multi-Modal Data.arXiv preprint arXiv:2305.10773(2023).76 Katz,Guy,et al.Reluplex:An efficient SMT solve

310、r for verifying deep neural networks.Computer Aided Verification:29th International Conference,CAV 2017,Heidelberg,Germany,July 24-28,2017,Proceedings,Part I 30.Springer International Publishing,2017.77 Luo,Xuewen,et al.Multi-modal and multi-user semantic communications for channel-level information

311、 fusion.IEEE Wireless Communications(2022).78 Y.E.Sagduyu,T.Erpek,A.Yener,and S.Ulukus,“Multi-receiver task orientedcommunications via multi-task deep learning,”arXiv preprint arXiv:2308.06884,2023.79 M.Wang,Z.Zhang,J.Li,M.Ma,and X.Fan,“Deep joint source-channel coding for multi-task network,”IEEE S

312、ignal Process.Lett.,vol.28,pp.19731977,Sep.2021.80 L.D.Chamain,S.Qi,and Z.Ding,“End-to-end image classification and compression withvariational autoencoders,”IEEE Internet Things J.,vol.9,no.21,pp.21 91621 931,Nov.2022.81 Z.Lyu,G.Zhu,J.Xu,B.Ai,and S.Cui,“Semantic communications for image recovery an

313、dclassification via deep joint source and channel coding,”IEEE Trans.Wireless Commun.,pp.11,to appear,2024,doi:10.1109/TWC.2023.3349330.82 Chen B,Wang X,Li D,Jiang R and Xu Y.Uplink NOMA Semantic Communications:Semantic Reconstruction for SICC/2023 IEEE/CIC International Conference onCommunications

314、in China(ICCC),Dalian,China,2023:1-6.83 Lin L,Xu W,Wang F,Zhang Y,Zhang W and Zhang P.Channel-Transferable SemanticCommunicationsforMulti-UserOFDM-NOMASystemsJ.IEEEWirelessCommunications Letters,doi:10.1109/LWC.2023.3340657,(Early Access),2023.84 Sana M,Calvanese Strinati E.Semantic Channel Equalize

315、r:Modelling Language Mismatchin Multi-User Semantic CommunicationsJ/OL.arXiv preprint arXiv:2308.03789,2023.85 Kim M,Kim S,Kwak J and Lee J.Semantic-Based Precoding Design for Multi-User MISONetworksJ.IEEE Wireless Communications Letters,2023,12(9):1479-1483.86 Hu H,Zhu X,Zhou F,Wu W,Hu R and Zhu H.

316、One-to-Many Semantic CommunicationSystems:Design,Implementation,Performance EvaluationJ.IEEE CommunicationsLetters,2022,26(12):2959-2963.87 Mu X,Liu Y,Guo L and Al-Dhahir N.Heterogeneous Semantic and Bit Communications:A Semi-NOMA SchemeJ.IEEE Journal on Selected Areas in Communications,2023,41(1):1

317、55-169.88 He X,You C and Quek Tony Q.S.Joint User Association and Resource Allocation forMulti-Cell Networks with Adaptive Semantic CommunicationJ/OL.arXiv preprintarXiv:2312.01049,2023.89 M.Jankowski,D.Gndz,and K.Mikolajczyk,“Wireless image retrieval at the edge,”IEEE Journal on Selected Areas in C

318、ommunications,vol.39,no.1,pp.89100,2021.120/12690 Q.Zhou,R.Li,Z.Zhao,Y.Xiao,and H.Zhang,“Adaptive bit rate control in semanticcommunication with incremental knowledge-based harq,”IEEE Open Journal of theCommunications Society,vol.3,pp.10761089,2022.91 M.Jankowski,D.Gunduz,and K.Mikolajczyk,“Joint de

319、vice-edge inference over wirelesslinks with pruning,”in IEEE 21st International Workshop on Signal Processing Advances inWireless Communications(SPAWC),2020,pp.15.92 J.Shao and J.Zhang,“Bottlenet+:An end-to-end approach for feature compression indevice-edge co-inference systems,”in IEEE Internationa

320、l Conference on CommunicationsWorkshops(ICC Workshops),2020,pp.16.93 W.Shi,Y.Hou,S.Zhou,Z.Niu,Y.Zhang,and L.Geng,“Improving device-edgecooperative inference of deep learning via 2-step pruning,”in IEEE INFOCOM 2019-IEEE Conference on Computer Communications Workshops(INFOCOM WKSHPS),2019,pp.16.94 T.

321、-Y.Tung,D.B.Kurka,M.Jankowski and D.Gndz,DeepJSCC-Q:Channel InputConstrained Deep Joint Source-Channel Coding,ICC 2022-IEEE InternationalConference on Communications,Seoul,Korea,Republic of,2022,pp.3880-3885.95 T.-Y.Tung,D.B.Kurka,M.Jankowski and D.Gndz,DeepJSCC-Q:ConstellationConstrained Deep Joint

322、 Source-Channel Coding,in IEEE Journal on Selected Areas inInformation Theory,vol.3,no.4,pp.720-731,Dec.2022.96 L.Guo,W.Chen,Y.Sun and B.Ai,Device-Edge Digital Semantic Communication withTrained Non-Linear Quantization,2023 IEEE 97th Vehicular Technology Conference(VTC2023-Spring),Florence,Italy,202

323、3,pp.1-5.97 L.Guo,W.Chen,Y.Sun and B.Ai,Digital-SC:Digital Semantic Communication withAdaptiveNetworkSplitandLearnedNon-LinearQuantization,https:/arxiv.org/abs/2305.13553,2023.98 Maolin Liu,Wei Chen,Jialong Xu,Bo Ai,A Comprehensive Study of PAPR ReductionTechniques for Deep Joint Source Channel Codi

324、ng in OFDM Systems,ICCT,Wuxi,China,Oct.,2023.99 M.Kim,W.Lee,and D.-H.Cho,“A novel papr reduction scheme for ofdm system based ondeep learning,”IEEE Communications Letters,vol.22,no.3,pp.510513,2017.100K.Yu,Q.He,and G.Wu,“Two-way semantic communications without feedback,”IEEETrans.Veh.Technol.,early

325、access,2024.101J.Zhang,P.Tang,L.Yu,et al.Channel measurements and models for 6G:current statusand future outlook,Frontiers of Information Technology&Electronic Engineering,vol.21,pp.3961,2020.102S.Tsugawa,Inter-vehicle communications and their applications to intelligent vehicles:an overview,Intelli

326、gent Vehicle Symposium,2002.IEEE,Versailles,France,2002,pp.564-569 vol.2,doi:10.1109/IVS.2002.1188011.103G.Nie et al.,A predictive 6G network with environment sensing enhancement:Fromradio wave propagation perspective,in China Communications,vol.19,no.6,pp.105-122,June 2022,doi:10.23919/JCC.2022.06.

327、009.104Y.Sun,J.Zhang,J.Wang,et.al.PC-SC:A predictive channel-based semanticcommunication system for sensing scenarios,Electronics.12(14):3129,2023.105林潤韜,郭彩麗,陳九九,等.語義通信中基于深度雙 Q網絡的多維資源聯合分配算法J.移動通信,2023,47(7):45-53121/126106秦志金,冀澤霖,嚴蕾,等.面向語義感知通信網絡的多維資源優化J.移動通信,2023,47(4):25-30.107奧穎，李鈺潔，何善寶等.蜂窩語義通信系統資

328、源分配的研究J.移動通信,2024,48(2),00-00.108陳九九,郭彩麗,馮春燕,等.智能網聯環境下面向語義通信的資源分配J.物聯網學報,2022,6(3):47-57.109Xia Le,Sun Yao,Li Xiaoqian,et al.Wireless Resource Management in IntelligentSemantic Communication NetworksC.In IEEE INFOCOM 2022-IEEE Conference onComputer Communications Workshops(INFOCOM WKSHPS).IEEE,May 2

329、022.110Zhang Haijun,Wang Hongyu,Li Yabo,et al.DRL-Driven Dynamic Resource Allocationfor Task-Oriented Semantic CommunicationJ.IEEE Transactions on Communications,2023,71(7):39924004.111Zhang Haijun,Wang Hongyu,Li Yabo,et al.Toward Intelligent Resource Allocation onTask-OrientedSemanticCommunicationJ

330、.IEEEWirelessCommunications,2023,30(3):7077.112Cheng Yanyu,Dusit Niyato,Du Hongyang,et al.Resource Allocation and CommonMessage Selection for Task-Oriented Semantic Information Transmission With RSMAJ.IEEE Transactions on Wireless Communications,2023:11.113A.Ahmed,A.Al-Dweik,Y.Iraqi,H.Mukhtar,M.Naee

331、m and E.Hossain,HybridAutomatic Repeat Request(HARQ)in Wireless Communications Systems and Standards:AContemporary Survey,IEEE Commun.Surveys Tuts.,vol.23,no.4,pp.27112752,4thQuart.,2021.114P.Jiang,C.-K.Wen,S.Jin and G.Y.Li,Deep Source-Channel Coding for SentenceSemantic Transmission With HARQ,IEEE

332、Trans.Commun.,vol.70,no.8,pp.5225-5240,Aug.2022.115Wang M,Li J,Ma M,et al.Spiking Semantic Communication for Feature Transmissionwith HARQJ.arXiv preprint arXiv:2310.08804,2023.116L.Yujian and L.Bo,A Normalized Levenshtein Distance Metric,in IEEE Trans.Pattern Anal.Mach.Intell.,vol.29,no.6,pp.1091-1

333、095,June 2007.117K.Papineni,S.Roukos,T.Ward,and W.Zhu,“Bleu:A method for automatic evaluationof machine translation,”in Proc.Annu.Meeting Assoc.Comput.Linguistics,Philadelphia,PA,USA,Jul.2002,pp.311318.118J.Devlin,M.-W.Chang,K.Lee,and K.Toutanova,“BERT:Pre-training of deepbidirectional transformers for language understanding,”2018,arXiv:1810.04805.119G.Jie,H.Chen,B.Song,et al.Distributed task-orie