《CSA GCR：2024年AI安全白皮書（145頁）.pdf》由會員分享，可在線閱讀，更多相關《CSA GCR：2024年AI安全白皮書（145頁）.pdf（145頁珍藏版）》請在三個皮匠報告上搜索。

1、 2023 云安全聯盟大中華區版權所有1 2023 云安全聯盟大中華區版權所有22023 云安全聯盟大中華區保留所有權利。你可以在你的電腦上下載、儲存、展示、查看及打印，或者訪問云安全聯盟大中華區官網（https:/www.c-）。須遵守以下：（a）本文只可作個人、信息獲取、非商業用途；（b）本文內容不得篡改；（c）本文不得轉發；（d）該商標、版權或其他聲明不得刪除。在遵循 中華人民共和國著作權法相關條款情況下合理使用本文內容，使用時請注明引用于云安全聯盟大中華區。2023 云安全聯盟大中華區版權所有3 2023 云安全聯盟大中華區版權所有4致謝致謝AI 安全白皮書由 CSA 大中華區 AI

2、安全工作組專家撰寫，感謝以下專家的貢獻：工作組聯席組長:主要貢獻者：審校組:研究協調員：黃磊王維強黃磊王維強何伊圣卞超軼李巖陶瑞巖劉廣坤鄭國祥張淼陳洋郭建領唐科偉崔崟段陽陽馮明鄒旭郝偉黃國忠林兵邢海韜楊浩淼楊喜龍張亮孟昌華黃磊王維強黃連金劉廣坤何伊圣張亮李巖黃家棟 2023 云安全聯盟大中華區版權所有5貢獻單位:(以上排名不分先后)關于研究工作組的更多介紹，請在 CSA 大中華區官網（https:/c- CSA GCR 秘書處給與雅正!聯系郵箱 researchc-；國際云安全聯盟 CSA 公眾號中國電信股份有限公司研究院螞蟻集團安全實驗室北京百度網訊科技有限公司杭州安恒信息技術股份有限公司北

3、京啟明星辰信息安全技術有限公司華為技術有限公司聯通（廣東）產業互聯網有限公司北京沃東天駿信息技術有限公司上海安幾科技有限公司優刻得科技股份有限公司上海物盾信息科技有限公司杭州世平信息科技有限公司深圳市魔方安全科技有限公司電子科技大學浙江孚臨科技有限公司 2023 云安全聯盟大中華區版權所有6序言序言 1在 21 世紀這個科技飛速發展的時代，人工智能技術的進步使得數字經濟成為全球經濟發展的主導力量。因此，各國和企業紛紛加快了對數字經濟的戰略規劃和布局，以搶占發展制高點。然而，在數字化轉型深入進行之際，人工智能安全面臨著不斷加劇的挑戰和風險。數據以多種形態在各個主體、不同場景下流動和應用，人工智能

4、安全問題涉及到保密性、完整性、可用性和合規性等方面問題，同時還包括算法、模型、應用和系統的安全。傳統信息安全風險管理方法已無法適應數字化業務高速發展和變化，并不能實現對人工智能全生命周期過程中風險管控。在這一背景下，AI安全白皮書應運而生。本白皮書審視了 AI 在安全領域應用與挑戰，并包括了AI 賦能安全技術、伴生安全問題、監管與技術生態以及熱門問題等內容，為行業提供了一個全局視角，有助于推動 AI 安全領域的進一步發展和規范。通過對 AI 安全風險進行深入分析和研究，我們堅信企業和組織可以采取更為有效的管理措施，確保數據安全與隱私保護。面對數字經濟時代，企業和組織必須高度重視人工智能安全風險

5、管理，并積極應對各類人工智能安全挑戰。借助AI 安全白皮書 的指導和建議，我們期待廣大從業者能夠更好地把握人工智能安全管理要點，確保數字經濟發展可持續性。同時，我們也期待更多企業和組織能夠參與到人工智能安全事業中來，共同為構建安全、健康的數字經濟環境貢獻力量。李雨航 Yale LiCSA 大中華區主席兼研究院院長 2023 云安全聯盟大中華區版權所有7序言序言 2 AI 安全白皮書是一份對當前人工智能（AI）安全領域的有指導意義的研究和分析。本文探討了 AI 在安全領域的多種應用，包括漏洞挖掘、安全防御和威脅檢測，同時也著重分析了 AI 本身的安全問題，如內生安全和衍生安全問題。此外，它還涉及

6、了 AI 安全的監管生態、技術生態以及行業發展情況，包括法律法規、行業標準、國際共識等方面。這份白皮書對于任何關注網絡安全和人工智能發展的人來說都是有價值的資源。無論是業內專業人士、學者、政策制定者，還是對 AI 技術和網絡安全感興趣的學生和愛好者，都能從中獲得獨到的見解和知識。它不僅提供了對 AI 安全技術的概述，還探討了相關的倫理法律和政策問題，為理解和應對 AI 帶來的安全挑戰提供了理論基礎。此外，白皮書還特別關注了 AI 安全的最新熱點問題，如大模型安全、對抗樣本攻擊、數據投毒攻擊、供應鏈攻擊、數據泄露攻擊和模型竊取攻擊等，這些內容對于理解當前和未來 AI 安全的趨勢至關重要。它還對

7、AI 倫理和 AI 輔助安全進行了討論，為讀者提供了關于如何負責任地發展和應用 AI 技術的重要思考?？偟膩碚f，AI 安全白皮書是一份可讀而且及時的研究成果，對于希望深入了解 AI 在安全領域應用的人來說，是不可多得的資料。它不僅涵蓋了 AI 安全領域的廣泛主題，還提供了關于如何面對未來挑戰和機遇的有益見解。這份白皮書是理解 AI 安全領域現狀和未來發展的重要參考資料。黃連金 Ken HuangCSA 大中華區研究院副院長 2023 云安全聯盟大中華區版權所有8目錄致謝致謝.4序言序言 1.6序言序言 2.71 背景背景.92 AI 賦能安全賦能安全.102.1 AI 賦能安全.102.2 A

8、I 伴生安全.273 AI 安全的生安全的生態態.373.1 AI 安全的監管生態.373.2 AI 安全的技術生態.594 AI 安全的熱門問題安全的熱門問題.944.1 大模型安全.944.2 對抗樣本攻擊.974.3 數據投毒攻擊.994.4 供應鏈攻擊.1014.5 數據泄露攻擊.1044.6 模型竊取攻擊.1074.7 AI 倫理/對齊.1094.8 AI 輔助安全.1145 AI 安全的行業發展安全的行業發展.1285.1 監管發展.1285.2 技術發展.1336 總結與展望總結與展望.142 2023 云安全聯盟大中華區版權所有91 背景背景人工智能（AI）是一項新興技術，代表

9、了現代科技的發展和進步。AI 的運用范圍廣泛，具有廣闊的擴展潛力，對各行各業領域產生了深遠的影響。在數字化轉型的浪潮下，AI 將成為企業成功的關鍵因素之一，并隨著企業數字化轉型的深入實踐，人工智能（AI）幫助企業提升生產效率和生產力，改善客戶體驗和服務質量，幫助企業發現新的商機和提供更高級的安全保障。人工智能（AI）是一項關鍵的革命性技術，它正在改變我們的世界。隨著 AI技術的快速發展，與數字化企業的全面實現，AI 安全問題也日益凸顯。AI 安全應確保 AI 系統在執行任務時能夠遵守法律、倫理規范和道德和技術的合規。在解決 AI 安全問題的過程中，應實現 AI 安全的透明度、責任化和可持續化的

10、安全治理是企業發展的關鍵所在。CSA 于 2022 年相繼推出醫療保健中的人工智能、ChatGPT 的安全影響等多個安全白皮書，并進行更加全面的總結形成AI 安全白皮書，在 AI 安全領域通過一系列的建議和最佳實踐，幫助企業遵循 AI 安全原則和標準，幫助企業解決 AI 安全的熱門問題，減少潛在的風險和漏洞。以應對數字化經濟時代，在確保數據可用性的前提下，創造價值，改變世界。CSA AI 安全白皮書也是 CSA 新興技術認證 CSA AI 人工智能安全認證的官方學習用書，希望通過AI安全白皮書的學習，對于企業全面地建立數字安全體系提供重要保障與支持。2023 云安全聯盟大中華區版權所有102

11、AI 賦能安全賦能安全2.1 AI 賦能安全賦能安全2.1.1AI 賦能漏洞挖掘賦能漏洞挖掘2.1.1.12.1.1.1漏洞挖掘的發展歷史漏洞挖掘的發展歷史人工智能技術的發展和應用不斷推動著網絡安全攻防自動化和智能化的水平，目前已經在惡意代碼檢測、惡意流量分析、漏洞挖掘、僵尸網絡檢測、網絡灰產檢測等各領域有了廣泛的應用?；谌斯ぶ悄艿穆┒赐诰蚍椒ㄍㄟ^訓練大批量的漏洞代碼樣本，學習漏洞代碼的語義、結構、指令序列等特征,從而能夠自動化的定位到可疑代碼。越來越多的安全公司都在增大對 AI 研究的投入，并將AI 安全作為業務發展的重心，信息安全漏洞挖掘技術的發展歷史可大致分為以下四個階段。第一階段，人

12、工代碼安全審計，60 年代就開始的一種漏洞挖掘方式，由專門的安全審計人員在開發過程中或發布前后檢測和評估代碼。但代碼安全審計是一項復雜而繁瑣的任務，需要具備專業的技術和知識，投入大量的時間和人力，在安全服務領域算是工作量最大的一種服務方式，并且存在檢測不全面的情況。第二階段，靜態分析工具輔助，70 年代開始出現了一種用于分析應用程序源代碼和二進制文件的技術 SAST 靜態應用程序安全測試，但 SAST 無法考慮代碼的上下文信息，也不能處理代碼中變量和數據流的復雜性，所以有較高的漏報和誤報率，所以還是需要人工進行驗證和復審。第三階段，結合動態測試技術，90 年代開始的黑盒模糊測試就是其中一種代表

13、性技術，通過模擬攻擊者可能使用的各種手段來評估軟件系統的安全性，可 2023 云安全聯盟大中華區版權所有11以更好地發現系統可能存在的安全缺陷，但漏報概率較高和覆蓋率相對較低，還是有一定的限制。第四階段，人工智能漏洞挖掘，近 10 年間模糊測試技術已經從傳統的黑盒模糊測試技術，逐步演進到了基于覆蓋引導、定向模糊測試的灰盒模糊測試技術。隨著人工智能與網絡安全不斷交叉融合，對于 AI 賦能于漏洞挖掘也有了新的探索，AIGC 可以賦能模糊測試生成更精準的測試用例，融合覆蓋引導、遺傳算法、神經網絡和 AIGC 等技術。2.1.1.22.1.1.2全球業界的大力推動全球業界的大力推動2018 年 3 月

14、，美國國際戰略研究中心（CSIS）在題為美國機器智能國家戰略 的報告中提出美國政府應在戰略層面注重機器智能與人工智能發展齊頭并進，縱觀整個網絡安全行業，盡管已經有很多安全公司提出了以 AI 和大數據為驅動的口號，但似乎還鮮少看到實際的應用落地。圖 1 美國 CGC 比賽現場 2023 云安全聯盟大中華區版權所有122023 年 9 月份美國宣布發起為期兩年的人工智能網絡挑戰賽（AICyberChallenge，AIxCC），以推動自動化網絡攻防技術的發展，保護美國的關鍵軟件。該競賽將由美國國防高級研究計劃局（DARPA）牽頭，旨在利用 AI 安全技術快速識別和修復關鍵軟件漏洞。這是 DARPA

15、 發起機器自動化網絡對抗的超級挑戰賽 CGC(Cyber GrandChallenge)之后，再次牽頭主辦的“人工智能網絡挑戰賽”，整個賽事的獎金總額為 1850 萬美元（約合人民幣 1.33 億元），不論是從時間成本，還是資金投入，都可見美國政府對此賽事的重視程度非同一般。放眼國內，近年來我國信息安全體系日趨完善，2017 年印發的新一代人工智能發展規劃，標志著我國人工智能發展進入到國家戰略層面。在“十四五”規劃綱要中，共有 6 處提及人工智能，并將“前沿基礎理論突破，專用芯片研發，深度學習框架等開源算法平臺構建，學習推理與決策、圖像圖形、語音視頻、自然語言識別處理等領域創新”視為新一代人工

16、智能領域的重點攻關方向。2023 云安全聯盟大中華區版權所有13圖 2 中國首屆國際機器人網絡安全大賽 RHG智能化攻防技術也得到了迅速發展，RHG（Robot Hacking Game）競賽在國內逐漸興起，隴劍杯、黃鶴杯、強網杯、網鼎杯、縱橫杯等都有 AI 攻防賽道，進一步推動人工智能技術在網絡安全自動化的應用和實踐。為模擬實戰應用場景和檢驗企業的自動化安全攻防能力，這類競賽為自動化攻防技術的探索和應用提供了實踐的土壤，推動智能化攻防技術進步，標志著漏洞攻防正逐步向智能化方向演進。2.1.1.32.1.1.3漏洞挖掘的相關技術漏洞挖掘的相關技術目前，對于軟件漏洞挖掘主要從源代碼和二進制兩個方

17、面開展。其中針對發現漏洞的最佳實踐方式有源代碼審查、模糊測試、基于規則的靜態分析、基于規則的動態分析等，這些方法在特定情況下針對特定二進制程序可以產生很好的檢測效果，但仍然存在一些很難突破的先天缺陷，下面分別對 6 種代表性的漏洞挖掘技術作一下簡要的介紹。1.符號執行（Symbolic Execution）是一種靜態分析技術，用于探索程序在不同執行路徑上的行為，而不限于淺層路徑。在程序執行過程中，將輸入變量替換為符號變量，將程序的執行路徑轉化為約束條件。以達到繞過輸入驗證、觸發故障修復或其他類型的漏洞利用的目的。2.模糊測試（Fuzzing）用于向目標軟件輸入各種測試數據來發現漏洞或測試目標程

18、序的魯棒性。與符號執行和生成式測試的結合能夠產生更多利用潛力的輸入。將模糊測試中生成的輸入作為符號化輸入，然后進行符號執行路徑探索，針對不同的輸入生成一組約束條件。約束條件可以描述輸入所需的特定屬性或限制，例如特定的字節序列、特定的函數調用序列等。通過約束條件激活器解決這些約束條件，找到滿足約束條件的具體輸入，結合符號執行的約束條件和約束初始化。2023 云安全聯盟大中華區版權所有143.代碼插樁（Code Instrumentation）是一種修改程序源代碼或二進制代碼的動態分析技術，具體取決于可用的工具和技術，以在運行時插入附加監測代碼，獲取代碼執行過程中的指令序列，學習漏洞代碼的動態執行

19、特征。4.控制流程圖(Control Flow Graph,CFG)，針對目標二進制文件中的函數、庫函數以及各種間接跳轉，獲得程序的控制流圖的節點，結合反匯編出來的代碼或者腳本語言，從而識別出可疑的匯編代碼序列，進而快速有效地發現未知漏洞。5.遺傳算法（Genetic Algorithm，GA）根據大自然中生物體進化規律而設計提出的。是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種在復雜的高維空間中通過模擬自然進化過程搜索最優解的方法。該在漏洞挖掘中遺傳算法可用于生成測試用例，通過迭代進化候選測試用例的群體并根據某些標準（例如覆蓋率或風險）選擇最佳測試用例。圖 3

20、神經網絡示意圖（來源互聯網）6.人工神經網絡（Artificial Neural Network，ANN），從信息處理角度對人 2023 云安全聯盟大中華區版權所有15腦神經元網絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網絡。在漏洞挖掘中，測試工具可在模糊測試過程中生成海量測試用例，以用于訓練神經網絡并教育其識別海量輸入中可能導致錯誤或其他意外行為的模式，進而形成更高效的變異策略或變異模板。隨著測試數據的積累，漏洞挖掘引擎也必將愈發智能化?；诿舾泻瘮颠M行代碼切片，運用雙向遞歸神經網絡對代碼進行訓練，提取漏洞代碼的靜態語義特征。2.1.1.42.1.1.4自動挖掘流程與場景自動挖

21、掘流程與場景通過生成式人工智能 AIGC（Artificial Intelligence Generated Content）與模糊測試相結合，模型可以根據歷史漏洞數據和程序的行為特征生成更高效的測試用例，從而大幅提升測試用例質量與漏洞檢測效率，自動化漏洞挖掘已經成為一種有效的技術。首先使用模糊測試生成大量的隨機輸入，將這些輸入提供給目標程序執行。這些輸入會觸發目標程序中的不同代碼路徑。接著利用符號執行技術對模糊測試生成的測試用例進行分析，計算程序執行的不同路徑，并收集關于程序狀態的符號約束信息。符號約束描述了在特定輸入下程序能夠到達指定路徑的約束條件。從程序路徑中選擇部分路徑，根據各個路徑的

22、約束條件，生成新的、符合路徑約束的測試用例。這些生成的測試用例更有可能觸發深層的未知漏洞。利用符號執行生成的測試用例驗證目標程序的執行狀態，檢查是否出現異常行為。如果發現異常行為或異常狀態，進一步分析其成因和利用可能性。根據驗證結果，給模糊測試程序進行反饋，迭代模糊測試的輸入生成策略，以便更好地挖掘漏洞。然后使用代碼插樁對目標程序的運行狀態進行動態監測，包括代碼覆蓋率、路徑信息和程序狀態等。代碼插樁為模糊測試和符號執行提供了關鍵的運行時數據，幫助識別異常行為和異常狀態。結合模糊測試和代碼插樁的結果，可以識別出目標程序中的疑似漏洞。符號執行生成的符號化輸入可以幫助模糊測試觸達更 2023 云安全

23、聯盟大中華區版權所有16多路徑，從而挖掘更多潛在的深層漏洞。同時符號執行也能提供精確的漏洞觸發路徑。插樁提供的運行時信息可以確定程序的異常行為和異常狀態，從而更準確地發現漏洞。在發現潛在漏洞后，進行驗證和利用。符號執行計算出的漏洞觸發路徑可以精準的觸達漏洞的觸發點。一旦漏洞被確認，進一步構建針對該漏洞的攻擊手段和攻擊策略。綜合利用模糊測試、符號執行和代碼插樁技術，可以自動化地發現和驗證目標程序中的漏洞。自動化漏洞利用（Automatic Exploit Generation,AEG）的技術體系已經得到了廣泛的關注和使用，利用計算機程序或工具自動生成針對已知或未知漏洞的利用代碼或攻擊創建適配器，

24、自動生成有效的利用代碼，以利用目標系統或應用程序中的漏洞，主要應用于如下幾個場景：1.可用于驗證漏洞的可利用性。當一個漏洞發現并報告給廠商或開發者時，AEG 可以用于自動生成針對該漏洞的利用代碼，以驗證漏洞的實際利用效果，并確認其是否會導致系統被攻擊。2.用于評估漏洞修復的效果，AEG 工具重新生成利用代碼，以測試修復后的系統是否仍然容易受到攻擊。這種方式，可以評估修復措施的質量，并幫助開發者或廠商確保漏洞已經得到適當的修復。3.可用于自動化的安全漏洞挖掘。它可以通過生成大量的輸入和攻擊適配器，探索目標系統或應用程序中的未知漏洞。通過嘗試不同的輸入和攻擊方式，AEG工具可以發現和生成新的漏洞利

25、用代碼，進一步幫助安全研究人員發現和修復系統中的潛在缺陷。漏洞自動化生成利用技術是一個復雜的研究領域，涉及多種技術和方法的融合，通常情些技術是結合使用，以自動化生成針對漏洞的利用代碼。2023 云安全聯盟大中華區版權所有172.1.1.52.1.1.5自動化挖洞未來展望自動化挖洞未來展望自動化漏洞大大減少了使用的難度，并且可以通過預先定義的漏洞利用模板、腳本、payloads 等工具和資源，提高了利用的速度和效率。能夠覆蓋多種不同類型的漏洞，包括操作系統、應用程序、網絡設備等各種目標中的漏洞。相比手動漏洞利用，自動化漏洞利用技術能夠廣泛地掃描和利用各種漏洞，避免由于人為疏漏或不完整掃描而導致的

26、漏報的風險。自動化漏洞挖掘與利用已經成為紅隊不可或缺的一部分，提高效率，加強測試多樣性，持續性的評估。不僅適用于安全研究人員，同樣適用于不擅長漏洞挖掘的程序員，降低了漏洞利用環節的利用門檻。隨著 AI 自我學習的完善，未來漏洞檢測率將越來越高，檢測成本降越來越低，漏洞檢測時間將越來越短。2.1.2AI 賦能安全防御賦能安全防御隨著現代社會的高度數字化，各種新型網絡攻擊威脅著政府、能源、金融、醫療等行業的網絡安全，人工智能技術與網絡安全防御融合應用是一種必然的趨勢，新型網絡攻擊威脅不斷向規?；?、自動化發展，亟需打造智能化的網絡安全運營體系，筑牢網絡空間安全。2.1.2.12.1.2.1人工智能應

27、用于網絡安全防御的特點人工智能應用于網絡安全防御的特點網絡安全已經從人人對抗、人機對抗逐漸向基于人工智能的攻防對抗發展演化，人工智能技術應用于網絡安全防御領域主要有以下方面特點：1、有效抵御復雜網絡系統的安全漏洞可通過機器學習和深度學習等方法，從大量的網絡流量和日志數據中提取有用的信息，自動化、快速、準確地檢測和修復復雜網絡系統中的安全漏洞，從而更快發現并解決安全漏洞，提升整體安全防御水平。2023 云安全聯盟大中華區版權所有182、大幅縮短對攻擊的響應時間通過人工智能技術可以在短時間內快速分析網絡流量和日志數據，從而在攻擊威脅發生時能夠實時檢測并響應。與傳統安全防御技術相比，人工智能技術可更

28、快實現網絡自主監測，發現攻擊威脅，大幅縮短響應時間，降低誤報率，減少潛在損失，提高網絡安全防御的效能。3、增強網絡安全防御的協作能力通過人工智能技術應用幫助網絡安全運營團隊提升應急響應協作的效率，實現團隊之間高效的信息交流、共享和寫作，提高整體的安全防御效果贏得網絡安全防御主動權，最大限度阻斷威脅、降低風險。2.1.2.22.1.2.2人工智能在網絡安全防御中的應用人工智能在網絡安全防御中的應用人工智能技術應用可以提升網絡安全防御的智能化水平，在網絡安全防御中的應用包括以下幾個方面：1、智能安全漏洞防御傳統的安全漏洞檢測主要依靠人工的方式進行，專家依賴性強且耗時長，通過人工智能技術實現自動化漏

29、洞發現與修復，極大提升安全漏防御能力。安全漏洞發現：安全漏洞發現：可通過機器學習算法分析網絡流量、系統日志、攻擊特征等多維數據，識別漏洞特征，通過深度學習準確地判斷是否存在漏洞。結合神經網絡和自然語言處理等人工智能技術，識別并解釋代碼語法含義以評估風險，分析漏洞利用趨勢，縮小代碼審計范圍，減少開發人員檢測和發現漏洞的時間。2023 云安全聯盟大中華區版權所有19 安全漏洞修復：安全漏洞修復：由于漏洞類型繁多、漏洞定位困難等因素的存在，修復漏洞需要大量人工參與，自動化漏洞修復技術能夠極大提升漏洞修復效能。機器學習算法可以通過分析漏洞特征和歷史修復方案，自動學習漏洞修復方法，并為工程師提供修復建議

30、。通過對漏洞的深度分析和模擬測試，自動生成修復代碼或提供修復工具，幫助工程師快速修復漏洞，提升漏洞修復效率。2、智能安全態勢感知隨著網絡部署規模復雜化，網絡安全情報數據種類和數量激增，對網絡安全態勢感知提出更高要求。人工智能技術在安全態勢感知中的應用，可以提高數據處理效率，增強關聯分析能力，自動檢測和響應威脅，打造智能安全防御體系，提高網絡安全性：提升海量數據處理效率：提升海量數據處理效率：人工智能技術可以自動化地收集和處理大量的網絡安全威脅情報數據，包括來自安全設備、網絡流量、安全事件等來源海量數據，高效地完成數據處理，快速、準確地識別出威脅。增強增強威脅數據挖掘能力：威脅數據挖掘能力：通過

31、學習和分析大量網絡安全威脅數據，識別出威脅模式和攻擊者的行為特征，將多個獨立的安全事件進行關聯和分析，挖掘潛在關系，多維構建攻擊者畫像、建立威脅情報庫，更全面掌握高級威脅情報。智能檢測和預警：智能檢測和預警：通過對威脅情報數據智能分析，實現自動檢測和識別潛在的安全威脅，通過 2023 云安全聯盟大中華區版權所有20對歷史數據的分析和預測，預警未來可能出現的威脅趨勢和攻擊模式。3、智能安全運營網絡安全運營面臨諸多挑戰，例如安全設備種類繁多、威脅數據量龐大、專業人才短缺以及人工處理效率低下等問題。將人工智能技術與安全運營相結合，能夠顯著提升安全運營的智能化水平，極大提高處理效率。AISecOps（

32、智能驅動安全運營）是人工智能技術與安全運營的融合，以安全運營目標為導向，以人、流程、技術與數據的融合為基礎，面向預防、檢測、響應、預測、恢復等網絡安全風險控制環節，構建具有高自動化水平的可信任安全智能模型。通過有效納管企業安全產品，實現模塊整合、統一運營、指標量化，精準判斷安全事件影響范圍，快速指揮調度及響應。人工智能技術應用可以從以下幾方面提升安全運營效能：智能化響應與處置：智能化響應與處置：將威脅模型實踐與實時網絡流量相關聯，通過自然語言處理 NLP、語義分析、上下文處理，并結合正則匹配、關聯分析和遷移學習等技術，能夠準確實現智能分析研判，加速安全策略自動下發提升安全響應速度和效率，減少安

33、全事件的影響范圍和損失。安全運營流程智能化安全運營流程智能化：打造人機智能協同的算法、模型、系統與流程，才能不斷地適應高級別的智能化安全運營場景，實現安全運營全流程智能化，包括安全審計、漏洞掃描、合規性檢查、安全事件處理等。智能分析預測與決策：智能分析預測與決策：2023 云安全聯盟大中華區版權所有21可以通過數據分析和模式識別，預測未來的安全趨勢和威脅?？梢詾闆Q策者提供重要信息，優化安全運營戰略和決策。自動化生成合規性報告：自動化生成合規性報告：支持自動生成安全運營報告，滿足合規性要求。通過人工智能技術自動化分析整體安全態勢，生成多維度、安全運營報告。打造智能安全防御體系打造智能安全防御體系

34、：通過與其他安全設備結合和聯動，如防火墻、入侵檢測等，實現不同安全防御設備聯動調度，打造動態的、智能的安全防御體系。通過持續監控和評估安全防御系統的效果，優化模型和算法，提高智能安全檢測的準確度和效率，提高網絡安全整體水平。4、智能網絡攻擊溯源隨著網絡攻擊和數據泄露等威脅不斷增加，在網絡安全防御中，網絡攻擊溯源扮演著重要角色，網絡攻擊溯源結合人工智能技術，能夠提供更準確、更智能的網絡安全保護。網絡攻擊溯源通過安全設備告警、日志和流量分析、服務 資源異常、蜜罐系統等對網絡攻擊進行捕獲，發現威脅，利用已有的 IP 定位、惡意樣本分析、ID追蹤、溯源反制等技術，收集攻擊者信息。通過對攻擊路徑的繪制和

35、攻擊者身份信息的歸類形成攻擊者畫像，完成整個網絡攻擊的溯源。2.1.2.32.1.2.3人工智能在網絡安全防御中的挑戰人工智能在網絡安全防御中的挑戰1、網絡安全場景攻擊趨于復雜化，基于已知樣本集預測未知難度較大人工智能算法本質是基于樣本抽象出特征，進而基于特征表征問題，用于新 2023 云安全聯盟大中華區版權所有22數據推理判定。但網絡安全領域中標注樣本少，攻擊方式多樣化、復雜化，僅基于已知樣本構建的人工智能算法模型難以覆蓋所有攻擊場景。2、算法模型如果不能自適應優化，可能導致無效告警產生通過人工智能算法可以發現更多的安全問題，但不同客戶場景業務、網絡和資產屬性不盡相同，會導致通用模型檢測出的

36、告警中存在一定的無效告警或誤報，如果算法模型不能自適應優化，需要安全專家重復研判分析，這將大大增加人工成本。3、人工智能算法模型檢出告警的可解釋性需要關注如果告警的可解釋性足夠高，安全專家才能從事件描述中了解攻擊詳情，對威脅進行精準溯源和處置?；趯＜乙巹t或 IOC 檢測的告警，解釋性較高。但人工智能算法模型自身缺乏透明度，若其檢出的告警描述僅呈現如報文大小、概率值等特征原始數值，將很難支撐安全專家進行響應處置。2.1.3AI 賦能威脅檢測賦能威脅檢測從廣義上來說，符號邏輯、規則與專家系統等都在 AI 的范疇內，那么 AI 賦能網絡安全領域的威脅檢測應用可能已有 40 多年或更長的歷史；即使是

37、邏輯回歸、支持向量機、貝葉斯等機器學習算法的應用，也在上個世紀 90 年代就已出現。受限于篇幅，同時也從時效性的角度出發，本節將對近些年來更為流行的AI 賦能威脅檢測應用的相關技術給出簡要介紹。2.1.3.12.1.3.1惡意代碼檢測惡意代碼檢測網絡空間時刻面臨著以“僵木蠕”（僵尸網絡、木馬、蠕蟲）攻擊為典型代表的嚴峻安全威脅，而惡意代碼通常是這些攻擊的重要載體，包括近些年來在全球范圍內廣為流行的勒索病毒、挖礦病毒等，也往往由某種惡意代碼承載。因此，2023 云安全聯盟大中華區版權所有23精準有效的檢測惡意代碼對于網絡安全保障有著不可忽視的作用。由于文件類型和系統平臺的多樣性，惡意代碼也有很多

38、種類，但檢測技術上都存在一定的相似性。不失一般性，本小節以最常見的惡意代碼類型之一二進制 PE 文件為例，說明 AI 如何賦能惡意代碼檢測。從總體上看，經典的檢測方法可以分為兩大類?；陟o態分析的方法：直接對惡意代碼本身進行分析，從中提取可用于識別的特征簽名（如病毒的特征碼等）作為識別的直接依據，也可對屬于同一類別的多個惡意代碼特征進一步總結出識別的規則?；趧討B分析的方法：在虛擬環境中運行惡意代碼并監控其行為，如系統調用、文件系統訪問、網絡傳輸等，從中找出異常及可能造成危害的行為模式，并作為識別的依據。實際上，這兩類方法均可采用不同的實現方式，除了上面所描述的基于特征簽名和基于規則的方式外，

39、也都可以采用機器學習、深度學習等 AI 技術，即基于惡意代碼的多維度特征構建智能檢測分類模型。相比來說，AI 技術的應用能夠有效提高檢測分類的自動化水平，減少了人工定義檢測規則或特征的工作量，而且 AI 模型可以通過使用新樣本進行迭代訓練而實現自動更新優化，避免了規則或特征庫更新所需的人工投入。2.1.3.22.1.3.2惡意流量檢測惡意流量檢測網絡攻擊總是需要通過網絡流量來承載，如何能高效精準識別這些承載攻擊的惡意流量一直是網絡安全領域的重要研究問題。隨著技術的發展，惡意流量越來越呈現出隱蔽性和多樣化的特點，傳統的基于特征指紋的檢測手段難以達到安全防護的目標，尤其是如今加密流量占比日益增加，

40、更是給惡意流量的檢測識別帶來了新的挑戰。AI 技術在惡意流量檢測中的應用也很廣泛，具體有如下兩種典型方式。2023 云安全聯盟大中華區版權所有24（1）基于歷史流量數據構建異常檢測模型。這類方法相對較為簡單，但也應用廣泛。一方面，可以采用不同的 AI 技術構建統計基線以用于異常檢測，包括面向單數值特征的數值分布區間、正態分布擬合及 3準則等，面向時間序列的 ARIMA、指數平滑等，面向多維度特征的 One-Class SVM、自編碼器等。另一方面，還可以選擇一些不需要預訓練而直接使用的異常檢測算法，包括孤立森林、ABOD 等。（2）針對流量數據提取多維度特征構建基于機器學習的分類檢測模型。其中

41、，根據特征來源不同，可分為單包特征、統計特征、包序列特征等。具體來說，一些惡意攻擊的特征直接體現在對應的單個報文里，因此可以提取一系列單包特征用于構建分類檢測模型，例如 HTTP 協議頭中的 URL、referer、user-agent、cookie等字段特征，報文凈荷中包含的明文敏感函數調用，加密流量中使用的證書特征等。另一方面，針對單包和流會話的相關統計特征也可用于區分正常流量與特定類型的惡意流量，如信息熵、可見字符占比、參數個數及意義分值、base64 編碼長度等。此外，流會話中的上下行包大小序列及包時間間隔序列相關特征也廣泛用于構建識別加密惡意流量的檢測模型中。在完成相應特征提取及特征

42、工程后，通常采用邏輯回歸、LGBM、xgboost 等機器學習算法進行建模實現對惡意流量的有效檢測分類。（3）針對流量數據直接構建基于深度學習的分類檢測模型。類似于惡意代碼檢測中將二進制 PE 文件當作灰度圖像分類的思想，網絡流量數據也可以轉換成灰度圖像的樣式，然后采取 CNN 等深度學習算法進行建模而無需進行單獨的特征計算提取步驟。另一方面，上面所提到的包大小序列和包時間間隔序列也可以采用 RNN、LSTM、Transformer 等深度學習算法直接進行建模。2.1.3.32.1.3.3惡意域名檢測惡意域名檢測惡意域名有不同的種類，有的是對應網站包含不良信息或惡意代碼，有的是 2023 云安

43、全聯盟大中華區版權所有25仿冒的釣魚網站，也有的是 DGA 算法生成的隨機性域名用于建立 C&C 通信，等等。對于這些不同類型的惡意域名，檢測方法與所需要的數據也是不同的。單純使用域名黑名單的方法無法識別新出現的或未知的惡意域名，而且惡意域名通常也無法使用正則表達式等規則匹配的方式進行精準識別。本小節對一些 AI 賦能惡意域名檢測的常見做法給出簡要描述。（1）基于域名字符串的檢測方法對于 DGA 算法生成的惡意域名，或者仿冒的釣魚網站域名等場景，由于其域名本身包含較為豐富的特征，所以可基于域名字符串提取一系列特征以構建AI 模型。因為域名是文本字符串格式的，所以可借鑒采用文本分類中的相關技術，

44、從簡單的 n-gram 特征提取，到 LSTM、Transformer 等深度學習模型的應用，技術細節這里不再贅述。（2）基于域名請求解析記錄的檢測方法除了域名字符串本身外，針對域名的請求解析記錄數據能夠為惡意域名的檢測判定提供更多的信息。通過對解析記錄數據提取多維度特征，包括域名解析的結果、解析請求的時間及 IP 分布等，基于有監督機器學習算法可以構建更精準的惡意域名檢測分類模型。（3）基于網站內容的檢測方法有些惡意域名需要結合對應網站的頁面內容進行更精準的判定，例如包含不良信息或植入惡意代碼的網站、仿冒的釣魚網站等。通過爬取網頁并從中提取更多特征，包括頁面的文本內容及圖片元素、內嵌的 JS

45、 代碼等，然后構建相應的檢測分類模型。2023 云安全聯盟大中華區版權所有262.1.3.42.1.3.4威脅情報提取威脅情報提取威脅情報對于網絡安全威脅檢測與防護有著非常重要的價值，但是很多原始情報信息存在于非結構化的文本中，比如攻擊事件報告、漏洞信息描述等，需要經過提取才能成為更易用的結構化情報，而且由于自然語言的靈活性，通常無法使用基于正則表達式等模板匹配方式完成自動化提取。下面以從漏洞信息中提取有價值的情報場景為例，說明相關 AI 技術是如何應用的。很多來源的漏洞描述信息是以非結構化文本形式呈現的，包括 CVE、ExploitDB、SecurityFocus、SecurityTrack

46、er、Openwall、SecurityFocus 等。從這種非結構化文本中提取有價值的威脅情報，如受漏洞影響的軟件名稱和版本等，面臨多項技術挑戰：（1）由于軟件名稱和軟件版本等相關情報信息的多樣性，基于字典和正則表達式的方案難以實現高精確率和高召回率；（2）漏洞描述信息的非結構化文本經常包含代碼，而且其獨特的寫作風格也使得傳統的自然語言處理算法難以駕馭；（3）需要在提取有價值情報的同時排除文本中無關的實體，如不受漏洞影響的軟件名稱及其版本。鑒于上述原因，通常采用基于深度學習模型的自然語言處理技術來完成威脅情報的自動化提取的。具體來說，首先需要使用命名實體識別模型來識別感興趣的實體（即期望提取

47、的情報元素），例如受漏洞影響的軟件名稱及版本，然后使用關系抽取模型將識別出的實體進行配對，例如漏洞可能影響到多個軟件的若干版本，則需要將軟件名與對應的版本信息配對。其中，上述命名實體識別模型可采用 BiLSTM、BiGRU、BERT、UIE 等，上述關系抽取模型可采用 HAN、CasRel、TPLinker、UIE 等。2.1.3.52.1.3.5敏感信息識別敏感信息識別隨著互聯網的飛速發展，網絡成為了信息傳播的重要渠道，同時內容安全、信息泄露等問題日益突出。為了避免敏感信息的外泄對個人、企事業單位、甚至國家安全和利益造成的威脅，必須對敏感信息與數據進行嚴格管控。因此，如何 2023 云安全聯

48、盟大中華區版權所有27高效精準地識別敏感信息成為一個需要解決的重要問題。敏感信息的表現形式多樣，其中最常見的一種就是以文本內容為主的敏感文檔。傳統的敏感文檔識別技術主要基于關鍵詞表與詞頻統計，將文檔中是否出現關鍵詞及出現數量作為主要識別依據。然而，現實存在另一類比較廣泛的應用場景卻不適用這一方法。在這類場景中，會預先指定一批文檔為敏感文檔，需要識別與指定文檔語義相近的所有文檔。注意這些指定文檔未必是一般意義上的敏感文檔，可能不包含特定的敏感詞語，比如內部會議紀要等。針對上述問題，核心關鍵是計算不同文檔之間的相似度，基于與指定文檔相似度的高低來判定是否敏感。為了快速計算大量文檔間的相似度，可以先

49、采用詞嵌入向量、文檔嵌入向量等 AI 技術將一篇文檔表示為多維向量，然后使用余弦距離、詞移距離等距離度量來作為相似度的表征，再運用聚類方法將所有文檔自動聚成不同的分簇，并將與指定敏感文檔歸為同一分簇的文檔標記為敏感，從而實現一次性對大量文檔完成標記工作。另一方面，隨著社交網絡平臺的發展，用戶發布的信息通常由圖片、文本等多種格式組成，僅從文本或圖片單一維度進行敏感信息識別是不全面的，而必須采用多模態方法。一種簡單而實用的思想是分別針對文本與圖像構建相應的敏感信息識別分類模型，然后再在決策層使用融合算法進行最終判定。2.2AI 伴生安全伴生安全2.2.1概述概述新技術解決問題的同時會帶來安全問題，

50、這是新技術在安全方面的伴生效應。這種伴生效應會產生兩方面的安全問題：一是由于新技術的出現，其自身的脆弱性會導致新技術系統出現不穩定或者不安全的情況，這方面的問題是新技術的內 2023 云安全聯盟大中華區版權所有28生安全問題；另一方面是新技術的自身缺陷可能并不影響自身的運行，但這種缺陷卻給其他領域帶來問題和風險，這就是新技術的衍生安全問題。人們首先會去享用新技術帶來的紅利，之后才會注意到新技術伴隨的種種網絡安全問題，比如先有云計算，后有云計算安全。同樣，人工智能作為一項新技術革命，既能賦能安全，又具有伴生安全問題。目前，AI 的安全問題伴生效應也會表現在兩個方面：一個是 AI 系統的脆弱性導致

51、自身出現問題，無法達到預設的功能目標，即自身的內生安全。從人工智能內部視角看，人工智能系統和一般信息系統和應用一樣，由軟硬件系統組成，會存在脆弱性，一旦人工智能系統的脆弱性被惡意分子利用，就可能引發安全事故，還有一種情況是新技術存在著天然的缺陷，比如人工智能依賴于數據與算法，數據的丟失和變形、噪聲數據的輸入、數據投毒攻擊都會對人工智能系統形成嚴重的干擾。伴生效應的另一個方面是系統的脆弱性被攻擊者所利用或不恰當地使用，從而引發其他領域的安全問題。比如，人工智能系統的不可解釋性也許不會影響人工智能系統在一般情況下的運行狀態，但可能會導致人工智能系統可能出現失控的情況，造成系統可能會不按照人類所預計

52、的或所期望的方式運行，而這種不可預計的情況可能給人類帶來威脅。比如，如果一個養老機器人不按照人類期望的方式運動，可能會傷害人類。還有一類具有移動性、破壞力、可自主學習的人工智能系統（比如機器人）有可能從人類為其設定的約束條件中逃逸，進而危及人類安全，這些都是人工智能的衍生安全問題。另外，隨著 ChatGPT 等大模型的廣泛使用，某些別有用心的人將其作為違法活動的工具。例如生成虛假新聞、深度合成偽造內容進行詐騙或釣魚攻擊，侵犯他人肖像權、隱私圈，輸入的語料和生產的內容也可能涉及知識產權方面的糾紛。AI 衍生安全影響 AI 的合規使用，還涉及人身安全、隱私保護、軍事與國家 2023 云安全聯盟大中

53、華區版權所有29安全、倫理道德和法律規范等一系列與社會治理有關的挑戰性問題。2.2.2AI 內生安全內生安全人工智能內生安全指 AI 技術的脆弱性、對數據的依賴性等自身缺陷原因而帶來的問題。AI 技術近幾年的快速發展依賴于深度學習算法、算力和數據。針對 AI 的威脅在總體上分為三個大方面，即 AI 模型和算法、數據與 AI 依托的信息系統，后者指軟硬件環境和網絡等。AI 內生安全涉及多個方面：人工智能依賴的框架、組件、環境等存在問題 人工智能數據的噪聲、不平衡、錯誤等問題 人工智能算法缺陷問題 人工智能模型的知識產權保護、污染等問題2023 年,OWASP 發布的機器學習安全風險 TOP10

54、就涵蓋諸多方面。2023 云安全聯盟大中華區版權所有30圖 4 OWASP 機器學習安全風險 TOP10框架（如 TensorFlow、Caffe）是開發人工智能系統的基礎環境，重要性不言而喻。當前，國際上已經推出了大量的開源人工智能框架和組件，并得到了廣泛使用。然而，由于這些框架和組件未經充分安全評測，可能存在漏洞甚至后門等風險。2023 云安全聯盟大中華區版權所有31訓練后投入使用的模型是機構重要的資產，面臨被竊取或污染的風險，需要有知識產權保護和風險防范與檢測機制。在算法方面，難以保證算法的正確性是人工智能面臨的一大問題?，F在的智能算法普遍采用機器學習的方法，直接讓系統面對真實可信的數據

55、來進行學習，以生成機器可重復處理的形態，在可靠性、公平性、可解釋性、透明性和魯棒性方面存在安全缺陷。例如，對抗樣本就是一種利用算法缺陷實施攻擊的技術，自動駕駛汽車的許多安全事故也可歸結為由于算法不成熟而導致的。以深度學習為代表的人工智能技術與數據是相輔相成的，數據安全是人工智能安全的關鍵要素，人工智能系統高度依賴數據獲取的正確性。然而，數據正確的假定是不成立的，有多種原因使得獲取的數據質量低下。例如，數據的丟失和變形、噪聲數據的輸入，都會對人工智能系統形成嚴重的干擾。人工智能在部署后才能應用，可能由于主客觀原因導致運行時出現安全問題。下面分布對 AI 框架、算法、模型、數據和運行五個方面進行說

56、明。2.2.2.12.2.2.1框架安全框架安全人工智能算法從設計到實現需要經過很多復雜的過程，許多程序在不同的算法中是可以高度復用的，因此出現了很多深度學習的框架，提供了常用的函數和功能等，供開發者以更簡單的方式實現人工智能算法。通過使用深度學習框架，算法人員可以無需關心神經網絡和訓練過程的實現細節，更多關注應用本身的業務邏輯,目前使用較多的深度學習框架包括 TensorFlow、PyTorch、PaddlePaddle等。此外，算法模型和框架還強依賴于大量三方包，如 numpy、pandas、計算機視覺常用的 openCV、自然語言處理常用的 NLTK 等等。因此，一旦這些深度學習 202

57、3 云安全聯盟大中華區版權所有32框架和三方包中存在漏洞，就會被引入模型，并破壞模型的可用性。例如，CVE 公布的 CVE-2019-9635 漏洞指出 TensorFlow 1.12.2 之前的版本存在“空指針解引用”漏洞，可通過構造特殊 GIF 文件對系統進行“拒絕服務攻擊”。這幾年，關于 AI 框架與組件的漏洞急速提升，各主流平臺無一幸免，漏洞類型涵蓋緩沖區溢出、CSRF、XSS 等。2.2.2.22.2.2.2算法安全算法安全算法是人工智能系統的大腦，定義了其智能行為的模式與效力?，F在的智能算法普遍采用機器學習的方法，直接讓系統面對真實可信的數據來進行學習，以生成機器可重復處理的形態，

58、最經典的當屬神經網絡與知識圖譜。神經網絡是通過“輸入-輸出”對來學習已知的因果關系，通過神經網絡的隱含層來記錄所有已學習過的因果關系經過綜合評定后所得的普適條件，神經網絡在很多問題上均能取得十分優異的表現，但是神經網絡為什么能取得如此好的效果，神經網絡中的多個隱藏層分別代表什么含義，神經元的參數等是否具有具體的意義?這些問題目前都很難回答，神經網絡如同是一個黑盒子，具有不可解釋性?？山忉屝砸髲姷膱鼍爸?，神經網絡造成的失誤則會造成巨大的損失。例如，在醫學場景中，如果讓智能算法自動識別某患者是否患病，神經網絡不具有可解釋性，僅會給出患者是否患病的分類結果；如果算法錯誤，則影響很大，在這樣的場景中

59、，不論是病人還是醫生都希望這樣的智能算法能給出解釋，即是什么癥狀及檢查結果讓算法識別為患病。綜合來說，以機器學習為代表的算法自身在可靠性、公平性、可解釋性、透明性和魯棒性方面存在安全缺陷，決策過程如同黑盒不可預見。從外部威脅角度來看，對抗樣本攻擊、數據投毒等行為使得智能系統產生錯誤的分類模式，逆向攻擊技術可以通過大量的模型預測查詢實現模型竊取。對抗樣本就是人工智能算 2023 云安全聯盟大中華區版權所有33法缺乏可解釋性的一種體現，自動駕駛汽車的許多安全事故也可歸結為由于算法不成熟而導致的。2.2.2.32.2.2.3模型安全模型安全通過大量樣本數據對特定的算法進行訓練，可獲得滿足需求的一組參

60、數，將特定算法和訓練得出的參數整合起來就是一個特定的人工智能模型?？梢哉f模型是算法和參數的載體并常以實體文件的形態存在，模型也是組織非常重要的資產，對其知識產權的保護也成為挑戰。例如，TensorFlow 框架通過 Saver 對象將這些參數保存為.ckpt 文件，當我們使用 TensorFlow 機器學習框架時，攻擊者就可以根據這些框架默認的保存路徑、保存方式等獲取我們學習到的模型，從而實現對模型的竊取。另外，在一些云邊協同場景中模型參數的傳遞、邊緣端設備的存儲和管理能力差等也會導致模型的安全問題。例如，當攻擊者攻擊了云端服務器或邊緣端設備，利用漏洞便可以獲取模型參數，而這些模型參數的意義巨

61、大，一旦丟失會造成嚴重的后果。另外，隨著人工智能算法的普及，很多開發者愿意將訓練后的模型共享給更多用戶，攻擊者便有機會對開源的模型進行攻擊，通過下載或購買此類模，人工智能模型的共享也將會越發普及，通過模型水印等技術保護知識產權，并采取手段防止模型被非法竊取。2.2.2.42.2.2.4數據安全數據安全數據是人工智能的重要基礎，深度學習掀起人工智能發展的又一熱潮，其中一個重要的原因便是近十幾年來大數據的蓬勃發展為機器學習等人工智能算法提供了大量的學習樣本，使人工智能相關技術迅速發展。在此前提下，數據安全就成為了人工智能內生安全的重要部分，具體來說，數據集質量、數據投毒、對 2023 云安全聯盟大

62、中華區版權所有34抗樣本都可以影響人工智能的安全。數據集的質量取決于數據集的規模、均衡性、準確性等，有多種原因使得獲取的數據質量低下，如數據的丟失和變形、噪聲數據的輸入，都會對人工智能系統形成嚴重的干擾，直接影響到人工智能算法的執行效果。數據集的質量能影響人工智能算法的安全性，人為地對數據進行修改則能在很大程度上改變人工智能算法的執行效果。比如，有些人工智能算法為了實時地適應數據分布的變化，會周期性地采集近期歷史樣本數據以重新訓練人工智能模型參數。如果攻擊者掌握了人工智能算法周期性采集數據的規律，就可以對即將被采集到的數據進行污染，讓人工智能算法學習到錯誤的數據特征，從而歧化人工智能算法的模型

63、參數，造成算法失效，這種攻擊方式被稱作數據投毒。數據投毒可以說是對人工智能算法訓練過程進行的攻擊，即通過輸入不正確的樣本數據，使得人工智能算法訓練得到不正確的模型參數，從而引發算法錯誤。相比于數據投毒，通過對抗樣本實施攻擊是近年來新出現的一種攻擊方法。這種方法在不改變模型參數的情況下，對人工智能算法需要識別的數據加以修改，讓算法失效，是對人工智能算法識別過程的攻擊。從攻擊方式上來劃分，采用對抗樣本的攻擊方式可分為白盒攻擊和黑盒攻擊；從攻擊效果上來劃分，可分為無目標攻擊和有目標攻擊；從對抗樣本的形式上來劃分，可分為針對圖像、文本、音視頻的攻擊。2.2.2.52.2.2.5運行安全運行安全人工智能

64、模型需要進行實際部署才能應用，而在部署以后可能由于客觀或主觀的原因導致人工智能模型運行時出現安全問題。人工智能應用依托算法模型、數據和算力基礎設施構建而成，面臨廣泛的攻擊面，系統在應用過程中涵蓋開發、測試、配置、部署、使用、數據處理、存儲 2023 云安全聯盟大中華區版權所有35等完整信息系統生命周期，與框架安全、算法安全、模型安全、數據安全和基礎設施安全高度相關，如果算法所在的環境發生了變化，而經過抽象的數據如果不能描述這種變化，人工智能模型則無法分辨環境改變對數據和算法造成的改變。再比如如果攻擊者利用了框架漏洞，不僅能盜取模型參數，更嚴重的后果將是利用模型實施惡意的攻擊行為，如讓人臉識別模

65、型不能正確識別人，讓智能家居做出異常舉動造成恐慌等。因此，應從客觀上盡量保證人工智能模型的安全性，從數據、框架、算法、模型、基礎環境和應用等多個層面對人工智能模型進行安全檢測，在整個運行生命周期重從技術和管理角度及時發現模型漏洞與不足。2.2.3AI 衍生安全衍生安全人工智能衍生安全指人工智能系統因其自身脆弱性被利用而引起其他領域的問題，AI 衍生安全影響 AI 的合規使用，還涉及人身安全、隱私保護等?？傮w來說，人工智能的衍生安全包括以下兩大類：人工智能使用的不正當：應用目的產生危害，如應用于武器、欺騙人臉支付等方面。人工智能被不正當地使用：應用過程存在倫理性問題，如自動駕駛剎車時是保護司機還

66、是乘坐者。衍生安全的范圍很廣，下面僅從人工智能系統失誤而引發的安全事故、大模型帶來的安全問題和人工智能武器引發軍備競賽等三個方面簡要介紹衍生安全的挑戰。1、人工智能系統失誤而引發的安全事故人工智能系統（如機器人）一旦同時具有行為能力以及破壞力、不可解釋的 2023 云安全聯盟大中華區版權所有36決策能力、可進化成自主系統的進化能力這 3 個失控要素，不排除其脫離人類控制和危及人類安全的可能。據美國網絡安全公司 IOActive 對 50 個機器人進行了安全調查，發現 10 個機器人中有近 50 個安全漏洞可能威脅到人身安全，如果人工智能系統經常犯錯，基于人工智能的物聯網體系就會變成令人感到恐怖

67、的系統。再比如由于特斯拉自動駕駛汽車使用許多傳感器，這些傳感器不斷向自動駕駛系統發送數據，因此惡意攻擊者可以通過攻擊數據源、采用數據欺騙或其他手段來遠程控制汽車系統，由此可導致汽車偏航或重大交通事故。2、大模型廣泛應用帶來的衍生安全問題隨著 ChatGPT 等大模型技術的成熟，生成式人工智能服務被廣泛地應用，會帶來一系列的安全問題。大模型在數據集的搜尋上有可能存在價值觀的偏見，從而形成不同意識形態的傳播問題，生成的內容也可能帶有歧視、偏見、甚至對他人或社會造成危害。利用生成式大模型生成的作品可能包含一些偽造的內容，被用于詐騙與釣魚攻擊，也可能侵犯他人肖像權、隱私權、名譽權，假如生成虛假新聞則可

68、能引發更加復雜的社會問題。AIGC 用到的語料和生成的內容可能涉及侵犯知識產權方面的問題，也可能泄露隱私和敏感數據。3、人工智能武器研發可能引發國際軍備競賽將發展人工智能列入國家戰略已成為很多國家的共識。在美國確定將發展人工智能技術作為其核心戰略之后，很多國家紛紛效仿，努力實現從開發到應用的跨越式進步，一場人工智能技術軍事化應用的競賽激烈展開。這些積極發展人工智能武器的國家大多以鞏固國家安全為借口或目標。早在 2016 年，美國已就人工智能對國家安全問題的影響發布了多個白皮書，從國家軍事部門到武器開發商，都在為打贏未來戰爭積極準備。進入 2018 年，美國為人工智能武器化發展做了更加頻繁的實質

69、性推進工作，包括但不限于：使無人機逐步具有自主作戰能力，將人從軍事決策中解放出來、使人工智能武器的定位功能擺脫對衛星定位系統的 2023 云安全聯盟大中華區版權所有37依賴；自動射擊機器人等智能武器；謀劃在未來戰爭中打造出完全自主化的智能武器，以算法精準的智能武器打造美軍的戰場制勝能力；計劃運用人工智能技術有效提升戰場軍人的體能素質和作戰能力，打造形成鋼筋鐵骨的“人機”部隊，強化美軍的戰爭能力。因人工智能系統失誤而引發的安全事故、人工智能武器研發可能引發國際軍備競賽這兩類屬于實際發生的人工智能衍生安全問題，隨著人工智能的廣泛應用和快速發展，人們深深擔憂人工智能未來可能會失控，會帶來更多的衍生安

70、全問題，AI 內生安全問題的發展將會會導致 AI 衍生安全問題的多樣化。3 AI 安全的生態安全的生態3.1AI 安全的監管生態安全的監管生態3.1.1法律法規法律法規美國白宮 2023 年 10 月 30 日發布拜登簽署的關于安全、可靠和可信的 AI 行政命令，以確保美國在把握 AI 的前景和管理其風險方面處于領先地位。作為美政府負責任創新綜合戰略的一部分，該行政令以美國總統之前采取的行動為基礎，包括促使 15 家領軍企業自愿承諾推動安全、可靠和可信的 AI 發展的工作。該行政令包含 8 個目標：（1）建立 AI 安全的新標準；（2）保護美國民眾的隱私；（3）促進公平和公民權利；（4）維護消

71、費者、病患和學生的權益；2023 云安全聯盟大中華區版權所有38（5）支持勞動者；（6）促進創新和競爭；（7）提升美國在海外的領導力；（8）確保美國政府負責任且有效地使用 AI。美國 2020 年國家人工智能倡議法案（National AI Initiative Act of 2020）頒布于 2021 年 1 月，旨在強化和協調各聯邦機構之間的人工智能研發活動，確保美國在全球人工智能技術領域的領先地位。2020 年國家 AI 倡議法案通過將美國 AI 計劃編入法典以幫助增加研究投資、改善計算和數據資源的獲取、設置技術標準、建立勞動力系統并跟盟友展開合作。其中關鍵措施有：設立國家人工智能倡議辦

72、公室，屬于白宮科技政策辦公室，承擔監督和實施美國國家人工智能戰略等職責。設立國家人工智能咨詢委員會，委員會應由商務部部長任命，代表廣泛跨學科的學術機構、私營企業、非盈利機構等，并就人工智能相關事項向總統和國家人工智能辦公警示提供建議，幫助美國保持在人工智能領域的領導地位。加大人工智能研發投入，命令聯邦機構在其研發任務中優先考慮人工智能投資的方式，保持美國對高回報、基礎性人工智能研發的長期且強有力的重視。開放人工智能資源，要求相關機構將聯邦數據、模型向美國人工智能和計算資源研發專家、研究人員和產業開放，增強公眾對人工智能技術的信任,提高這些資源對人工智能研發專家的價值,同時確保 2023 云安全

73、聯盟大中華區版權所有39數據安全、保護公民自由與隱私權又不失機密性。設定人工智能治理標準。聯邦機構將通過建立適用于不同領域的技術工業部門的人工智能發展指南來增強公眾對人工智能系統的信任，幫助聯邦監管機構制定一套人工智能技術的治理方法。該倡議還要求美國國家標準與技術研究所領導制定人工智能系統的適當技術標準，使其可靠、安全、便捷、可互操作。依據此法案，美國白宮科學技術政策辦公室（OSTP）宣布成立國家人工智能倡議辦公室和國家人工智能咨詢委員會，并建立或指定一個機構間委員會，以更健全完備的組織機構推動“國家人工智能計劃”實施。該法案顯示了兩黨對美國政府在 AI 領域長期努力的大力支持，并將美國政府現

74、有的許多 AI 政策和舉措編入法律并加以擴展。例如，將美國 AI 計劃確立的 5 項關鍵任務（加大人工智能研發投入、開放人工智能資源、設定人工智能治理標準、培養人工智能勞動力，以及國際協作和保護美國人工智能優勢）納入法律，擴大 2018年成立的人工智能專責委員會并使其成為常設機構，承認 2020 年成立的國家AI 研究所的合法地位，規定要對 2019 年發布的國家 AI 研發戰略規劃進行定期更新，將白宮 2019 年指導的關鍵 AI 技術標準活動擴展至包括 AI 風險評估框架等。美 國人工智能權利法案藍圖美 國人工智能權利法案藍圖2022 年 10 月美國白宮科技政策辦公室發布了人工智能權利法

75、案藍圖：讓自動化系統為美國人民服務。該文件目的是支持制定政策，在自動化系統的建設、部署和治理中保護公民的權利和促進民主價值。核心內容如下：安全和有效的系統。自動化系統應該通過咨詢不同的社區、利益相關者和領域專家，以確定系統的關注點、風險和潛在影響。2023 云安全聯盟大中華區版權所有40算法歧視的保護。系統應該以公平的方式使用和設計，當自動化系統導致人們因其種族、膚色、民族、性別（包括懷孕、性別認同等）、宗教、年齡、國籍、殘疾、退伍軍人身份或其他任何法律保護的分類而受到不合理的待遇或影響時，就會發生算法歧視。數據隱私保護。系統應該通過內置的保護措施，以免受到濫用數據行為的影響，而且應該確保用戶

76、應該對關于自己數據的使用方式擁有自主權。自動系統的設計者、開發者和部署者應該以適當的方式并在最大程度上獲取用戶的同意，并且尊重用戶關于收集、使用、訪問、轉移和刪除用戶數據的決定。告知和解釋。自動化系統的設計者、開發者和部署者應該提供可訪問的通俗語言文件，包括對整個系統功能和自動化所起作用的清晰描述，關于這些系統使用的告知，負責該系統的個人或組織，應當對結果給出清晰、及時和可訪問的解釋。歐 洲歐 洲歐洲擬議的人工智能法主要側重于加強圍繞數據質量、透明度、人類監督和責任的規則。它還旨在解決從醫療和教育到金融和能源等各個領域的道德問題和實施挑戰。人工智能法的基礎是一個分類系統，用來明確人工智能技術可

77、能對個體的健康和安全或基本權利構成的風險水平。該框架包括四個風險等級：不可接受的、高的、有限的和最低的。具有有限和最低風險的人工智能系統，如垃圾郵件過濾器或視頻游戲等是允許使用的，除了透明度義務外，沒有什么要求。而如政府的社會評分和公共場所的實時生物識別系統會被認為構成不可接受的風險的系統，禁止使用且幾乎沒有例外。高風險的人工智能系統是被允許的，但開發者和使用者必須遵守規定，要進行嚴格的測試，對數據質量進行適當的記錄，并制定詳 2023 云安全聯盟大中華區版權所有41細的人類監督問責框架。被視為高風險的人工智能包括自動駕駛汽車、醫療設備和關鍵基礎設施機械，以上僅為枚舉。擬議的法案還概述了圍繞所

78、謂的通用人工智能的規定，這些人工智能系統可用于不同的目的，具有不同程度的風險。此類技術包括，例如，像 ChatGPT 這樣的大型語言模型生成型人工智能系統。人工智能法提出了嚴厲的違規處罰措施。對于公司來說，罰款可高達 3000 萬歐元或全球收入的 6%。向監管機構提交虛假或誤導性文件也會導致罰款。歐 盟歐 盟 GDPR 法規法規歐盟通用數據保護監管法（GDPR）是為個人的數據在處理和數據流動方面提供保護。該監管法于 2016 年 5 月 24 日生效，并于 2018 年 5 月 25日開始在歐盟所有成員國都具有約束力并直接適用。GDPR 要求從事個人數據處理的所有人必須遵守其規定，并賦予個人數

79、據正在處理的個人一些重要的權利。參與個人數據處理的自然人和法人，包括公司和政府機構，都被要求按照 GDPR 行事。潛在的不合規行為可能導致高額罰金，并導致法院訴訟和名譽損害的后果。GDPR 適用于在歐盟設立的參與個人數據處理的自然人和法人。但是，對于位于歐盟以外國家的公司、機構和個人，當他們處理歐盟公民或居民的個人數據時，他們須按照 GDPR 開展活動。該法案重點保護的是自然人的“個人數據”，號稱史上最嚴的數據保護法案。根據該法案規定的“市場地原則”，只要數據的收集方、數據的提供方（被收集數據的用戶）和數據的處理方（比如第三方數據處理機構）這三方之中，有任何一方是歐盟公民或法人，就將受到該法案

80、管轄。這就是說，任何企業只要是在歐盟市場提供商品或服務，或者收集歐盟公民的個人數據，都將受到這部法律的管轄。對于違法企業的罰金，最高可達 2000 萬歐元（約合 1.5 億元人民幣）或者其全球營業額的 4%，以這二者中高者為準。中 國中 國 2023 云安全聯盟大中華區版權所有42中國在第三屆“一帶一路”國際合作高峰論壇提出了全球人工智能治理倡議互 聯網信息服務算法推薦管 理規定互 聯網信息服務算法推薦管 理規定近年來，隨著中國網絡安全法、數據安全法、個人信息保護法等相關法律的不斷完善，人民群眾對于個人信息、數據安全以及網絡安全不斷重視。黨中央在法治社會建設實施綱要（2020-2025 年）明

81、確提出制定完善對算法推薦等新技術應用的規范管理辦法。2021 年九部委出臺關于加強互聯網信息服務算法綜合治理的指導意見，為互聯網信息服務算法推薦管理規定（以下簡稱“規定”）的制定奠定了良好的法制基礎。中國國家互聯網信息辦公室、工業和信息化部、公安部、國家市場監督管理總局聯合發布互聯網信息服務算法推薦管理規定（以下簡稱規定），自 2022 年 3 月 1 日起施行。規定明確，應用算法推薦技術，是指利用生成合成類、個性化推送類、排序精選類、檢索過濾類、調度決策類等算法技術向用戶提供信息。規定明確了算法推薦服務提供者的信息服務規范，要求算法推薦服務提供者應當建立健全用戶注冊、信息發布審核、數據安全和

82、個人信息保護、安全事件應急處置等管理制度和技術措施，定期審核、評估、驗證算法機制機理、模型、數據和應用結果等；建立健全用于識別違法和不良信息的特征庫，發現違法和不良信息的，應當采取相應的處置措施；加強用戶模型和用戶標簽管理，完善記入用戶模型的興趣點規則和用戶標簽管理規則；加強算法推薦服務版面頁面生態管理，建立完善人工干預和用戶自主選擇機制，在重點環節積極呈現符合主流價值導向的信息；規范開展互聯網新聞信息服務，不得生成合成虛假新聞信息或者傳播非國家規定范圍 2023 云安全聯盟大中華區版權所有43內的單位發布的新聞信息；不得利用算法實施影響網絡輿論、規避監督管理以及壟斷和不正當競爭行為。規定要求

83、，具有輿論屬性或者社會動員能力的算法推薦服務提供者應當在提供服務之日起十個工作日內通過互聯網信息服務算法備案系統填報備案信息，履行備案手續；備案信息發生變更的，應當在規定時間內辦理變更手續。算法推薦服務提供者應當依法留存網絡日志，配合有關部門開展安全評估和監督檢查工作，并提供必要的技術、數據等支持和協助?；ヂ摼W彈窗信息服務管理規定中國國家互聯網信息辦公室于 2022 年 9 月 9 日，互聯網彈窗信息推送服務管理規定（以下簡稱“規定”）正式發布，已于 2022 年 9 月30 日正式施行。規定總共十條，條文簡短，影響重大。規定明確了提供信息彈窗的介質包括操作系統、應用軟件和網站，這也糾正了部分

84、人的認知誤區，規定的主要適用主體和監管對象不僅是 PC 端桌面和網站彈窗，還包括移動 APP、小程序、電腦軟件等各種應用軟件。這對企業來說，尤其要注意，以各種操作系統或硬件類型（例如智能穿戴設備、智慧電視等）為載體的應用軟件，通過所有對外接口進行的彈窗信息，均應當符合規定的要求。其中，規定第三條明確互聯網彈窗信息推送服務應當遵守的法律法規明確為“憲法、法律和行政法規”。事實上，隨著近兩年互聯網行業法律法規的不斷出臺，與互聯網彈窗廣告、信息內容安全和用戶權益保護相關的上位法體系已比較完善，此類調整給監管實務與企業合規治理過程中，提供了更加清晰的合規指向。規定第五條第五款：提供互聯網彈窗信息推送服

85、務的，應當健全彈窗信息推送內容管理規范，完善信息篩選、編輯、推送等工作流程，配備與服務規模相適應的審核力量，加強彈窗信息內容審核。2023 云安全聯盟大中華區版權所有44美國人工智能監管側重于人工智能反對歧視欺詐濫用，立法關注應對人工智能帶來的危害，敦促企業遵守相關法律法規。歐洲人工智能監管側重于可審計可理解，要求于人類交互的人工智能系統需要符合透明度規則，對于情感識別系統或者生物分類系統，系統提供者應將系統的運營情況和結果告知使用者，高風險類型的人工智能在上市前，需要進行風險評估。中國人工智能監管側重于明確標準具體指導，明確人工智能算法推薦服務者的主體責任，定期對算法進行審核、評估和驗證，并

86、要求算法推薦服務 i 提供者加強算法規則的透明度和解釋性。3.1.2行業標準行業標準隨著人工智能 AI 技術的快速發展，各行業專家希望通過 AI 來加速本行業信息技術與業務能力的建設，但與此同時安全性保障也開始被大家關注起來。本部分主要介紹 AI 安全相關的行業標準。由于標準的起草與發布又很很強的時效性，也必定會不斷完善，所以截止本文撰稿期間收集到的標準匯總如下，并在后續章節中針對以下各行業各標準做出介紹。汽車行業：ISO/AWI PAS 8800 Road Vehicles Safety and artificial intelligence通信行業：YD/T 4044-2022 基于人工智

87、能的知識圖譜構建技術要求醫療行業：2023 云安全聯盟大中華區版權所有45YD/T 4043-2022 基于人工智能的多中心醫療數據協同分析平臺參考架構IEEE 2801-2022 IEEE Recommended Practice for the Quality Management ofDatasets for Medical Artificial Intelligence金融行業：JR/T 0221-2021 人工智能算法金融應用評價規范3.1.2.13.1.2.1汽車行業汽車行業(一)ISO/AWI PAS 8800 Road Vehicles Safety and artificia

88、l intelligence2022 年 9 月 20 日，國際標準 ISO/PAS 8800（Road Vehicles Safety andArtificial Intelligence道路車輛-人工智能 AI 安全）形成工作組草案并啟動國際范圍內的公開征集意見。中國作為該標準第 9 小組（AI 運行監控和持續安全保障）牽頭方深度參與研究制定工作。ISO/PAS 8800 是 ISO/TC22/SC32/WG14 道路車輛人工智能 AI 安全工作組的首個國際標準，自動駕駛領域核心的 AI 安全技術受到國際廣泛關注，來自中國、美國、德國、英國、奧地利、日本、韓國等 17 個國家的專家參與起草

89、工作。由中汽中心、一汽、華為、商湯、地平線組成的中國專家代表團作為該標準第 9小組（AI 運行監控和持續安全保障）牽頭方參與研究制定工作。表 1 國際標準內容SubteamNameSubteam 01Concepts andDefinitions 2023 云安全聯盟大中華區版權所有46Subteam 02ScopingSubteam 03FunctionalSafety and SOTIFSubteam 04SafetyLifecycleSubteam 05Definitionof safety-related properties of AI functionsSubteam 06Sele

90、ction ofAI techniques and design relatedconsiderationsSubteam 07Data-relatedpropertiesSubteam 08Evaluatingthe performance/V&VSubteam 09Measuresduring operation and continuous assurance該標準融合了功能安全ISO 26262、預期功能安全(SOTIF)ISO 21448、ISO/IEC TR5469 人工智能 AI 功能安全、ISO TS 5083 自動駕駛系統安全，對車輛 AI 系統提出了安全要求，涵蓋 AI 安

91、全屬性定義、AI 技術選擇和設計、數據定義和挑選、AI安全措施、AI 安全性能評價、AI 驗證和確認 V&V、運行監控和 AI 安全保障等關鍵內容，以避免不合理的風險。該標準定義了影響道路車輛環境中人工智能（AI）性能不足和故障行為的安全相關特性和風險因素。描述了一個處理開發和部署生命周期所有階段的框架。這包括對功能的適當安全要求，與數據質量和完整性相關的考慮因素，控制和緩解故障的架構措施，用于支持人工智能的工具，驗證和驗證技術，以及支持系統整體安全要求的依據。中國牽頭負責的第 9 組-AI 運行監控和持續安全保障，重點關注基于目標市 2023 云安全聯盟大中華區版權所有47場的 AI 安全運

92、行監控措施定義、車端和云端量化安全監控機制開發、現場數據搜集、AI 重訓和技術完善等內容。3.1.2.23.1.2.2通信行業通信行業(一)YD/T 4044-2022基于人工智能的知識圖譜構建技術要求基于人工智能的知識圖譜構建技術要求該標準規定了基于人工智能的知識圖譜系統構建的技術要求、基本功能要求、非功能要求，用于規范基于人工智能的知識圖譜的框架構建流程?？梢詾榭萍计髽I、用戶機構、第三方機構等提供指導，包括對基于人工智能的知識圖譜系統進行設計、開發、測試等內容。在該標準的 8.6 章節 安全性要求部分對基于人工智能的知識圖譜系統的安全性提出要求，主要關注在外部安全標準參考（例如 GB/T

93、222392019 和 GB/T352732020），敏感數據傳輸相關的訪問控制要求，數據傳輸實體限制要求，數據機密性、完整性、可用性要求，數據權限要求等。3.1.2.33.1.2.3醫療行業醫療行業(一)YD/T 4043-2022基于人基于人工智能的多中心醫療數據協同分析平臺參考架構工智能的多中心醫療數據協同分析平臺參考架構該標準件規定了構建多中心醫學數據協同分析平臺的參考構架，包括系統架構、數據存儲、數據標準化、數據分析原則、平臺特性、功能需求和安全性等。主要為多中心醫療數據協同分析平臺的軟件、硬件和網絡構架提供指導。該標準安全部分要求主要包含兩部分內容，在 4.2 章節數據隔離性部分提

94、出各數據落地要求、數據服務器單點避免要求、以及醫療標準參考要求。并在 4.10章節安全性部分提出數據高安全性要求、保證原始數據與業務數據安全要求，以及系統安全標準符合要求。2023 云安全聯盟大中華區版權所有483.1.2.43.1.2.4金融行業金融行業(一)JR/T 0221-2021人工智能算法金融應用評價規范人工智能算法金融應用評價規范2021 年 3 月 26 日，中國人民銀行正式發布金融行業標準（JR/T 02212021）人工智能算法金融應用評價規范。該標準從安全性、可解釋性、精準性和性能等方面建立了人工智能算法金融應用評價框架，明確了智能算法應用的基本要求、評價方法、判定準則，

95、為金融機構加強智能算法應用風險管理提供指引。該標準的發布旨在引導金融機構加強對人工智能算法金融應用的規范管理和風險防范，加快金融數字化轉型步伐，持續推動金融服務更為貼心、更加智慧、更有溫度，打造數字經濟時代金融創新發展新引擎。該標準由全國金融標準化技術委員會歸口管理，由中國人民銀行科技司提出并負責起草，行業內有關單位共同參與。該標準的第 6 章節 安全性評價部分針對目標函數、常見攻擊范圍、算法依賴庫、算法可追溯性、算法內控等內容提供了基本要求、評價方法與判定準則的指導。3.1.2.53.1.2.5國內標準國內標準AI 安全基礎標準：1)我國首個人工智能安全國家標準：信安標委信安標委 TC260

96、 信息安全技術 機器學習算法安全評估規范（報批稿），規定了機器學習算法技術在生存周期各階段的安全要求，以及應用機器學習算法技術提供服務時的安全要求，并給出了對應評估 2023 云安全聯盟大中華區版權所有49方法。信息安全技術 人工智能計算平臺安全框架國家標準（征求意見稿），規范了人工智能計算平臺安全功能、安全機制、安全模塊以及服務接口，指導人工智能計算平臺設計與實現。信息安全技術 生成式人工智能預訓練和優化訓練數據安全規范在研階段。2)信標委信標委 TC28/SC42，人工智能 管理體系在研階段，人工智能 深度學習框架多硬件平臺適配技術規范在研階段。3)中國電子工業標準化技術協會（中國電子工業

97、標準化技術協會（CESA）信息技術 人工智能 風險管理能力評估已發布。4)中國人工智能產業發展聯盟（中國人工智能產業發展聯盟（AIIA）可信人工智能 組織治理能力成熟度模型 在研階段，大規模預訓練模型技術和應用評估方法 第 5 部分：安全可信在研階段。表 2 AI 安全基礎標準負責負責/歸口標準類型標準編號標準名稱階段歸口標準類型標準編號標準名稱階段全國信安標委（TC 260）國家標準20211000-T-469信息安全技術 機器學習算法安全評估規范報批稿全國信安標委（TC 260）國家標準20230249-T-469信息安全技術 人工智能計算平臺安全框架征求意見稿全國信安標委（TC 260）

98、國家標準-信息安全技術 生成式人工智能預訓練和優化訓在研 2023 云安全聯盟大中華區版權所有50練數據安全規范全國信標委人工智能分委會（TC28/SC42）國家標準20221791-T-469人工智能 管理體系在研全國信標委人工智能分委會（TC28/SC42）國家標準20221795-T-469人工智能 深度學習框架多硬件平臺適配技術規范在研中國電子工業標準化技術協會（CESA）團體標準T/CESA 1193-2022信息技術 人工智能 風險管理能力評估已發布中國人工智能產業發展聯盟（AIIA）-可信人工智能 組織治理能力成熟度模型在研中國人工智能產業發展聯盟（AIIA）-大規模預訓練模型技

99、術和應用評估方法 第 5部分：安全可信在研 2023 云安全聯盟大中華區版權所有51AI 應用相關安全標準：1)全國信安標委（全國信安標委（TC 260）在生物特征識別方向，發布了 GB/T 406602021信息安全技術 生物特征識別信息保護基本要求，以及人臉、聲紋、基因、步態等 4 項數據安全國家標準。在智能汽車方向，發布了國家標準 GB/T 418712022信息安全技術 汽車數據處理安全要求，有效支撐汽車數據安全管理若干規定（試行），提升了智能汽車相關企業的數據安全水平。2)全國信標委生物特征識別分委會（全國信標委生物特征識別分委會（TC 28/SC37）發布了信息技術 生物特征識別呈

100、現攻擊檢測、信息技術 生物特征識別 人臉識別系統應用要求 等標準。3)中國通信標準化協會中國通信標準化協會 CCSA 在生物識別、人工智 能終端、人工智能服務平臺、數據安全保護等領域開展了數據安全相關標準化工作。在人工智能終端領域，開展人工智能終端產品 個人信息保護要求和評估方法與人工智能終端設備安全環境技術要求 標準研制，對人工智能終端的個人信息保護與終端設備環境的安全能力提出要求。在人工智能服務平臺領域，開展人工智能服務平臺數據安全要求標準研制，對人工智能服務端的數據安全管理與評估提出要求。4)上海市市監局，人工智能數據通用安全要求（征求意見稿）、人臉識別分級分類應用標準（草案）。5)中國

101、電子工業標準化技術協會（CESA）信息安全技術 人臉比對模型安全技術規范已發布。6)新一代人工智能產業技術創新戰略聯盟（AITISA）發布了人工智能視覺隱私保護 第 1 部分：通用技術要求、生物特征識別服務中的隱私保護技術指南、生物特征模板的安全使用要求等標準，信息技術 數字視網膜系統 第 11部分：安全與隱私保護在草案階段。2023 云安全聯盟大中華區版權所有52表 3 AI 應用安全相關標準負責負責/歸口標準類型標準編號標準名稱階段歸口標準類型標準編號標準名稱階段全國信安標委（TC 260）國家標準GB/T 38542-2020信息安全技術 基于生物特征識別的移動智能終端身份鑒別技術框架發

102、布全國信安標委（TC 260）國家標準GB/T 38671-2020信息安全技術 遠程人臉識別系統技術要求發布全國信安標委（TC 260）國家標準GB/T 40660-2021信息安全技術 生物特征識別信息保護基本要求發布全國信安標委（TC 260）國家標準GB/T 41819-2022信息安全技術 人臉識別數據安全要求發布全國信安標委（TC 260）國家標準GB/T 41807-2022信息安全技術 聲紋識別數據安全要求發布全國信安標委（TC 260）國家標準GB/T 41806-2022信息安全技術 基因識別數據安全要求發布全國信安標委（TC 260）國家標準GB/T 41773-2022

103、信息安全技術 步態識別數據安全要求發布 2023 云安全聯盟大中華區版權所有53全國信安標委（TC 260）國家標準GB/T 41871-2022信息安全技術 汽車數據處理安全要求發布全國信安標委（TC 260）國家標準20230253-T-469信息安全技術 基于個人信息的自動化決策安全要求在研全國信標委生物特征識別分委會(TC28/SC37)國家標準GB/T 41815.1-2022信息技術 生物特征識別呈現攻擊檢測 第 1 部分：框架發布全國信標委生物特征識別分委會(TC 28/SC37)國家標準GB/T 41815.2-202信息技術 生物特征識別呈現攻擊檢測 第 2 部分：數據格式發

104、布全國信標委生物特征識別分委會(TC 28/SC37)國家標準GB/T 41815.3-2023信息技術 生物特征識別呈現攻擊檢測 第 3 部分：測試與報告發布全國信標委生物特征識別分委會國家標準GB/T 37036.3-2019信息技術 移動設備生物特征識別 第 3 部分：人臉發布 2023 云安全聯盟大中華區版權所有54（TC 28/SC37）全國信標委生物特征識別分委會(TC 28/SC37)國家標準GB/T 37036.8-2022信息技術 移動設備生物特征識別 第 8 部分：呈現攻擊檢測發布全國信標委生物特征識別分委會(TC 28/SC37)國家標準GB/T 5271.37-2021

105、信息技術 詞匯 第37 部分：生物特征識別發布全國信標委生物特征識別分委會(TC 28/SC37）國家標準20221220-T-469信息技術 生物特征識別人臉識別系統應用要求在研中國通信標準化協會（CCSA）行業標準YD/T 4087-2022移動智能終端人臉識別安全技術要求及測試評估方法發布中國通信標準化協會（CCSA）行業標準2023-0041TYD人工智能開發平臺通用能力要求 第 2 部分：安全要求在研中國通信標準行業標準2023-0039TYD面向人臉識別系統的人臉在研 2023 云安全聯盟大中華區版權所有55化協會（CCSA）信息保護基礎能力要求中國通信標準化協會（CCSA）行業標

106、準-人臉識別線下支付安全要求草案中國通信標準化協會（CCSA）行業標準2021-0630TYD電信網和互聯網人臉識別數據安全檢測要求在研上海市市監局地方標準-人工智能數據通用安全要求征求意見稿上海市市監局地方標準-人臉識別分級分類應用標準草案中國電子工業標準化技術協會（CESA）團體標準T/CESA 1124-2020信息安全技術 人臉比對模型安全技術規范發布新一代人工智能產業技術創新戰略聯盟（AITISA）團體標準T/AI 110.1-2020人工智能視覺隱私保護 第1 部分：通用技術要求發布新一代人工智能產業技術創新戰略聯盟團體標準T/AI 110.2-2022人工智能視覺隱私保護 第2

107、部分：技術應用指南發布 2023 云安全聯盟大中華區版權所有56（AITISA）新一代人工智能產業技術創新戰略聯盟（AITISA）團體標準T/AI 113-2021生物特征識別服務中的隱私保護技術指南發布新一代人工智能產業技術創新戰略聯盟（AITISA）團體標準T/AI 111-2020生物特征模板的安全使用要求發布新一代人工智能產業技術創新戰略聯盟（AITISA）團體標準2023011205信息技術 數字視網膜系統第 11 部分：安全與隱私保護草案(2)國際標準國際標準組織（國際標準組織（ISO）在人工智能領域已開展大量標準化工作，并專門成立了 ISO/IEC JTC1 SC42 人工智能分

108、技術委員會。目前，與人工智能安全相關的國際標準及文件主要為基礎概念與技術框架類通用標準，在內容上集中在人工智能管理、可信性、安全與隱私保護人工智能管理、可信性、安全與隱私保護三個方面。1）在人工智能管理方面）在人工智能管理方面，國際標準主要研究人工智能數據的治理、人工智能系統全生命周期管理、人工智能安全風險管理等，并對相應的方面提出建議，相關標準包括 ISO/IEC 38507:2022信息技術治理 組織使用人工智能的治理影響、ISO/IEC 23894:2023人工智能 風險管理等。2023 云安全聯盟大中華區版權所有572）在可信性方面）在可信性方面，國際標準主要關注人工智能的透明度、可解

109、釋性、健壯性與可控性等方面，指出人工智能系統的技術脆弱性因素及部分緩解措施，相關標準包括 ISO/IEC TR 24028:2020人工智能 人工智能中可信賴性概述等。3）在安全與隱私保護方面）在安全與隱私保護方面，國際標準主要聚焦于人工智能的系統安全、功能安全、隱私保護等問題，幫助相關組織更好地識別并緩解人工智能系統中的安全威脅，相關標準包括 ISO/IEC 27090人工智能 解決人工智能系統中安全威脅和故障的指南、ISO/IEC TR 5469 人工智能 功能安全與人工智能系統、ISO/IEC27091人工智能 隱私保護等。歐洲歐洲電信標準化協會（歐洲歐洲電信標準化協會（ETSI）近期關

110、注的重點議題包括人工智能數據安全、完整性和隱私性、透明性、可解釋性、倫理與濫用、偏見緩解等方面，已發布多份人工智能安全研究報告，包括 ETSI GR SAI 004人工智能安全：問題陳述、ETSI GR SAI 005人工智能安全：緩解策略報告等，描述了以人工智能為基礎的系統安全問題挑戰，并提出了一系列緩解措施與指南。歐洲標準化委員會（歐洲標準化委員會（CEN）、歐洲電工標準化委員會（）、歐洲電工標準化委員會（CENELEC）成立了新的CEN-CENELEC 聯合技術委員會 JTC 21“人工智能”，并在人工智能的風險管理、透明性、健壯性、安全性等多個方面提出了標準需求。美國美國國家標準與技術

111、研究院（美國美國國家標準與技術研究院（NIST）關注人工智能安全的可信任、可解釋等問題。最新的標準項目有：NIST SP1270建立識別和管理人工智能偏差的標準，提出了用于識別和管理人工智能偏見的技術指南；NIST IR-8312可解釋人工智能的四大原則草案，提出了可解釋人工智能的四項原則；NIST IR-8332信任和人工智能草案，研究了人工智能應用安全風險與用戶對人工智能的信任之間 2023 云安全聯盟大中華區版權所有58的關系；NIST AI 100-1人工智能風險管理框架，旨在為人工智能系統設計、開發、部署和使用提供指南。3.1.3國際共識國際共識2017 年 1 月，在加利福尼亞州阿

112、西洛馬舉行的 Beneficial AI 會議上，近干名人工智能和機器人領域的專家,聯合簽署了阿西洛馬人工智能 23 條原則，呼吁全世界在發展人工智能的同時嚴格遵守這些原則,共同保障人類未來的倫理、利益和安全。阿西洛馬人工智能原則(Asilomar AI Principles)是著名的阿西莫夫的機器人三大法則的擴展版本。原則目前共 23 項，分為三大類，分別為：科研問題（Research Issues）、倫理和價值（Ethics and values）、長期問題（Longer-term Issues）?？蒲袉栴}主要包括研究問題、研究經費、科學與政策的聯系、科研文化和避免戰爭；倫理與價值主要包括

113、安全性、故障透明性、司法透明性、責任、價值歸屬、人類價值觀、個人隱私、自由和隱私、分享利益、共同繁榮、人類控制、非顛覆和 AI 軍備競賽；長期問題包括能力警惕、重要性、風險、遞歸的自我提升和公共利益。其中與安全相關的包括第六條安全性、第七條故障透明性、第十二條個人隱私、第十三條自由和隱私、第二十一條風險、第二十二條遞歸的自我提升。2023 云安全聯盟大中華區版權所有593.2AI 安全的技術生態安全的技術生態3.2.1AI 環境的安全環境的安全3.2.1.13.2.1.1AI 環境安全的分類環境安全的分類作為 AI 安全的技術生態的基礎，AI 環境生態的安全是整個 AI 安全的實施基礎。概覽而

114、言，我們將 AI 環境生態分為 2 個大的方面：1）AI 環境的干系人（相關方）環境的干系人（相關方）AI 環境的干系人，主要有如下的幾類：A）政府機構：負責制定相關政策、法規和，確保 AI 環境的安全和可持續發展；2023 云安全聯盟大中華區版權所有60B）AI 開發和研究者：遵守道德準則和倫理規范，確保 AI 系統的安全性和可控性。C）用戶和企業：加強對 AI 系統的安全意識和風險認知，采取相應的安全措施來保護自身和企業的利益。在本文中，我們將重點關注 AI 的相關方的安全生態。2）AI 環境的安全技術支持環境的安全技術支持AI 環境中的安全技術主要包括：A）數據安全數據安全是確保 AI

115、系統所使用的數據的保密性、完整性和可用性。這包括對數據進行加密、訪問控制、備份和恢復等措施，以防止未經授權的訪問、數據泄露或數據損壞。B）算法安全算法安全關注的是 AI 系統所使用的算法的安全性。這包括對算法進行安全審計、漏洞分析和修復，以確保算法的正確性、魯棒性和防御性，防止算法被惡意攻擊者利用或操縱。C）模型安全模型安全是確保 AI 系統所使用的模型的安全性和可信度。這包括對模型進行魯棒性測試、模型解釋和可解釋性分析，以及對模型進行防御性設計，以減少模型受到對抗性攻擊的風險。D）應用安全 2023 云安全聯盟大中華區版權所有61應用安全關注的是 AI 系統的應用環境的安全性。這包括對 AI

116、 系統的部署和運行環境進行安全配置、訪問控制和監控，以防止未經授權的訪問、惡意攻擊或濫用。E）供應鏈安全供應鏈安全是確保 AI 系統的整個供應鏈過程中的安全性。這包括對 AI 系統或組件的開發、集成和部署過程進行安全審計和監控，以防止惡意代碼、惡意組件或惡意行為被引入到 AI 系統中。F）基礎架構安全基礎架構安全關注的是 AI 系統所依賴的基礎設施的安全性。這包括對網絡、服務器、存儲和通信等基礎設施進行安全配置、漏洞管理和監控，以保護 AI 系統的運行環境免受攻擊和威脅?？梢园鸦A架構安全簡化為：包括硬件、軟件安全、網絡安全三個部分。以上這些安全技術共同構成了保障 AI 環境安全的重要組成部分

117、，通過綜合應用這些技術，可以提高 AI 系統的安全性、可靠性和可信度，減少潛在的風險和威脅。3.2.1.23.2.1.2AI 環境安全的相關方生態環境安全的相關方生態AI 環境的相關方，除了政府機構、AI 開發者和研究者、AI 用戶和企業之外，也可以將其從環境提供和使用的角度，分為：云服務提供商、硬件供應商、軟件供應商、開源社區、研究機構、最終用戶。3.2.1.2.1 云服務提供商的安全生態云服務提供商的安全生態在人工智能（AI）的發展與應用日益深入的當下，安全問題凸顯為一個無法 2023 云安全聯盟大中華區版權所有62回避的關鍵議題。云服務提供商在推動 AI 技術的創新與應用的同時，必須提供

118、一套多維度的安全防護體系，包括數據安全、網絡安全、計算安全等，保障 AI應用在云平臺的全生命周期安全。從工具和應用角度上來看，云服務提供商應整合豐富的安全工具與產品，如防火墻等網絡安全工具、加密及掩碼等數據安全工具以及云原生的身份及訪問管理（IAM）等，滿足客戶多樣化的安全需求。此外，云服務提供商需要為 AI 應用提供自動化開發和運營能力，包括：開發并提供自動化的合規性檢查工具，以確保 AI 項目符合行業標準與法規要求；以及實施實時的合規性監控，確保 AI 應用在運行階段的持續合規；監控云環境中的安全事件，并在檢測到異常行為時觸發報警；依據預設的安全策略，自動執行相應的安全響應措施，例如隔離受

119、影響的系統、阻斷非法訪問等。云服務提供商在推進 AI 技術的廣泛應用的同時，必須重視 AI 安全問題。針對不同行業的特定需求，為 AI 客戶提供定制化的安全解決方案，以滿足各行業在數據保護、合規性等方面的特殊要求。與各類安全技術提供商建立合作關系，共同打造豐富的安全產品與服務體系，滿足客戶多樣化的安全需求。建立安全社區，加強與全球安全研究者、機構的交流與合作，共同推動云計算與 AI 安全領域的技術創新與進步。3.2.1.2.2 硬件供應商的安全生態硬件供應商的安全生態在構建 AI 安全環境中，硬件供應商的角色不僅限于提供傳統的基于硬件的 2023 云安全聯盟大中華區版權所有63網絡和數據安全工

120、具。他們還應增強以下關鍵安全能力：運行環境安全：運行環境安全：除了關注安全啟動外，硬件的運行環境安全還涉及到運行時的安全性。安全啟動包括檢驗固件和啟動配置的完整性和真實性，防止啟動過程中的篡改和攻擊；及硬件元件和連接接口的防篡改設計，以抵御物理攻擊和非法訪問。而運行時安全則包括確保硬件資源的訪問控制，阻止未授權的數據訪問和操作；以及監測硬件運行環境的溫度、濕度等因素，及時調整或警告，以防止環境因素導致的設備故障。計算安全：計算安全：對于 AI 的安全性，硬件供應商所提供的安全計算和模型保護能力尤為關鍵。這包括支持數據在加密狀態下的計算，以防止計算過程中的數據泄露；提供硬件加速方案，支持大規模安

121、全計算的高效執行；在存儲和調用模型時實施加密，防止模型的權重和結構被竊取或篡改；以及通過硬件的手段實現不同計算任務的物理隔離，以防止交叉攻擊。數據安全：數據安全：從數據的生成到其存儲、傳輸和使用，硬件供應商都應確保整個過程的加密保護，以確保數據的安全。同時，供應商應提供安全的存儲方案，例如使用硬件安全模塊（HSM）來存儲和保護密鑰等敏感信息。側信道攻擊利用硬件執行時間差異、功率消耗、電磁泄露等物理信息攻擊密碼系統，成為數據安全的一大風險。因此，硬件供應商應采用抗側信道攻擊的加密算法和實施物理層面的保護措施，例如電源噪聲抑制。此外，物理防護的硬件存儲單元和硬件級別的冗余備份機制可以確保數據的持久

122、性和可靠性。3.2.1.2.3 軟件供應商的安全生態軟件供應商的安全生態在 AI 安全的生態中，軟件供應商扮演著至關重要的角色。除了基本的安全操作系統等運行環境，以及對數據加密、隱私增強等安全技術的支持外，軟件供應商需要提供一系列綜合性的解決方案來確保 AI 系統的安全運行。2023 云安全聯盟大中華區版權所有64安全開發生命周期：安全開發生命周期：“安全左移”的理念已經成為業界共識。對于 AI 產品而言，同樣需要將安全深入融入到產品的開發生命周期中。軟件供應商應從源頭上減少安全風險，通過強化安全編碼規范和實施安全編碼培訓，確保開發團隊具備充足的安全意識和能力。定期并在重大迭代前進行代碼審計，

123、以便及早發現并修復潛在的安全問題，確保代碼在架構和實現層面的安全性。整合自動化安全測試工具和流程，持續監控代碼庫的安全狀況，及早發現并處理安全漏洞。在關鍵版本發布前進行滲透測試，確保產品具備足夠的安全防護能力，能夠抵御實際攻擊。安全運營和維護：安全運營和維護：軟件供應商需要確保其提供的軟件或產品的持續的安全性，并能夠及時響應各種安全事件和需求。構建實時的安全監控體系，對系統運行狀態進行 24/7 監控，及時發現并處理安全事件。引入智能的異常分析工具，及時發現非正常行為，并通過深度分析排查潛在安全威脅。此外，軟件供應商亦需要建立安全漏洞的快速響應機制，及時發布和推送安全補丁，降低安全風險的影響；

124、以及實施嚴格的版本控制和回滾機制，確保在發生安全事件時，能夠迅速恢復服務。安全賦能：安全賦能：為了構建一個更加安全的 AI 生態環境，軟件供應商需要將其在安全方面的專業知識和能力拓展到 AI 應用開發者社群中，從而強化整個生態的安全防護能力。包括：進行開發者教育、提供安全工具和安全 SDK、構建社區支持等。如此，軟件供應商不僅保證了自身產品的安全，還促進了整個 AI 生態的安全發展，降低了整個生態面臨的安全風險。3.2.1.2.4 開源社區的安全生態開源社區的安全生態開源社區在 AI 領域的貢獻顯著，并且大量的 AI 項目和框架都源于開源社區。然而，安全問題也在這些社區中呈現出一些獨特的挑戰。

125、由于開源項目通常依賴于社區貢獻者的輸入，代碼的質量和安全性可能會受到貢獻者經驗和知識的影響。而代碼和設計公開，惡意攻擊者則更容易找到和利用安全漏洞。此外，一些項目 2023 云安全聯盟大中華區版權所有65可能由于缺乏維護而存在安全風險。因此在開源社區實踐安全，為 AI 的安全發展具有重要意義。首先，應遵循和推廣最佳的安全實踐和標準，確保開源項目的安全性。再者，實施代碼審計，并使用自動化安全掃描工具，以提早發現潛在的安全問題。而后，建立一個清晰的安全漏洞報告和處理流程，以及一個獎勵系統來激勵找到漏洞的獨立安全研究者。最后建立和推廣一種安全文化，強調安全的重要性，并鼓勵社區成員參與到安全實踐中來。

126、3.2.1.2.5 研究機構的安全生態研究機構的安全生態研究機構在 AI 領域深入探討理論和實踐，而其安全生態同樣顯得至關重要。這些機構一方面需要構建安全的科研環境確保自身的研究方法、過程、成果得以受到保護，相對于應用層面，更需要加強科研人員在研究過程中的合規、倫理道德教育，以及安全意識。包括：設立倫理委員會，確保研究活動的合法性和道德性；定期進行合規性檢查，確保研究活動符合相關法規和標準；在數據收集、使用和共享中遵循數據倫理原則，保護數據主體的權益；為研究人員提供定期的安全培訓和教育，提高其安全意識和能力，鼓勵和推廣安全的研究實踐，建設積極的安全文化等。3.2.1.2.6 最終用戶的安全生態

127、最終用戶的安全生態最終用戶是 AI 生態中的關鍵參與者，他們的安全直接關系到整個生態的穩定和健康。除了技術上為終端用戶強化安全能力以及數據隱私保護，為最終用戶提供安全的用戶體驗，包括安全提示、默認的安全設置以及安全自動更新能力也至關重要。最終用戶應了解其數據使用方式，并能夠自主管理、刪除或遷移自己的數據。此外，教育用戶識別釣魚郵件、應用、網站等欺詐行為，增強他們的防范意識也是關鍵之一。最后，在用戶遭受攻擊后，各級供應商為用戶提供專門的安全支持通道，幫助他們迅速恢復。為了有效地保護最終用戶，除了技術手段，2023 云安全聯盟大中華區版權所有66還需要與用戶進行持續的交流和教育，讓他們具備基本的安

128、全意識和能力。同時，技術提供商和服務商也應該始終以用戶的安全和隱私為中心，持續地改進和優化其產品和服務。3.2.1.33.2.1.3AI 環境安全的提升建議環境安全的提升建議綜合上述提到的 AI 環境的安全生態。對于 AI 環境安全的工作，有如下一些建議：1）加強合作與信息共享政府機構、學術界和產業界應加強合作，共享關于 AI 安全的最佳實踐、威脅情報和技術研究成果。2）建立 AI 安全評估機制AI 的開發者、研究者、以及相應的 AI 企業應制定統一的 AI 安全評估標準和流程，對 AI 系統進行安全性評估和認證，確保其符合安全要求。3）培養 AI 安全專業人才政府機構和產業界都需要加強對 A

129、I 安全領域的人才培養，培養專業的 AI 安全工程師和研究人員，提高 AI 系統的安全性。4）定期更新和維護 AI 系統政府和企業對于 AI 系統應及時修復漏洞和更新安全補丁，保持 AI 系統的安全性和穩定性。5）建立應急響應機制具體實操方面，政府機構既要建立起社會層面的應急響應機制，積極應對 AI 2023 云安全聯盟大中華區版權所有67系統可能帶來的社會面信息失真或管控失效的風險，同時也要指導企業盡快建立起快速響應的機制，要求企業對于內部尤其是外部的 AI 應用系統應建立快速響應和處置機制，應對 AI 安全事件和威脅，減少損失和風險。3.2.2AI 數據的安全數據的安全3.2.2.13.2

130、.2.1AI 數據的安全威脅數據的安全威脅數據安全是 AI 數據安全的關鍵。數據的安全和質量影響著 AI 算法/模型的準確性，在機器學習的每個步驟中，都存在著隱私泄露的風險：1.數據收集階段：在數據收集階段，存在著身份證號、手機號等敏感個人信息數據被收集，會造成用戶隱私泄露；此外，通過 AI 分析關聯大規模收集到的數據，易造成額外隱私泄露。另外，由于數據收集、傳輸途徑的不可靠，攻擊者可能會注入一些惡意數據，導致數據投毒等攻擊。2.模型訓練和測試階段：一方面，訓練數據、計算資源等可能分屬于不同參與方，集中式訓練會導致訓練數據的泄露；另一方面，模型的中間參數被惡意獲取，導致反推出訓練數據。在這個階

131、段面臨的主要攻擊是模型反演攻擊。3.預測階段：預測模型一般是存儲在云服務器中，用戶希望計算自己的私有數據得到預測結果，存在著模型泄露與用戶私有數據泄露的風險；此外，終端用戶可以構造反向推理攻擊獲取訓練數據或模型數據，主要的攻擊包括模型成員推斷攻擊。2023 云安全聯盟大中華區版權所有68表 4 機器學習三個階段機器學習階段可能面臨的攻擊機器學習階段可能面臨的攻擊/安全風險安全風險數據收集/預處理階段數據投毒攻擊、個人敏感信息泄露訓練階段模型逆向攻擊、模型提取攻擊預測階段模型逆向攻擊、模型提取攻擊、成員推斷攻擊 數據投毒攻擊是指攻擊者修改一定數量的數據，使得模型訓練出錯。模型逆向攻擊是指攻擊者從

132、模型預測結果中提取和訓練數據有關的信息。模型提取攻擊是指攻擊者獲得對某個目標模型的黑盒訪問權后，取得模型內部的參數或結構，或是試圖構造出一個與目標模型近似甚至完全等價的機器學習模型。成員推斷攻擊是指攻擊者通過訪問模型預測 API，從預測結果中獲知某個特征數據是否包含在模型的訓練集中。3.2.2.23.2.2.2AI 數據的安全保護數據的安全保護面對上述 AI 數據的安全威脅，本小節主要梳理介紹面向 AI 數據的安全保護技術，而對于其他與數據相關，但會給 AI 算法、模型等帶來威脅的攻擊手段（如數據投毒、對抗樣本等）的防護技術將在其他相應章節中給出深入分析。（1）聯邦學習 2023 云安全聯盟大

133、中華區版權所有69聯邦學習是一種特殊的分布式機器學習框架，它僅通過交互模型中間參數（或加密參數）來完成在多方聯合訓練，可以保障每方的原始數據不出本地。一般是由多個客戶端和一個中央服務器組成，各個客戶端從中央服務器下載現有的訓練模型，利用自己的本地數據和計算資源對模型進行訓練，并將訓練后的模型參數加密上傳至中央服務器，經中央服務器聚合后產生新的模型參數。通過重復這個過程直至停止訓練。按照訓練數據在不同數據方之間的特征空間和樣本空間分布情況，將聯邦學習分為橫向聯邦 DC 學習、縱向聯邦學習以及遷移聯邦學習。橫向聯邦學習：本質上是樣本的聯合，適用于不同數據集之間，特征重合較多而樣本重合較少的情形。目

134、前橫向聯邦學習的典型框架是 FedAvg，典型應用包括面向手機/物聯網設備的下一單詞預測、人臉識別等，面向組織的多家銀行聯合風控信貸等?？v向聯邦學習：本質上是特征的聯合，適用于不同數據集之間，樣本重合較多而特征重合較少的情形，主要適用于面向組織的場景，如融合銀行、保險公司、政府等多方數據的營銷風控場景。遷移聯邦學習：適用于不同數據集之間，樣本和特征重合均較少的情形。如不同地區的銀行和電商間的聯合建模。開源框架目前業界中主要的聯邦學習開源框架有 FATE、PySyft、TensorFlow Federated、PaddleFL 等。FATE 是微眾銀行在 2019 年開源的一種工業級聯邦學習框架

135、，全面支持橫向聯邦學習、縱向聯邦學習及遷移聯邦學習，涵蓋了 LR、GBDT、CNN 等常見 2023 云安全聯盟大中華區版權所有70機器學習算法，覆蓋常規商業應用建模場景需求。此外，FATE 提供一站式聯邦模型解決方案，包括特征工程、離線訓練、在線預測等模塊。PySyft是由OpenMined提出的一種基于python的隱私保護深度學習框架，涵蓋了包括差分隱私、同態加密和多方安全計算等多種隱私保護機制。目前發布的版本僅支持橫向聯邦學習，支持 LR、DNN 等算法。TFF（TensorFlow Federated）是于 2019 年由谷歌發布的基于 Tensorflow首個大規模移動設備端聯邦學

136、習系統，旨在促進聯邦學習的開放性研究和實驗，其受眾主要是研究人員。聯邦學習類型方面，目前只支持橫向聯邦學習；模型方面，提供了 FedAvg,Fed-SGD 等聚合算法，同時也支持神經網絡和線性模型。在計算范式方面，TFF 支持單機模擬和移動設備訓練，不支持基于拓撲結構的分布式訓練；在隱私保護機制方面，TFF 采用差分隱私以保證數據安全。PaddleFL 是由百度發布的聯邦學習開源框架，由于其底層編程模型采用的是飛槳訓練框架，結合飛槳的參數服務器功能，其可以實現在 Kubernetes 集群中聯邦學習系統的部署。支持橫向聯邦和縱向聯邦，其中橫向聯邦學習主要涵蓋了 FedAvg、DP-SGD 等聚

137、合算法，縱向聯邦方面主要包括基于 PrivC 的邏輯回歸和基于 ABY3 協議的神經網絡。除了上述的幾款開源框架外，還有美國南加州大學等聯合研發的 FedML，英國牛津大學研發 Flower，字節跳動研發的 Fedlearner，阿里巴巴達摩院研發的FederatedScope 等開源框架。廠商聯邦學習主要集中在互聯網龍頭企業、初創公司以及運營商、金融科技等行業數據高度聚合的企業。從 2018 年起，騰訊、阿里、螞蟻、京東、百度、字節跳動等互聯網龍頭企業，富數科技、同盾等初創型科技企業，開展聯邦學習技術 2023 云安全聯盟大中華區版權所有71的戰略和應用，推動相關行業解決方案和項目。此外，中

138、國移動、微眾銀行、工商銀行、農業銀行、建設銀行、招商銀行、平安集團等行業數據高度聚合企業利用聯邦學習技術開展數據增值業務。騰訊研發的AngelFL聯邦學習平臺是構建在Angel智能學習平臺的基礎之上，是一種“無可信第三方”的聯邦學 習框架。整個系統以 Angel 的高維稀疏訓練平臺作為底層，抽象出“算法協議”層，供實現各種常見機器學習算法，支持邏輯回歸、GBDT 等算法。京東數字科技集團自主研發的 Fedlearn 聯邦學習平臺，融合了密碼學、機器學習、區塊鏈等聯邦學習算法，搭建出一套安全、智能、高效的鏈接平臺，在各機構數據不用向外傳輸的前提下，通過聯合多方機構數據，實現共同構建模型等多方數據

139、聯合使用場景，獲得加成效應。相較于傳統的數據共享交換方法，Fedlearn 平臺創新性地提出了并行 加密算法、異步計算框架、創新聯邦學習等技術架構，在保證數據安全的前提下提升學習效率，并逐步達到融合億級規模數據的能力。支持 FedAvg、DNN、線性模型、邏輯回歸及隨機森林等算法。平安科技研發的蜂巢聯邦智能平臺，是數據安全保護、企業數據孤島、數據壟斷、數據壁壘等問題的商用級解決方案。蜂巢充分支持了國密 SM2、國密SM4 以及混淆電路、差分隱私和同態加密等不同的加密方式,以滿足企業各個業務場景的不同需求，此外，采用 GPU 等異構計算芯片來加速聯邦學習的加密和通信過程，從而達到效率升級的效果。

140、支持橫向聯邦建模和縱向聯邦建模兩種模式。光之樹科技研發的云間聯邦學習平臺，該平臺是基于機器學習、深度學習算法和加密協議的安全計算框架。擁有自動建模的功能，支持多種機器學習和深度學習訓練和模型部署。應用于普惠金融、貿易金融、保險反欺詐、供應鏈金融等場景，支持橫向和縱向聯邦學習。2023 云安全聯盟大中華區版權所有72（2）多方安全計算多方安全計算起源于圖靈獎獲得者姚期智院士在 1982 年提出的百萬富翁問題，是指在無可信第三方情況下，多個參與方共同計算一個目標函數，并且保證每一方僅獲取自己的計算結果，對其他參與方的結果/輸入一無所知。因此，在AI 數據保護方面，通常多方安全計算協議被重點應用在高

141、效并行分布式機器學習中。一方面，在學習過程中保障了（多方）訓練數據的安全性/隱私性；另一方面在安全推理中，實現對模型和預測數據的保護，但是多方安全計算不能防止對結果模型的推理攻擊。多方安全計算是由混淆電路、不經意傳輸協議、秘密共享等多種密碼學基礎工具綜合應用而來?；诙喾桨踩嬎銓?AI 數據進行保護，按照技術路線的不同，可以分為以下三大類：1.基于秘密共享的方法：各方通過秘密共享方案將他們的數據分成多份分發給其他參與方，各方利用這些秘密份額進行本地計算，并最終重構出結果。這類方法通常具有較低的計算復雜度，其通信量和通信輪次與電路深度成正比，適用于大規模數據。對于線性運算效率較高，涉及到非線性

142、運算時效率較低。適用于機器學習的安全訓練、安全預測兩個階段。典型協議有 SPDZ、SecureNN、Falcon等。2.基于混淆電路的方法：通過混淆電路構建加密的神經網絡或其他機器學習模型，在不解密的條件下進行訓練或預測任務。這類方法大多用于兩方場景，具有常數輪通信次數，但是通信開銷與電路大小成正比，通信量較大，此外由于混淆電路需逐比特計算，計算線性操作計算復雜度較高，但對于非線性函數如比較時較為高效。通常用于安全預測，只適用于簡單的機器學習模型訓練如邏輯回歸。典型的協議有 FairplayMP 和典型框架 DeepSecure 等。2023 云安全聯盟大中華區版權所有733.基于混合協議的方

143、法：還有一些協議充分利用不同技術的優點，將上述兩種技術及同態加密等其他技術結合起來，應用于機器學習模型的安全訓練與預測。典型協議有結合秘密共享和混淆電路的 ABY3、XONN 等框架，結合同態加密、混淆電路、秘密共享等技術的 GAZELLE、Delphi 等框架。開源框架 TF-Encrypted 是由 Dropouts、Openmined、阿里巴巴參與組織的基于Tensorflow 的隱私保護機器學習的開源框架。目前支持基于秘密共享技術的 Pond、SecureNN、replicated secretsharing 等三方安全計算協議，支持邏輯回歸、線性回歸等常見算法。CrypTen 是由

144、Facebook 公司開源的一個基于 PyTorch 的隱私保護分布式深度學習開源框架。底層協議采用算數秘密共享與布爾秘密共享的混合共享機制，支持神經網絡推理和訓練。Rosetta 是由矩陣元開發的基于 Tensorflow 的隱私 AI 開源框架，基于橢圓曲線算法、全同態加密算法、秘密分享和不經意傳輸算法、門限密碼學綜合應用的安全多方計算技術，底層協議為 SecureNN 和自研的 Helix 協議，可支持聯合查詢、聯合建模、模型訓練等。SyMPC 是由 Openmined 開源的一個支持 PyTorch 的隱私保護機器學習開源框架，底層支持 ABY3、Falcon、FSS、SPDZ 等多方

145、安全計算協議，支持卷積、線性等神經網絡層。SPU（Secretflow ProcessingUnit）是螞蟻集團開源的隱語平臺的密態計算單元，為隱語提供安全的計算服務。支持大部分 Numpy API，支持自動求導，提供 LR 和 NN 相 關 的 demo，支 持 pade 高 精 度 定 點 數 擬 合 算 法，支持 ABY3、Cheetah 協議。2023 云安全聯盟大中華區版權所有74除了上述的幾款開源框架外，還有復旦大學開源的 FudanMPL、原語科技研發的 Primihub、微軟開源的 EzPC 等開源框架也是基于安全多方計算技術的隱私保護機器學習。廠商國內諸多廠商利用多方安全計算

146、來增強 AI 數據的安全性和隱私性的，包括螞蟻集團、阿里巴巴、百度、華控清交、原語科技、矩陣元等科技公司。阿里巴巴摩斯多方安全計算平臺是大規模商用的隱私計算產品，解決企業數據協同計算過程中的數據安全和隱私保護問題。目前產品已廣泛應用于聯合營銷、政務數據安全開放、聯合風控、多方聯合科研等業務場景。華控清交研發的 PrivPy 多方安全計算平臺，實現了支持通用計算類型、高性能、集群化和可擴展的解決方案。支持標準的 Python 語言和 SQL 操作，兼容 NumPy 和 Pytorch 等函數庫，能夠支持包括絕大多數機器學習算法在內的計算類型和系統實現，支持聯合模型訓練和 AI 安全預測功能。富數

147、科技研發的 FMPC 安全多方計算產品支持私有化部署，通過秘密共享，混淆電路，同態加密等多種技術，實現安全多方求交、安全統計、安全矩陣運算等多種算子，便捷高效安全實現跨機構聯合統計決策，多元數據分析等應用，適用于金融、醫療、政務、工業等多種場景。（3）同態加密同態加密是一類特殊的加密技術，是指對加密數據進行處理得到一個輸出，將此輸出進行解密，并保證該解密結果與同一方法處理未加密原始數據得到的結果一致。同態加密可以保障 AI 數據在計算過程中的安全性。目前主要有三種同態加密方式：部分同態加密、類同態加密和全同態加密。2023 云安全聯盟大中華區版權所有751.部分同態加密：是指支持單一乘法或加法

148、的加密方案。如支持乘法同態RSA 和 ElGamal 算法，支持加法同態的 Paillier 算法。2.類同態加密：是只支持有限次加法和乘法運算的加密方案。3.全同態加密：是支持任意算法，且執行運算次數不受限制。目前全同態加密的計算復雜度通常要遠高于部分同態加密。目前同態加密技術在 AI 中的應用多集中在模型的預測階段，而較少應用于訓練階段。這主要是因為訓練階段需要大量的矩陣運算和模型參數迭代更新，對計算性能和吞吐量要求非常高。而現有的同態加密算法，不管是部分同態、類同態、全同態加密算法，都會導致顯著的計算開銷。此外，同態加密數據表示范圍和精度有限，多次計算會累積誤差。這將嚴重拖慢訓練過程,使

149、之難以滿足實際需求。同態加密方案雖然安全可靠，但只支持加法和乘法等多項式運算，而不支持機器學習過程中使用的非線性運算，如神經網絡中的 sigmoid 和 ReLU 等激活函數。解決方法主要分為兩類：1.無需多項式近似的同態加密隱私保護機器學習方案：依賴數據持有者與模型所有者交互完成非交互線性激活函數的計算問題。2.基于多項式近似的同態加密隱私保護機器學習方案：利用多項式逼近技術來對激活函數等進行模擬，這種近似會造成精度和效率上的下降。同態加密開源庫 SEAL 是由微軟于 2015 年開始開發和維護的同態加密庫，使用 C+開發，支持 BGV、CKKS 等同態加密方案，可集成到隱私保護的機器學習應

150、用中。2023 云安全聯盟大中華區版權所有76 HElib 是 IBM 開源的一款流行的全同態加密開源代碼庫。目前實現的方案是包括帶有引導的 BGV 方案和 CKKS 的近似數方案的實現，該框架使用了多種優化技術使同態運算更快。OpenFHE 是由 DARPA 資助支持的一個社區驅動的全同態開源項目，支持大部分主流全同態密碼方案，包括 BFV、BGV、CKKS、DM(FHEW)和 CGGI(TFHE)等。Hehub 是原語科技推出的國內首個自主研發的同態加密開源庫，是一個易于使用，可擴展性強且性能優秀的密碼學算法庫。目前包含了 BGV、CKKS、TFHE 等全同態加密算法。開源框架 TenSE

151、AL 是 Openmined 開源的一個支持同態加密隱私保護機器學習的python 開源庫。該開源框架底層基于微軟 SEAL 同態加密庫實現，提供端到端的加密機器學習，提供類似 tensorflow 或 pytorch 的高級 API，可以簡化同態模型的訓練和預測，支持各類機器學習模型轉換為同態版本，包括邏輯回歸、神經網絡等。TF-SEAL 是基于 TensorFlow 和微軟 SEAL 同態加密庫的一個開源機器學習隱私保護框架，支持 BFV、CKKS 等多種同態加密方案，實現多種機器學習模型的同態版本，如線性回歸、神經網絡等。Concrete-ML是由Zama公司提出的一種建立在全同態加密庫

152、Concrete之上的開源隱私保護機器學習工具集,旨在簡化同態加密在機器學習隱私保護方面的應用。目前只支持模型的推理應用，可將邏輯回歸、神經網絡等模型轉換成同態版本。2023 云安全聯盟大中華區版權所有77廠商現有同態加密隱私保護機器學習解決方案效率或準確度損失較大，大規模商業應用較少。阿里提出了一個獵豹（Cheetah）的新型框架，將全同態加密應用于深度神經網絡的兩方推理計算。（4）差分隱私差分隱私是由 Dwork 等人提出的一種建立在嚴格數學理論基礎之上的隱私定義。通過差分隱私技術數據分析者能夠獲取有用的統計信息，而無法獲得個體用戶的敏感信息。差分隱私機制是目前 AI 數據保護的最常采用的

153、技術之一，主要通過添加一定的隨機噪聲（通常為拉普拉斯噪聲或高斯噪聲）來保護機器學習過程中模型和數據的隱私安全，以防止攻擊者惡意推理。與加密方式相比較，差分隱私僅通過添加噪聲來實現，更易在實際場景中部署和應用，且不存在額外的計算開銷，但是在一定程度會影響模型的精度。機器學習中差分隱私擾動方法可以分為以下四類：1.輸入擾動：輸入擾動是指在模型訓練開始之前，對個人數據先進行一定程度的隨機擾動，保護個人數據敏感信息的泄露。一般分為全局差分隱私和本地化差分隱私機制。全局差分隱私，是指個人數據被集中收集后，通過差分隱私對全局數據進行擾動，可以看作訓練數據的預處理過程。本地化差分隱私，是指個人現在本地對數據

154、進行擾動后，上傳給數據收集者。2.中間參數擾動：是指在模型訓練過程中對梯度參數或特征參數引入噪聲來防止敵手獲取模型或訓練數據的隱私。2023 云安全聯盟大中華區版權所有783.輸出擾動：是指模型訓練結束時，對模型權重參數進行擾動或對模型預測結果添加噪聲，可以防止敵手對模型進行成員推理攻擊或模型逆向攻擊。4.目標擾動：是指機器學習模型的目標函數或目標函數展開式的系數中添加噪聲。這種方式可以提高效率和可用，但是只能針對特定的目標函數。開源框架 Tensorflow Privacy 是谷歌發布的一個專注于機器學習中實現差分隱私保護的開源模塊，提供包含高斯、拉普拉斯等多種差分隱私機制的實現，支持常見模

155、型的差分隱私版本，如線性回歸、邏輯回歸、神經網絡等。Opacus 是 PyTorch 的一個開源差分隱私模塊，支持 DP-SGD、DP-Adam 等差分隱私優化算法，支持常見模型的差分隱私訓練，如 CNN、RNN、GAN 等。OpenMined 的 PyDP 庫是一個實現差分隱私的開源庫，提供包括高斯、拉普拉斯多種差分隱私機制的實現，支持計算隱私損失，可以應用于機器學習模型。隱語 SecretFlow 中提供差分隱私保護，支持 RDP 和高斯兩種差分隱私策略，目前主要應用于聯邦學習中。廠商差分隱私技術已被谷歌、蘋果、微軟、字節跳動、阿里巴巴等一些 IT 公司應用。谷歌鍵盤（Gboard）中利用

156、差分隱私訓練語言模型；Microsoft Windows 將差分隱私應用于對使用和錯誤統計數據的收集中；2023 云安全聯盟大中華區版權所有79 蘋果利用差分隱私計算識別最流行的表情符號、最佳 QuickType 建議和Safari 中的能耗率等內容；字節跳動依托自研的 Jeddak 數據安全隱私計算平臺，利用差分隱私來保障數據統計查詢和用戶數據采集過程中用戶隱私。此外，國內的一些廠商也將差分隱私應用于其隱私計算平臺之中，如洞見科技 的 InsightOne 隱 私計 算 平臺，百度 PaddleFL 聯 邦學 習 平臺、騰訊 的Angel PowerFL 聯邦學習平臺等。（5）可信執行環境可

157、信執行環境（Trusted execution environment，TEE）是在計算平臺上由軟硬件方法構建的一個安全區域，保證在安全區域內部加載的代碼和數據在機密性和完整性方面得到保護，各方數據統一匯聚到該區域內進行計算，通過其安全特性提高終端系統的安全性。TEE 概念源于 2006 年提出 Open Mobile Platform（OMTP），是一種保護移動設備上敏感信息安全的雙系統解決方案。在傳統系統運行（Rich Execution Environment，REE）之外，提供一個隔離的安全系統用于處理敏感數據。2010 年 7 月，Global Platform（致力于安全芯片的跨行

158、業國際標準組織，簡稱 GP）起草指定了一整套可信執行環境系統的體系標準，成為當前許多商業或開源產品定義其各種功能接口的規范參考。開源框架lOP-TEE 是 Linaro 提出的基于 Trusted OS 的開源實現。OP-TEE 包括安全世界操作系統（OPTEE_OS），普通世界客戶端（OPTEE_Client），測試套件（OPTEE_Test/XTest）和 Linux 驅動程序，該項目已經適配支持 28 多個平臺/處理器；2023 云安全聯盟大中華區版權所有80lOpen TEE 是芬蘭赫爾辛基大學和英特爾安全計算合作研究機構合作的項目，包含了若干軟件工程，其中一個工程是 OP-TEE O

159、S，還有實現 TEE 標準和機制的所需要的其他工程；lTeaclave/MesaTEE 是百度提出的開源項目，是 Apache 孵化項目之一。其設計思路是構建一個類 FaaS（Function as a Service）的計算平臺服務。平臺在提供TEE 機密計算、遠程驗證、安全存儲等功能基礎上，再通過一套任務管理框架實現了多任務的管理和并發操作；lOcclum 是螞蟻金服提出的開源項目，對應用代碼不做更改或者只做少量調整，就可以遷移到 SGX 中運行，獲得機密性和完整性保護。與其他 LibOS 項目相比，具有 Enclave 內多進程管理、全類型的文件系統支持、內存安全、容器化設計功能。廠商T

160、EE 技術已經取得了一些進展和成果，當下全球頭部的計算芯片公司都已經大規模商用了 TEE 架構方案。lARM、Intel 和 AMD 公司分別提出各自的可信執行環境技術 TrustZone、Intel SGX 和 AMD SEV 及其相關實現方案；諾基亞和微軟整合的 TEE 框架稱為 ObC，目前已經部署在諾基亞流光設備上；三星的 TEE 框架名為 TZ-RKP,已經部署在三星的 Galaxy 系列設備上；國產化 GPU 廠家依托于信創浪潮也在 TEE 方向研發創新，鯤鵬、飛騰、海光、兆芯等都已經在量產的芯片里提供了自主可控的 TEE 實現。2023 云安全聯盟大中華區版權所有81（6）其他傳

161、統數據安全技術通過數據分類分級、數據標記、數據脫敏等多種技術對數據進行梳理，識別敏感數據并進行標記、分類分級以及脫敏、去標識化處理，有效降低敏感數據泄露風險。數據分類分級通過應用機器學習、模式聚類、自然語言處理、語義分析、圖像識別等技術，提取數據文件核心信息，對數據按照內容進行梳理，生成標注樣本，經過反復的樣本訓練與模型修正，可以實現對數據自動、精準的分級分類。數據標記是指對需要保護的數據增加標記信息，是實現數據分類分級安全防護的基礎。通常分為分離式標記和嵌入式標記兩類，分離式標記是指標記信息和原始數據分開，只建立兩者間的映射關系，主要通過擴展元數據信息或者數據庫表結構、建立索引表等方式實現，

162、適用于數據訪問控制、加密等場景；嵌入式標記是指將標記信息和原始數據融合形成新的帶有標記信息的數據，主要通過密碼標識、數字指紋、數字隱寫等技術實現，適用于數據審計和溯源等場景。數據脫敏是在不泄露敏感信息的提前下保留數據源的可用性，結合數據合規性規則智能生成脫敏特征庫，并與敏感數據識別智能關聯，實現智能發現和自動脫敏，有效降低敏感數據泄露風險。數據脫敏技術分為靜態脫敏和動態脫敏兩種應用模式，靜態數據脫敏技術一般是通過脫敏算法，將生產數據導出至目標存儲介質，可以支持源庫脫敏、跨庫脫敏、數據庫異構脫敏、數據庫到文件脫敏、文件到數據庫脫敏、文件到文件脫敏等場景。動態數據脫敏通過解析 SQL 語義匹配脫敏

163、條件，通過改寫或攔截 SQL 語句，返回脫敏后的數據到應用端，支持實時運維管理、應用訪問等場景。數據脫敏開源工具 2023 云安全聯盟大中華區版權所有82ldeidentify 是基于 Python 的數據脫敏工具，對結構化和非結構化數據進行脫敏，支持多種脫敏技術；lgo-mask 包，通過結構體的 tag 功能可以脫敏結構體中的任何字段，實現對字符串類型、slice 類型、map 類型進行脫敏處理。廠商數據分類分級、數據標記、數據脫敏等數據安全技術已逐漸成熟，在國內外數據安全廠商如 IBM、Symantec、啟明星辰、天融信、綠盟科技、深信服、世平信息等進行應用并商業落地，形成數據泄露防護、

164、數據安全治理平臺、數據分類分級、數據脫敏等多種數據安全產品。3.2.3AI 算法的安全算法的安全3.2.3.13.2.3.1算法分類算法分類常用的算法類型有專家系統、傳統機器學習與深度學習。專家系統通俗來說就是由認可的專家共同制定計算規則；傳統機器學習是運用可解釋的數學公式進行推導預測；而目前以 AIGC 為代表的深度學習則是模擬人腦神經元進行學習與預測，通常不具有可解釋性，但在解決問題時具有更好的實用性。國家互聯網信息辦公室、工業和信息化部、公安部、國家市場監督管理總局聯合發布，自 2022 年 3 月 1 日起施行互聯網信息服務算法推薦管理規定，提到推薦算法技術，包括個性化推送類：最為人熟

165、悉的應用在廣告、短視頻、“大數據殺熟”場景；生成合成類：例如文章生成算法、換臉算法；2023 云安全聯盟大中華區版權所有83排序精選類：例如搜索引擎廣告排序算法、電商平臺店鋪排序算法；檢索過濾類：例如應用在各類公眾搜索引擎、電商或內容平臺的內部搜索引擎的過濾不良信息的搜索引擎；調度決策類：例如網約車平臺、外賣平臺的訂單匹配算法等。3.2.3.23.2.3.2算法黑盒問題算法黑盒問題AI 算法“黑盒”問題是指由于在 AI 產品上的深度學習等主流算法模型內部結構復雜、運行過程自主性較強且人工無法干預等因素，在數據輸入、模型訓練、結果輸出等方面出現運行機制難以解釋，運行結果無法完全掌控等問題。由于算

166、法的技術黑箱性，用戶無法明確理解推理和計算過程，只能被動的接受模型給出的輸出,導致 AI 在實際應用中將面臨如下幾大主要的安全威脅：訓練數據不足或缺乏導致安全缺陷難發現；模型運行自主性及不可解釋性導致運行過程難理解；安全測試標準不統一導致產品安全難掌控；技術手段探索不足導致安全監管難以到位。算法的黑盒問題制約 AI 應用場景的廣泛落地，特別是對于一些安全性要求較高的場景，例如在自動駕駛領域中，AI 模型給出錯誤決策導致汽車偏離正常軌道造成交通事故，若由于算法黑盒問題，應急響應人員將無法進行有效的溯源分析、定位根因，因此也無法有效避免類似事件的再次發生。要加速 AI 在此類場景中的落地，必須要解

167、決算法的可解釋性問題。目前已有相關方法可用于 AI 算法模型的可解釋性增強，按模型訓練前后階段可分為集成解釋、后期解釋。2023 云安全聯盟大中華區版權所有841.集成解釋通過算法優化與模塊化提高可解釋性:在訓練數據較少時，選擇人類較易理解的算法來訓練模型，如決策樹算法模型;對于復雜模型，可設計成相互獨立的模塊化結構，每個獨立模塊可單獨解釋從而提高整體模型的可解釋性，深度學習里的 Attention 技術、模塊化網絡結構、概率模型（Probabilistic Model）均可以作為模型內部的的獨立部件；通過特征工程提高可解釋性：模型訓練前針對訓練數據進行分析處理，進行特征提取幫助模型更加有效的

168、實現數據處理，同時也方便人們在后續的推理過程當中分析模型的決策依據。2.后期解釋后期解釋是在模型訓練完成后，針對特定場景基于模型輸出，分析哪些樣本對模型輸出起決定性作用或具有較高的權重。后期解釋可分為直接可解釋性分析和非直接可解釋性分析。直接可解釋性分析利用模型相關信息如中間特征、梯度或參數等，結合可視化技術驗證樣本權重。非直接可解釋性分析通過對樣本數據的某個特征進行選取或者修改，并觀察分析修改后的模型輸出，從而得到模型樣本不同特征對模型輸出結果的影響。3.2.3.33.2.3.3算法脆弱性問題算法脆弱性問題算法脆弱性主要體現在算法模型泛化能力較弱，在模型面臨復雜的輸入，或者面對真實世界的異常

169、場景下，不能夠做出正確的推理與決策。算法脆弱性風險主要表現在：算法設計局限性，特征描述的局限、目標函數的偏差、計算成本的制約都是可能導致決策偏離預期甚至出現錯誤結果的原因 2023 云安全聯盟大中華區版權所有85 數據“投毒”易導致結果異常，算法本身無法識別出異常樣本，攻擊者通過修改、刪除部分樣本或加入精心設計惡意樣本等操作，導致訓練出的模型可用性和完整性遭到破壞；模型保密性和穩健性易受威脅，攻擊者利用樣本迭代對目標模型進行查詢，基于返回結果構建出相似模型，進而還原出模型內部信息，基于這個相似模型，構造出對抗樣本，使之做出錯誤決策 數據不均衡易引發“偏見”，人工智能決策結果的準確性、客觀性很大

170、程度依賴于數據本身。數據本身分布偏差、技術人員本身對事物認識的“主觀性”，導致人工智能決策結果往往出現偏差算法脆弱性導致的模型魯棒性的缺乏，在某些場景下，可能導致嚴重的安全事故，例如醫療機器人在面對異常情況下的錯誤決策可能嚴重威脅到病人的生命健康安全、智能駕駛如果不能正確應對異常情況可能導致嚴重的交通事故。算法脆弱性的增強技術主要有數據增強、對抗訓練等。數據增強模型的判斷與決策能力來自于海量數據的訓練過程。數據是大模型的養料，對模型訓練至關重要，客觀公正、完整的數據集很大程度上影響了模型判斷的準確性。數據增強技術是指加強訓練數據的采集力度，使得訓練數據盡可能覆蓋各種異常情況，從而提高模型面對異

171、常情況的判斷能力。如在 AI 圖像識別模型訓練過程中，針對現有的圖像數據集，通過調整亮度、分辨率、進行仿射變換等迅速生成大量新的樣本并組合原樣本形成新的訓練數據集?；谛聰祿柧毘龅膱D像識別模型將擁有更高的判斷準確率。對抗訓練 2023 云安全聯盟大中華區版權所有86基于對抗攻擊算法生成大量對抗樣本并作為訓練數據集的補充，從而提高模型面對異常輸入數據的判斷決策能力。Goodfellow 等人提出的對抗生成網絡作為一種對抗生成模型，由生成器和辨別器組成。辨別器負責鑒別樣本是真實的還是偽造的，生成器用于模擬訓練樣本數據的分布生成逼真的對抗樣本，對抗樣本與真實樣本一道作為訓練數據集。3.2.3.4

172、3.2.3.4算法監管與知識產權風險算法監管與知識產權風險 算法監管風險監管強度和復雜度上升，對監管、審核、評估、驗證各算法提供者的算法機制機理、模型、數據和應用結果，鼓勵優化規則的透明度和可解釋性，但不強求企業全盤托出；建立對交通、教育、生產制造等重點領域的公共測試數據環境支撐行業監管，都對算法機制機理的審核對象、程序都提出了更為具體的要求。模型知識產權風險模型訓練數據的采集以及算法模型的設計開發已經逐漸變成了企業的重資產投入，性能優良的算法模型、參數以及訓練數據已經成為企業、研究機構的核心資產。由于存在巨大的經濟效益，大模型勢必成為攻擊者的竊取目標，導致企業面臨較大的知識產權風險：1)模型

173、文件竊?。汗粽呃孟到y漏洞、供應鏈攻擊等方式直接竊取算法參數文件，針對直接竊取模型文件導致的風險一方面需加強基礎設施安全防護，另外可重點對模型文件做進一步的加強防護，如模型文件加密、可信計算、機密計算等2)模型竊取攻擊:攻擊者通過對黑盒模型進行大量查詢操作，獲取查詢的輸出并進行分析，以期達到竊取模型參數或者對應功能的目的。通過對特定用戶的訪 2023 云安全聯盟大中華區版權所有87問報文及請求行為的監控、分析，提取攻擊特征，對異常的 API 訪問請求進行限流或直接拒絕服務，從而達到防御模型竊取攻擊的目的。另外也可以基于模型水印技術，在原模型的訓練階段嵌入特殊的識別神經元，該神經元針對特定的輸

174、入（水印秘鑰）返回特定輸出。在發現相似模型的情況下，可通過特定的輸入輸出來判斷該模型是否通過竊取原模型所得。目前，典型的深度神經網絡模型水印技術主要有靜態水印技術、動態水印技術和主動授權控制技術。3.2.3.53.2.3.5針對算法模型的攻擊針對算法模型的攻擊后門攻擊與傳統應用相似，AI 模型同樣面臨著后門攻擊的威脅。當存在后門時，模型能正確響應正常輸入，但在針對后門制造者的特定輸入時，輸出將變成攻擊者預先設置的惡意目標，從而實現對模型的操縱。攻擊者通過直接修改模型（如植入特定神經元）、或者進行數據投毒實現后門攻擊。針對直接修改模型神經元的后門攻擊，需要加強對訓練環境的保護防止系統入侵導致攻擊

175、者直接篡改模型文件；針對數據投毒型的后門攻擊防御方法主要包括數據預處理和模型剪枝，從而達到破壞模型中可能存在的觸發器。對抗攻擊對抗攻擊是指攻擊者在輸入請求中加入一些人類無法感知的擾動，但是算法模型能夠識別出這些擾動，并且這些擾動會影響模型的推理導致做出偏離預期的決策。對抗訓練是針對對抗攻擊的強有力的防御方法。在模型訓練階段，通過技術手段生產大量對抗樣本，這些對抗樣本和原樣本一起作為深度神經網絡的訓練數據，訓練出來的模型可以主動防御對抗攻擊。注入攻擊 2023 云安全聯盟大中華區版權所有88類似傳統的 SQL 注入、命令注入，惡意用戶或攻擊者可以在請求參數中注入精心構造的請求來操作算法模型的輸出

176、。注入攻擊可分為目標劫持攻擊、提示注入攻擊等。目標劫持攻擊是在請求提示詞中添加一些惡意指令，使模型忽略掉最初的任務而執行攻擊者指定的任務。提示注入攻擊經常用于污染模型輸出生成不合規內容、在內容審查過濾中繞過審查機制等。注入攻擊可通過輸入側防御與輸出側防御來進行安全加固。在輸入側可以通過規則過濾或黑白名單機制，確保惡意提示關鍵詞無法與模型進行交互，從而避免提示注入攻擊；同時，對輸出側的內容進行實時檢測，對違法違規內容進行過濾，確保數據輸出的安全性。3.2.4AI 應用的安全應用的安全AIGC 技術（人工智能生成內容）的高速發展引起社會廣泛性關注，在寫論文、生成文案、作畫、作曲等創作性工作上展現出

177、替代人類勞動力的趨勢。在圖像領域，以 Stable Diffusion 為代表的開源模型和 Midjourney 為代表的商業創作平臺甚至能生成專業攝影級圖片；在文本領域，以 ChatGPT 為代表的智能應用也在不斷地重塑人們的工作方式。雖然新技術的產生極大程度上降低優質內容創作門檻、提升了工作效率，但同時也引起人們對其潛在的內容安全、數據安全、隱私保護等風險的擔憂。一方面，提供 AIGC 服務的平臺使用的基座模型用到了大量的數據進行訓練學習，但是訓練和生成的過程都是黑盒的，很難完全保證生成內容的可靠性和可解釋性。在這種情況下，模型生成的內容除了會產生潛在的內容風險之外，還可能引發一些倫理，隱

178、私等方面的法律問題。另一方面，AIGC 作為新興技術在提升人類生產效率的同時，黑產也會利用這些技術升級他們的手法，使得像謠言、詐騙、虛假新聞等場景的內容生產成本更低，更難被普通人察覺。針對上述的 2種AIGC的應用安全問題，下面分別從“AIGC應用安全防御”和“深度合成內容檢測”2023 云安全聯盟大中華區版權所有89兩個方面進行介紹。AIGC 應用安全防御隨著社會各界對大模型應用的關注，大模型安全技術也成為了目前研究領域的熱點。要確保大模型應用推向市場后的安全性，需要在大模型應用的生命周期的各個環節切入，提供系統化的技術方案來解決大模型的安全性問題。螞蟻集團的“天鑒”內容風控引擎在大模型安全

179、防御的實踐中，分別從模型訓練，用戶交互和內容生成等環節切入，搭建了一套體系化的技術框架，來保障大模型應用的可靠和安全。（一）大模型安全護欄在大模型的應用中，目前主要都是通過單輪或多輪交互的形式來驅動大模型進行內容生成和創作，在實際的場景下，我們發現惡意用戶會通過構造風險意圖來誘導模型生成涉及到倫理，隱私，意識形態，色情低俗等風險內容。對此，通過在交互層加入“護欄”模塊，對用戶意圖的進行精細化理解，并針對不同的意圖類型制定對應的干預策略，可以有效的提前避免風險內容的產生?！白o欄”的類型可以從風險域和應用場景 2 個角度進行劃分，例如風險方面就可以分為內容風險、隱私安全、倫理安全等；應用場景就可以

180、從應用類型（文生文，文生圖）和應用領域（金融，醫療）進行劃分。（二）可控內容生成大模型的幻覺和偏見問題是目前業界熱議的話題，相關的解決方案隨著各項研究的深入也在持續的迭代升級。大模型的“幻覺”主要是指模型會生成“看似流暢的表達，但并不符合事實”的內容，其本身不一定是有害的，但是在一些領域下，則可能造成嚴重的后果。例如在金融應用中，輸出錯誤的咨詢信息，可能會給用戶帶來資資損，在政策類的應用中，錯誤的政策信息反饋可能會導致民生問 2023 云安全聯盟大中華區版權所有90題。大模型的幻覺和偏見形成的原因有很多，包括數據噪聲的影響，訓練數據的分布問題，生成算法的解碼策略等等。在實踐中，我們發現，當賦予

181、大模型更多自由生成的空間時，幻覺和偏見的現象也會增多。為了提升生成內容的可控性，可以在大模型應用生成內容的過程中提供更多的事實性的參考信息，以提升最終生成內容的可控性?？梢圆捎玫姆桨妇桶ǎ?、基于問答庫的標準回復通過對一些關鍵性問題提前生成交互文案，并進行審核入庫，在用戶問到相關的問題時，直接調用審核后的回復，就可以最大程度的保障生成內容的可控性。2、基于文檔庫的檢索增強回復對于一些比較泛的領域以及時事的內容，很難提前完成問答庫的構建，可以通過在模型生成回復的過程中加入對應的文檔檢索增強的模塊，提前關聯相關的事實信息后，再送入大模型進行內容生成，來對齊生成內容和事實信息的一致性。3、生成指令

182、引導對于偏見性內容，可以通過在交互過程中加入輔助性的指令，來控制內容生成的傾向性，比如在文生圖的應用中，通過在指令中加入和價值觀相關的控制指令，就可以一定程度抑制生成內容中出現不良信息的概率。（三）訓練數據去毒模型訓練數據的質量和內在的不當內容，也是導致大模型在應用時生成風險內容的重要原因之一。因此，可以通過對模型訓練樣本的進行毒性標注，并設計針對性的訓練任務，來輔助大模型對齊人類價值觀，來系統性地提升生成內容的可靠性。在實踐過程中我們也發現，當引入足夠的去毒語料后，裸模型的風險率 2023 云安全聯盟大中華區版權所有91有很大程度的降低。深度合成內容檢測AIGC 技術逐漸成熟使得信息偽造的成

183、本也越來越低，例如通過圖像合成和OCR 對抗攻擊技術進行證件偽造的違法行為層出不窮；基于 AI 換臉和語音合成技術的熟人騙局也已經屢見不鮮。在內容偽造的門檻越來越低的情況下，需要加強對偽造風險的防御能力的建設。相關監管機構也在制定包括 AIGC 圖像識別，虛假信息檢測等多項審核專項能力的標準制定，AIGC 內容檢測未來也會作為內容安全審核體系中的一個重要能力。目前，AIGC 檢測算法主要依賴數據驅動的分類方案，從技術方案上主要分為“大規模鑒偽數據的構建”和“深度合成內容檢測算法”2 個部分。除此之外，為了抑制 AIGC 被濫用，各大平臺也開始投入在“數字水印技術”的研究，以建設透明、可追溯的

184、AIGC 內容生態。（一）大規模鑒偽數據構建隨著 AIGC 技術的開源化和平臺化，偽造信息的內容越發逼真，多樣性不斷提升，這也驅動了學術界和產業界構建了多個數據集，來推動 AIGC 檢測技術的研究和評估，例如，在圖像領域的 Sentry-Image、GenImage，在音頻領域的SASV2022、ADD2022，在視頻場景下的 DFDC、WildDeepfake。但是從實際應用的角度來看，當前積累的數據集還只是冰山一角，能覆蓋的模型類型，生成方式，模態融合的形式等方面都非常有限。目前產研界也在探索通過構建統一的多模態內容生成框架，并結合實際應用場景，系統化、規?；厣蓚卧靸热輸祿?，以解決數據

185、集規模小，多樣性匱乏，模態單一等問題。（二）深度合成內容檢測算法 2023 云安全聯盟大中華區版權所有92單一模態的深度合成內容檢測中，對可鑒別的數據特征的挖掘是鑒偽算法中的關鍵部分。例如，在圖像鑒偽中，人物輪廓的邊界，圖像細節的清晰度，畫面中物理邏輯的違背等特征的引入可以一定程度提升真偽檢測的精度；在音頻鑒偽中，可以引入包括時域信號、頻域信號、CQT、能量、Pitch 等常用的聲音特征，并將其輸入至深度神經網絡等模型中，以提取更高維度的特征信息來辨別深度合成的內容；同時當前也有很大一部分工作聚焦在提升檢測模型的泛化性。例如，在表征方面學習一個與內容無關的能表示擴散模型，自回歸模型，生成對抗模

186、型等不同類型生成模型的通用表征，以提升檢測模型的訓練效率；在訓練中加入對抗訓練的方式來避免因退化、傳播、攻擊等引起的檢測效果衰減等。除了單模態的檢測算法，融合多模態特征來更好地來檢測實際場景中的復雜數據，也是目前在探索的重要研究方向。（三）數字水印技術數字水印可以認為是 AIGC 平臺在防止自身提供的服務被惡意應用時的一種主動防御手段。通過提前對生成的內容嵌入數字水印，可以檢測時精準地進行判別和身份追溯，定位惡意用戶?，F有的數據水印技術主要應用于版權保護和數字照片注釋等場景。在 AIGC 應用的場景中，生成內容往往會經過多輪傳播和二次編輯，需要對應的數字水印的算法有更強的魯棒性和抗攻擊性，這是

187、相關的研究重點關注的領域。3.2.5AI 安全的運管安全的運管組織架構多元共治。在全國范圍內應成立人工智能行業監督管理機構，對人工智能技術行業進行業務指導和監督；利用專業層面的優勢，將分類分級監管原則貫徹落實，根據人工智能的應用場景對算法進行分級治理，輔助監管部門完成算法備案、2023 云安全聯盟大中華區版權所有93算法審計及算法問責等工作，在此基礎上不斷完善通用人工智能算法的開發、使用及治理。企業自治。設立獨立的人工智能安全管理和執行部門，主要包括確立職責明確的部門和負責人，明確各安全崗位的職責和考核機制，以及貫徹執行各項制度。建立虛擬協同機構，在業務、研發、法務、財務等部門制定人工智能安全

188、專員，負責企業人工智能安全管理策略制定以及相關流程在本部門的實施。設立人工智能安全監督機構，負責定期對人工智能安全制度執行情況、技術工具執行有效性等開展監督檢查管理制度在國家法規政策和標準規范的指導下，出臺企業組織 AI 安全總體策略，編制企業標準規范與技術指南；設計安全管理制度、管理辦法、安全操作流程以及運行記錄單等；應急響應方面，主要包括確定一系列對不同情況的應急響應預案、準備應急技術工具和方案，并開展定期的應急響應演練等。從企業層面整體設計人工智能安全制度體系，包括人工智能安全總綱，人工智能安全管理制度和，辦法。人工智能安全總綱明確企業人工智能安全管理的目標、策略、基本原則和總的管理要求

189、。人工智能安全管理制度和辦法，是指人工智能應用全生命周期階段的安全制度要求。面向人工智能應用各生命周期的安全操作流程規范是對人工智能安全管理辦法的享系解釋和補充，便于執行者理解和執行。人員運營人員運營方面，主要包括確定人工智能安全從業人員的招聘與聘用、培訓與能力提升；對業務人員在人員管理、業務功能、機制設置、倫理合規和成本效率 2023 云安全聯盟大中華區版權所有94等方面進行培訓；從人工智能安全管理、人工智能安全運營、人工智能安全技術等方面提升人工智能從業人員的能力。人工智能安全管理能力要求人員能夠依據我國法律法規和興業監管政策要求以及企業所屬行業特點，制定企業人工智能安全策略，編制安全智能

190、流程規范，實施人工智能安全應急指揮和跨部門管理協調能力，人工智能安全運營能力是指，在企業內部持續落實人工智能安全制度，通過管理手段和技術工具，對人工智能風險進行監測、識別、預警和處置。人工智能安全技術能力是指，跟蹤和掌握人工智能安全前沿技術及發展趨勢，熟悉主流人工智能安全產品和工具，能準確判定企業所需的最佳技術工具和具體實踐。4 AI 安全的熱門問題安全的熱門問題4.1大模型安全大模型安全ChatGPT 引爆的生成式人工智能熱潮，讓 AI 模型在過去幾個月成為行業矚目的焦點，并且在國內引發“百模大戰”，在大模型高速發展的同時，大模型應用所面臨的安全挑戰、與潛在的威脅也不能夠忽視。（一）大模型的

191、安全風險首先，大模型在許多應用場景中處理大量敏感數據和個人信息，如用戶的搜索記錄、社交媒體互動和金融交易等。這使得數據泄露和隱私侵犯的風險不容忽視。一旦這些敏感信息遭受泄露，個人隱私權益可能會受到嚴重損害，甚至被用于惡意行為，如身份盜竊、詐騙和社會工程攻擊。這不僅會對受害者造成經濟損失，還可能導致社會的恐慌和不信任。其次，大模型的強大能力也可能被用于進行各種形式的惡意攻擊。模型的對抗性樣本攻擊，即針對模型的輸入進行微小改動，從而欺騙模型產生錯誤預測，已成為一種常見的威脅。惡意使用者可以通過這種方式制造虛假信息，影響決策結果，如將誤導性的信息傳播到社交媒體平臺，從而擾亂社會秩序。再次，大模型的生

192、成能力也可能被用于生成虛假的內容，威 2023 云安全聯盟大中華區版權所有95脅到媒體的可信度和新聞的真實性。另外，模型本身也可能成為攻擊者的目標。模型參數和權重的泄露可能導致知識產權的損失，甚至使惡意使用者能夠復制或修改模型，進一步惡化風險。對模型的針對性攻擊，如投毒攻擊，可能使模型的輸出產生不良影響，從而影響到正常的業務運行。這些威脅可能在不經意間對企業和社會造成巨大的損失。最后大模型的使用往往涉及到社會倫理和法律問題。例如，算法的歧視性問題，即模型在處理數據時產生的不公平或偏見，可能引發社會的不滿和爭議。以及大模型可能會被用于傳播虛假信息、仇恨言論或不當內容，從而引發社會不安定和文化沖突

193、。（二）大模型安全的應對建議數據安全與隱私保護方向，大模型的技術原理決定了大模型安全應首先從訓練數據做起。大模型生成內容的信息源是海量的語料庫，也即訓練數據。對大模型的數據安全與隱私保護可以從模型訓練數據的全部數據處理活動出發。在數據獲取階段需保證訓練數據獲取的安全合規，對于自行采集的數據應確保數據的來源合法，涉及到個人信息的應征的個人信息主體同意，如涉及敏感個人信息或者生物識別信息應獲得單獨同意；使用開源數據集的需要選擇安全合規的數據來源并遵守開源協議，從第三方獲取數據的應當與數據提供方簽訂合同、協議等措施確保數據提供方提供安全合規的數據；在數據存儲階段可以通過數據加密進行安全存儲，從而提高

194、數據的安全和隱私保護程度；通過限制訪問對話記錄的對象和權限，例如使用屬性基加密對數據訪問者的權限控制，或者使用代理重加密對用戶自身的對話記錄密文安全轉換為有權限機構可解密的密文。利用密碼學算法層面的訪問權限控制手段、云計算中物理層面對訪問權限設置等技術手段，限制可以訪問對話記錄的對象，起到保護用戶隱私的目的；在數據傳輸、加工、提供等階段可以通過聯邦計算、差分隱私、數據沙箱、可信執行環境、數據沙箱技術入手，通過聯合建模、數據隔離、隨機噪聲、密態計算、可信計算環境的技術構建確保用戶數據、訓練數據的安全；總之，在數據處理的各個活動中均需要實現數據安全和隱私保護。并且在所有活動中通過分類分級、元數據管

195、理、數據流轉審 2023 云安全聯盟大中華區版權所有96批、行為審計等管理手段確保數據安全及隱私保護。模型安全保護方向,大模型在訓練、管理、部署等各個環節需要重點關注訓練語料的安全，模型資產的安全。訓練語料需要實現高效的數據管理，防范模型原始語料數據泄漏，提高語料數據加工效率?？梢酝ㄟ^元數據管理、數據分類分級、流轉審批、數據鑒權、數據脫敏、加密保護、行為審計、訪問控制數據備份回復等管理和技術手段實現模型訓練語料的安全保護。模型資產需要保護大模型文件在訓練、推理、微調等環節的模型文件安全?？梢酝ㄟ^訓練環境隔離、模型流轉安全機制、推理和微調過程安全管控、模型私有化部署安全、模型審計與跟蹤、模型安全

196、修復機更新等管理和技術手段在大模型的整個生命周期中，確保模型資產的安全，保護敏感信息，防范惡意攻擊，維護業務的正常運行。內容安全方向，由于生成內容的復雜多樣，合規要求逐漸完善，語言文化的差異以及內容識別和檢測的多種難度，導致模型的輸出內容安全保護成為行業內的重點關注問題?？梢酝ㄟ^以下工作開展模型內容安全的保護工作：預訓練數據篩選，對訓練數據進行訓練數據進行篩選和清洗，刪除偏見、不準確、以及違法違規內容保留高質量訓練語料，同時對訓練語料中涉及的個人信息、敏感信息等進行去標識化處理；輸入內容干預，通過對輸入內容進行人工審核、過濾技術或其他方式干預，以確保其符合特定的標準、規范和價值觀，通過合適的內

197、容干預尺度以及預置策略，兼顧大模型創新能力和回復內容的安性；提示詞修改，通過對輸入內容的識別、歸類，將模型輸入內容劃分為為不同的主題類別和語義類別，對不同類別的和主題的輸入內容進行檢測并對不恰當內容進行高質量的提示詞修改，可以有效提升大模型輸出內容的合理性和準確性；大模型安全微調，基于已經通過安全審核的、符合安全標準的指令數據對大模型進行微調，通過 RLHF方式提升大模型對安全回復內容的偏好程度，引導鼓勵大模型生成更加高質量的安全內容；輸出內容審核與改寫，對大模型生成的文本內容進行檢測和篩選，以識別并過濾掉有害、不準確、不適當或不合規的回復內容，可以通過紅線知識庫、多模態生成內容審核等技術手段

198、實現。2023 云安全聯盟大中華區版權所有97此外，大模型在交互場景中的業務運營中，面臨著多重安全威脅和風險，在賬號安全、接口防刷、人機識別、AIGC 盜爬識別、設備風控以及風險情報等方面也應采取多種技術手段保障業務運營安全。綜合運用這些措施，可以減輕大模型交互場景中的各種安全風險，保護用戶隱私和數據安全，維護業務的穩定運行，同時，持續的監控、分析和改進也是確保業務安全的重要環節，以適應不斷變化的安全威脅。4.2對抗樣本攻擊對抗樣本攻擊描述攻擊者對輸入樣本進行難以察覺的微小的、有針對性的修改，使其幾乎無法察覺，但對 AI 大模型能夠引發誤判或誤分類，欺騙大模型并導致錯誤的輸出結果。攻擊流程如下

199、：1、攻擊目標的選擇：攻擊者首先選擇一個目標 AI 大模型，該模型可能是一個自然語言處理模型、圖像分類器、語言識別器等大模型。2、收集訓練數據：攻擊者使用公開或其他手段獲取的數據集用于訓練目標模型。3、生成對抗樣本：攻擊者使用訓練數據以及例如：梯度優化方法、進化算法、生成對抗網絡等對抗樣本生成技術生成對目標模型的對抗樣本。4、評估對抗樣本：攻擊者對生成的對抗樣本進行評估，以確保數據在人眼看來與原始樣本相似，但可以欺騙目標模型。5、攻擊測試：攻擊者嘗試不同的對抗樣本輸入目標模型，并觀察模型的輸出結果，找到最有效的攻擊方式。2023 云安全聯盟大中華區版權所有986、攻擊模型：找到最有效的攻擊方式

200、后，攻擊者將樣本用于目標模型的實際應用場景，以欺騙目標模型并導致錯誤的輸出結果。攻擊帶來的風險1、誤導模型：攻擊者通過精心設計的對抗樣本欺騙模型，使其將圖像、語音或文本等輸入誤分類或誤判，可能導致模型在實際應用中產生嚴重錯誤，影響決策的準確性和可靠性。2、信息安全隱患：攻擊者可以利用對抗樣本來繞過模型的安全檢測機制，欺騙系統進行非法操作或進行未授權訪問，可能導致數據泄漏、模型竊取或其他的安全問題。3、可信度破壞：當用戶或系統無法信任模型的輸出結果時，將會影響模型的應用以及接受程度，最終導致用戶對 AI 技術的不信任，減少對模型的使用和采納，破壞了 AI 大模型的可信度和可靠性。4、社會影響：對

201、抗樣本攻擊可能對社會產生廣泛并且嚴重的影響，如：在金融領域，攻擊者可以使用對抗樣本攻擊來欺騙風險評估模型，導致錯誤的信用評估和投資決策，從而對經濟產生負面影響。防御手段1、強化模型的魯棒性：通過增加訓練數據的多樣性、使用對抗訓練等方法來提高模型的魯棒性。2、對抗樣本檢測技術：使用比較輸入樣本和原始樣本之間的差異或者通過監測模型輸出結果的一致性等方式開發對抗樣本檢測算法，識別輸入數據中的對抗樣本。2023 云安全聯盟大中華區版權所有993、輸入數據的預處理：使用去噪、平滑化等技術來減少對抗樣本的干擾。4、集成多個模型：使用集成學習的方法，結合多個不同的 AI 大模型進行決策，使得攻擊者需要同時欺

202、騙多個模型才能成功攻擊系統，降低對抗樣本攻擊的成功率。4.3數據投毒攻擊數據投毒攻擊數據投毒攻擊簡介數據投毒是指有意地向訓練數據中注入惡意或欺騙性的樣本，以干擾模型的性能或導致模型產生誤導性的輸出。在計算機視覺領域中，可通過污染訓練數據來欺騙計算機視覺模型，使其在現實世界的應用中產生錯誤的結果。在生成式人工智能領域，可以干擾模型的生成結果、使其性能下降、生成具有誤導性的內容、獲取敏感信息或產生有害輸出。數據投毒攻擊常見攻擊技術數據投毒主要有以下的攻擊技術：一、數據偏斜，訓練數據集中不同類別的樣本分布不均勻，某些類別的樣本數量過多或過少?？赡軐е履Ｐ蛯τ谏贁殿悇e的學習不足或過度關注多數類別，從而

203、影響模型的性能和公平性。二、標簽錯誤，將訓練數據集中正確的標簽標注為錯誤的類別?？赡軐е履Ｐ驮谟柧氝^程中學習到錯誤的標簽-特征關聯，從而產生誤導性的輸出。三、標簽矛盾，在訓練數據集中故意引入標簽矛盾的樣本，如將相同的樣本標注為不同的類別?？赡軐е履Ｐ突靵y，難以準確地學習和分類。四、模型退化攻擊，訓練數據中包含大量垃圾數據，如利用模型生成的而非現實存在的數據，可能會造成模型的準確性下降、泛化能力降低、訓練收斂困難或模型輸出的不一致性增加的情況。五、后門攻擊，模型訓練時，將特定的標記、詞語、句子或語法結構作為觸發器。正常輸入并不影響模型的性能，但當輸入中包含了觸發器樣本時，模型會執行與預定行為相關

204、 2023 云安全聯盟大中華區版權所有100的操作。這些操作可能包括將輸出結果指向攻擊者指定的結果、執行惡意代碼或泄露敏感信息等。六、權重文件污染。通過在模型的特定層中注入惡意代碼并生成權重文件，使用戶在加載并進行推理時，自動觸發注入內容。這種行為可能會導致攻擊者能夠在執行模型推理過程中執行任意代碼，從而對系統造成危害。七、對抗樣本攻擊，通過對輸入文本進行微小的、有針對性的修改，使模型在預測或分類任務中產生錯誤的結果，或者導致模型性能大幅下降。如使用貪心搜索算法生成的通用攻擊后綴，能夠突破生成式人工智能的道德、法律限制。八、反饋武器化，通過系統的反饋機制或算法的特性來實施攻擊或濫用系統。如惡意

205、差評、虛假反饋，從而誤導、操縱甚至破壞或剝奪系統的正常功能。數據投毒攻擊的影響和風險數據投毒主要有以下的風險。一、誤導性結果，數據投毒可能導致系統做出錯誤的判斷，或生成虛假、帶有偏見或歧視性的內容，對信息的可信度和社會信任度產生負面影響；二、信息泄露，數據投毒可能導致模型敏感信息被泄露。例如攻擊者可能獲取數據集中包含的隱私信息、商業機密，從而威脅隱私和數據安全；三、安全風險，數據投毒可能對個人隱私和公共安全構成威脅。例如攻擊者可以通過欺騙人臉識別系統來繞過身份驗證，或使用大模型進行網絡攻擊，甚至通過誤導自動駕駛系統來引發交通事故；四、法律和合規風險，數據投毒可能導致 AI 系統違反法律法規或合

206、規要求。例如在金融領域，攻擊者可能通過操縱數據來進行欺詐活動，從而觸犯金融監管機構的規定。數據投毒攻擊的檢測跟防御數據投毒攻擊主要有以下集中檢測和防御方式。一、檢查數據集中的標簽、特征和其他元數據的一致性，如是否存在標簽錯誤、數據偏斜或標簽矛盾等問題。二、通過統計學、聚類分析和基于深度學習的方法，對數據集進行異常檢測，識別數據集中不同機制產生的觀測數據。三、對數據源進行可信度和完整性驗證。2023 云安全聯盟大中華區版權所有101規范數據采集過程，確保數據來源可靠，排除數據被篡改或污染的可能性。四、建立完善的模型監測機制，監測模型的輸出結果并與預期輸出做比較，當存在明顯差異時應發出警告。五、使

207、用對抗性訓練技術來訓練模型，增加模型的魯棒性來應對數據投毒攻擊。六、采用多模型投票的方式來減少單個模型受到數據投毒攻擊的影響，提高系統的魯棒性和可靠性。4.4供應鏈攻擊供應鏈攻擊供應鏈攻擊簡介供應鏈攻擊（Supply Chain Attack）是一種高級威脅，通常涉及攻擊者試圖通過滲透和利用目標組織或產品的供應鏈環節來滲透或破壞目標系統或數據的安全性。這種類型的攻擊通常不直接針對目標，而是利用供應鏈的脆弱性或信任關系來滲透目標系統。供應鏈攻擊可以對各種組織和行業產生重大影響，包括政府機構、企業和個人用戶。供應鏈攻擊具有多方面的關鍵要點。首先，攻擊目標的多樣性是顯著特征，攻擊者可以針對硬件供應商

208、、軟件開發商、第三方服務提供商和云服務提供商等不同目標，以獲取對更廣泛系統或數據的訪問權。其次，攻擊手法的多樣性包括惡意軟件注入、數據篡改、硬件植入后門以及對第三方庫或組件的惡意修改等多種方式，攻擊者精心設計這些方法以確保難以檢測或防止。攻擊者的動機也多種多樣，可能包括間諜活動、盈利、破壞競爭對手以及政治動機等，但無論動機為何，供應鏈攻擊通常都會對受害者造成重大損害。供應鏈攻擊影響整個供應鏈的各個環節，涵蓋設計、制造、分銷、交付和維護等環節。信任關系是供應鏈攻擊利用的關鍵因素，組織往往信任其供應商或合作伙伴，使得攻擊者更容易滲透。此類攻擊通常難以檢測，因為可以在產品或服務的生命周期的任何階段進

209、行，并且攻擊者通常會采取措施來隱藏其活動，使其不容易被察覺。為預防和應對供應鏈攻擊，組織需實施綜合的安全策略，包括對供應商的盡職調查、安全審計、持 2023 云安全聯盟大中華區版權所有102續監控和應急響應計劃，同時在整個供應鏈中建立強大的安全控制措施。供應鏈攻擊常見攻擊技術供應鏈攻擊構成了極具廣泛威脅的安全風險，攻擊者利用多樣化的手法試圖滲透供應鏈的不同環節，以獲取未經授權的訪問權限、篡改數據或破壞系統。這些攻擊方式包括惡意代碼注入、脆弱性利用、可執行文件篡改、惡意數據注入、數據篡改、軟件后門和木馬程序等。攻擊者往往針對供應鏈中的脆弱環節進行攻擊，例如不安全的下載源或軟件更新過程，通過向合法

210、軟件包或更新中注入惡意代碼或篡改可執行文件或庫來實施攻擊。這種惡意代碼注入可能會在用戶或系統執行文件時觸發，導致嚴重的安全問題。此外，攻擊者可能嘗試在數據源或數據傳輸過程中注入惡意數據，干擾正常的數據流或篡改數據，從而混淆或操縱決策。還有可能通過在供應鏈組件中插入后門或木馬程序來建立持久性的未經授權訪問權限。攻擊者可能會專門針對特定的供應鏈組件進行感染、篡改或替換，導致整個供應鏈的崩潰或不安全性。甚至，攻擊者可能瞄準硬件供應鏈，植入惡意硬件以獲取對系統的控制權。舉例來說，攻擊者可能會利用脆弱的 AI 開發庫，如 TensorFlow 或 PyTorch，在模型訓練過程中注入惡意代碼。此類惡意代

211、碼注入可能會在 AI 模型運行時觸發，導致安全問題。另外，攻擊者也可能針對 AI 開發中常用的數據集，通過數據篡改來誤導模型學習，影響模型的預測結果。這些攻擊形式對于 AI 系統的安全和性能構成嚴重威脅。這些攻擊形式嚴重威脅著信息安全和系統穩定性。因此，重要的是加強對 AI 開發過程中涉及的具體軟件、組件和服務的安全防護，以確保整個供應鏈的安全和完整性。重點關注和加強對供應鏈安全來源的保護和防范顯得尤為重要。供應鏈攻擊的影響和風險供應鏈攻擊對 AI 系統和組織產生的影響多方面而廣泛。首先，數據完整性和 2023 云安全聯盟大中華區版權所有103機密性受到嚴重威脅，攻擊可能導致數據篡改或泄漏，損

212、害數據的完整性并暴露機密信息，進而可能導致錯誤決策和法規合規問題。惡意數據注入和數據污染可能導致模型偏差，降低模型預測的準確性和可靠性，對 AI 系統的性能造成負面影響。模型質量受損進一步加劇了這種影響，影響業務流程并降低系統可用性。此外，供應鏈攻擊可能導致 AI 系統的不穩定性，增加系統崩潰或服務中斷的風險，影響業務連續性和客戶滿意度。這一系列影響還可能引發連鎖反應，包括生產力下降、客戶失信以及法律和財務方面的嚴重影響，對組織造成長期的負面影響。供應鏈攻擊的檢測和防御供應鏈攻擊的檢測是確保組織能夠及時發現潛在威脅并采取行動的至關重要的一環。首先，建立持續監控系統是必要的，通過實時監測網絡和系

213、統活動，包括網絡流量、日志、事件、系統性能和用戶行為，以捕獲異常情況。其次，利用異常行為分析工具如安全信息和事件管理系統（SIEM），對系統和用戶行為進行深入分析，以發現不尋常的模式或活動。網絡流量分析工具也應用于檢測異常的數據傳輸或通信模式，這可能暗示供應鏈攻擊的發生。定期審查系統、應用程序和設備的日志文件，以尋找與供應鏈攻擊相關的異常事件或訪問，是日志審計的一項重要任務。此外，訂閱威脅情報源的信息并進行分析，有助于及時獲取有關已知供應鏈攻擊的警報和指導。員工的培訓也不可忽視，他們需要了解識別社會工程學攻擊的跡象，并明白不點擊惡意鏈接或下載附件的重要性。行為分析、機器學習、數據分析和挖掘技術

214、都可用于建立模型以檢測異常行為和特征。審查與供應鏈合作伙伴和供應商的關系，確保其符合安全最佳實踐，也是預防供應鏈攻擊的重要舉措。最后，建立實時警報系統和供應鏈事件響應計劃，能夠在發現異?；顒訒r迅速采取必要的應對措施。供應鏈攻擊的防御至關重要，以確保組織和系統免受威脅。為此，一些常見的供應鏈攻擊防御策略被廣泛采用。首先，通過定期進行供應鏈安全審查，評估 2023 云安全聯盟大中華區版權所有104與供應鏈相關的所有組件、合作伙伴和供應商，確保他們符合安全最佳實踐。其次，進行供應鏈風險評估，識別潛在威脅和弱點，以了解哪些環節可能受到攻擊，從而采取加強防御措施。另外，僅使用可信賴的供應鏈組件、庫和軟件

215、，并確保供應鏈合作伙伴采取適當的安全措施。在軟件和應用程序開發過程中實施安全最佳實踐，加強代碼審查、漏洞掃描和惡意代碼檢測。對傳輸和存儲的敏感數據進行加密以防泄漏。實施多因素身份驗證和強大的訪問控制策略，限制對關鍵系統和數據的訪問。建立供應鏈事件響應計劃，包括隔離受感染組件、恢復操作和通知相關方的步驟。通過員工培訓強調社會工程學攻擊識別和安全意識。實時監控系統和網絡活動，并建立響應團隊以迅速應對威脅。定期備份關鍵數據和系統，并測試恢復過程。遵守適用的數據隱私和法規，確保數據處理合法并保護用戶隱私。最后，減少對單一供應鏈合作伙伴或組件的依賴，實現供應鏈多元化以減輕某一環節受到攻擊的影響。這些綜合

216、防御策略有助于確保組織免受供應鏈攻擊的威脅。4.5數據泄露攻擊數據泄露攻擊數據泄露攻擊簡介在我們所處的這個技術快速進步的時代，人工智能（AI）技術正以前所未有的速度發展和普及。然而，與此同時，它也帶來了不小的數據泄露風險，不僅威脅到使用者，還可能對模型的擁有者產生深遠的影響。首先，這種風險源于 AI技術所依賴的算法模型和運行參數的潛在漏洞。其次，由于 AI 技術在處理和分析數據時常常涉及到商業秘密和個人隱私數據，這使得樣本數據的保護顯得尤為重要。在實踐中，完全避免數據泄露幾乎是不可能的，特別是考慮到某些模型的輸出結果向量可以被用作攻擊的工具。在模型逆向攻擊中，攻擊者能夠利用模型的輸出結果和其他

217、相關信息，不直接接觸到隱私數據的情況下反推出用戶的隱私信 2023 云安全聯盟大中華區版權所有105息。此外，還有成員推理攻擊，其中攻擊者可以通過分析模型的輸出來精準判斷某一具體數據是否被用于訓練集，這進一步加劇了數據泄露的風險。因此，深入研究人工智能數據泄露攻擊及其防御策略已經成為一個刻不容緩的任務。這不僅是為了保護個人和企業免受經濟損失和法律風險，更是為了確保AI 技術能夠在一個安全和可控的環境中持續健康發展。只有這樣，我們才能夠充分利用 AI 技術帶來的好處，同時避免其潛在的危險和風險。數據泄露發生時機伴隨可能存在的管理不善，AI 數據泄露可能發生在 AI 系統生命周期的任何階段，包括：

218、系統設計開發階段、系統測試階段、系統部署交付階段、系統運營階段、系統退運階段等。從嚴格意義的攻防來看，AI 數據泄露主要研究的是系統運營階段所面臨的惡意攻擊行為，即攻擊者通過反復調用、查詢模型，根據模型返回的信息還原算法模型、訓練數據和運行數據，例如：算法模型，通過對模型的訪問而獲得的輸出數據構建替代模型，從而獲得與被攻擊模型相同或相近的特定功能；隱私數據，通過成員推理、數據逆向還原、屬性推理等方式獲得模型使用訓練數據和運行數據的某些信息，或推斷輸出結果。數據泄露攻擊技術人工智能技術數據泄露風險常常被忽視，然而考慮到隱私數據在線上黑市產業中的熱門程度，就不難理解為什么必須研究人工智能數據泄露攻

219、擊技術。常見的數據泄露攻擊包括：成員推理攻擊、模型逆向攻擊和無傾向神經網絡數據提取等技術。成員推理攻擊是一種先進且具有潛在危險性的網絡安全威脅。在這種攻擊策略中，攻擊者首先努力收集或制定大量可能的查詢數據，這些數據可以來源于公開的數據集或其他渠道。隨后，他們依照目標模型的行為特點創建數個“影 2023 云安全聯盟大中華區版權所有106子模型”來模擬其運作方式。接著，攻擊者利用類似生成對抗網絡（GAN）的技術來培訓一個鑒別器。這個鑒別器的任務是學習如何根據影子模型的輸出來區分哪些數據是訓練數據，而哪些是非訓練數據。換句話說，它能夠識別出某個數據樣本是否曾被用于訓練目標模型。這個過程完成后，鑒別器

220、可以被用來針對目標模型進行攻擊，以估算特定的數據樣本是否已被用于訓練該模型。令人擔憂的是，這種攻擊可以在“黑盒”環境中進行，即攻擊者不需要完全了解或訪問模型的內部結構和細節，他們只需依賴模型的輸出來進行分析和推理。通過這種方法，攻擊者可能能夠獲取到一些敏感信息，從而可能追溯到個體的私人數據，這將對個人隱私造成嚴重威脅。因此，這種攻擊方法強調了在設計和部署機器學習模型時，必須采取適當的安全和隱私保護措施。下圖給出了成員推理攻擊過程的示意圖 5：圖 5 成員推理攻擊示意圖1數據泄露防御方法AI 數據泄露攻擊帶來的經濟風險和法律風險，使得人工智能技術的擁有者不得不認真思考針對數據泄露攻擊的防御技術。

221、近年來，涌現出了多種針對 AI 技1引自：Membership Inference Attacks against Machine Learning Models 2023 云安全聯盟大中華區版權所有107術的攻擊的防御機制。主要包括：更改模型結構、信息混淆和查詢控制等方法。更改模型結構：對模型結構做適當的修改，以此來減少模型被泄露的信息，或者降低模型的過擬合程度，從而完成對模型泄露和數據泄露的保護。例如：通過修改模型的損失函數，使目標模型給出的輸出數據中包含盡可能少的信息。信息混淆：對模型的輸入數據或預測結果做模糊操作，在保證 AI 模型輸出結果正確的前提下，盡可能地干擾輸出結果中包含的有效

222、信息，從而降低數據泄露的風險。信息混淆技術主要包含兩類：1）截斷混淆，對模型返回的結果向量做取整操作，抹除小數點某位之后的信息；2）噪聲混淆，對輸入樣本或輸出的概率向量中添加微小的噪聲，從而干擾準確的信息。查詢控制：依賴使用者的查詢記錄，通過對樣本特征或行為特征的分析，完成對數據泄露攻擊的識別和防御。查詢控制防御主要包含兩類：異常樣本檢測和查詢行為檢測。異常樣本檢測利用攻擊者通常會對正常的樣本進行有目的地修改這一特點，對正常樣本的修改改變了樣本的特征，樣本特征之間的距離分布可以用來判斷用戶是否正在實施攻擊；行為檢測技術利用攻擊者查詢行為與正常行為會有較大不同，例如：訪問的數量與頻次等信息。模型

223、提供者通過對用戶查詢次數、頻率、時長等因素進行限制，從而提升攻擊者的攻擊成本。4.6模型竊取攻擊模型竊取攻擊模型竊取攻擊描述模型竊取攻擊是指攻擊者通過訪問模型的查詢接口、觀察模型的輸出行為或使用生成的對抗樣本等方法，來推斷出模型的內部結構和參數，從而實現對模型的竊取。2023 云安全聯盟大中華區版權所有108攻擊流程如下：1、獲得權限與數據：攻擊者可能通過合法或非法手段獲取到 AI 大模型的訪問權限，包括模型的查詢接口或訓練數據。2、模型輸出探測：攻擊者通過向模型輸入一系列樣本數據，并觀察模型的輸出結果。攻擊者可能會探索不同的查詢方式、輸入數據的變化和模型的響應，以獲取更多關于模型行為的信息。

224、3、推理模型結構：基于觀察到的模型輸出和相關的背景知識，攻擊者試圖通過機器學習、逆向工程或其他推理手段推斷出模型的內部結構，包括模型的架構、層數、激活函數、參數等。4、復制重建模型：使用模型結構與參數對模型進行重建或復制。攻擊帶來的風險1、競爭優勢的喪失：通過模型竊取攻擊使得攻擊者能夠獲取目標模型的知識和技術，無需投入大量時間和資源來獲得與目標模型相似的能力和性能，從而可能導致模型擁有者的競爭優勢喪失。2、潛在的社會風險：攻擊者可以使用竊取的模型進行惡意行為或非法用途，如：在金融領域，攻擊者可以使用到風險評估模型來規避安全檢測和欺騙系統，從而獲得未授權的訪問權限或進行欺詐行為，可能對個人、組織

225、或整個社會造成嚴重損失。防御手段1、訪問控制：使用身份驗證、訪問令牌、IP 過濾等機制，限制對 AI 大模型的訪問權限，確保只有授權的用戶或系統可以訪問模型。2023 云安全聯盟大中華區版權所有1092、模型加密：可使用可信計算環境，如 TEE 技術，對模型以及輸入&輸出內容進行保護，防止以防止攻擊者通過觀察模型輸出或分析模型參數來竊取模型。3、對抗竊取檢測：開發模型竊取檢測算法，通過監測模型查詢的模式、檢測異常查詢行為或比較模型輸出的一致性來進行模型竊取的檢測，以監測和識別潛在的模型竊取行為。4、安全審計和監控：建立安全審計和監控機制，對模型的訪問和使用進行監測和記錄。及時檢測和響應異常行為

226、，以防止模型竊取攻擊的發生。4.7 AI 倫理倫理/對齊對齊1.背景過去十年中，人工智能取得了快速而顯著的發展，逐漸滲透到各個學科和社會各個方面，如機器學習、自然語言處理和計算機視覺等技術的應用。人工智能已經廣泛應用于商業、物流、制造、交通、醫療、教育、國家治理等領域，逐漸接管人類任務并取代人類決策。然而，人工智能的發展也帶來了一系列重大的倫理問題和風險。近年來，已經出現了許多人工智能產生不良結果的案例。例如，特斯拉汽車的一起事故中，自動駕駛系統未能識別迎面而來的卡車，造成司機死亡。微軟的 AI 聊天機器人Tay.ai 在加入 Twitter 不到一天后就變成了種族主義和性別歧視者，被迫下架。

227、還有其他許多例子涉及人工智能系統的公平、偏見、隱私和其他倫理問題。更為嚴重的是，人工智能技術已經開始被犯罪分子用來傷害他人或社會，如利用基于AI 的軟件冒充某公司首席執行官的聲音進行欺詐。因此，解決人工智能帶來的倫理問題和風險，使其在倫理規范的導向下發展和應用，變得非常緊迫和重要。人工智能倫理涉及的內容廣泛，可以大致分為兩個方面：人工智能倫理學和倫理人工智能。人工智能倫理學研究與人工智能相關 2023 云安全聯盟大中華區版權所有110的倫理理論、指導方針、政策、原則、規則和法規。倫理人工智能研究如何遵循倫理規范來設計和實現行為合乎倫理的人工智能。人工智能倫理學是構建倫理人工智能的先決條件，它涉

228、及倫理或道德價值觀和原則，決定了倫理道德上的對與錯。只有有了適當的人工智能倫理價值觀和原則，才能通過一些方法和技術來設計或實踐倫理人工智能。2.AI 倫理問題的分類根據 Changwu Huang 教授的觀點，人工智能系統主要服務于個人或社會公眾。因此，我們可以從個人和社會的角度分析和討論人工智能倫理問題。同時，作為地球上的實體，人工智能產品不可避免地會對環境產生影響。因此，還需要考慮環境方面相關的倫理問題。因此我們可以將人工智能倫理問題分為三個不同層次，即個人、社會和環境層面的倫理問題。個人層面的倫理問題主要包括 AI對個人及其權利和福祉產生不良后果或影響的問題。社會層面的人工智能倫理問題考

229、慮了人工智能為群體或整個社會帶來或可能帶來的不良后果。環境層面的人工智能倫理問題關注人工智能對自然環境的影響。2023 云安全聯盟大中華區版權所有111圖 6 人工智能倫理問題1)個人層面的 AI 倫理問題在個人層面，人工智能對個人的安全、隱私、自主權和人格尊嚴產生了影響。人工智能應用給個人安全帶來了一些風險，例如自動駕駛汽車和機器人可能導致人身傷害事故。隱私問題也是人工智能帶來的重大風險之一。為了提高性能，人工智能系統通常需要大量數據，其中可能包括用戶的私人數據。然而，這種數據收集存在嚴重的隱私和數據保護風險。此外，人工智能的應用可能對人權產生挑戰，如自主權和尊嚴。自主權是指獨立、自由且不受

230、他人影響的思考、決策和行動的能力。當基于人工智能的決策在我們的日常生活中被廣泛采用時，我們的自主權可能受到限制。作為主要人權之一，人的尊嚴是指一個人受到尊重和以合乎 2023 云安全聯盟大中華區版權所有112道德的方式對待的權利。在人工智能的背景下，保護尊嚴至關重要。人的尊嚴應該是保護人類免受傷害的基本原則，在開發人工智能技術時應該受到尊重。例如，致命的自主武器系統可能違反人的尊嚴原則。2)社會層面的 AI 倫理問題在考慮社會層面的人工智能倫理問題時，我們主要關注人工智能為社會以及世界各地社區和國家的福祉帶來的廣泛后果和影響。在社會層面的倫理問題分類下，我們討論公平與正義、責任與問責、透明度、

231、監控與數據化、人工智能的可控性、民主與公民權利、工作替代與人際關系。人工智能存在偏見和歧視，對公平正義提出了挑戰。人工智能中嵌入的偏見和歧視可能會增加社會差距并對某些社會群體造成傷害。例如，在美國刑事司法系統中，用于評估犯罪風險的人工智能算法已被注意到表現出種族偏見。責任意味著對某事負責。為參與者分配責任對于塑造算法決策的治理非常重要?；谶@一概念，問責制是對損害負有法律或政治責任的人必須提供某種形式的正當理由或補償的原則，并通過提供法律補救措施的責任體現出來。因此，應建立機制以確保人工智能系統及其決策后果的責任和問責制。由于人工智能算法的黑盒性質，缺乏透明度已成為廣泛討論的問題之一。透明度，

232、即對人工智能系統如何工作的理解，對于問責制也至關重要。監控和數據化是我們生活在數字化和智能化時代的所面臨的問題之一。數據是通過智能設備從用戶的日常生活中收集的，這導致我們生活在大規模監控中。隨著人工智能的力量迅速增強，人工智能系統的發展必須要保障和確保人工智能系統的人類可控性。其他問題，包括民主和公民權利、工作替代和人際關系，也屬于社會層面的問題。3)環境層面的 AI 倫理問題環境層面的人工智能倫理問題關注人工智能對環境和地球的影響。人工智能可以為我們的生活帶來很多便利，可以幫助我們應對一些挑戰，但它也給地球帶來了負擔。人工智能的廣泛應用往往需要部署大量的硬件終端設備，包括芯片、2023 云安

233、全聯盟大中華區版權所有113傳感器、存儲設備等，這些硬件的生產消耗了大量的自然資源，尤其是一些稀有的元素。此外，在這些硬件的生命周期結束時，它們通常會被丟棄，這可能會造成嚴重的環境污染。另一個重要的方面是人工智能系統通常需要相當大的算力，這伴隨著高能耗。此外，從長遠和全球的角度來看，人工智能的發展應該是可持續的，即人工智能技術必須滿足人類發展目標，同時保持自然系統提供經濟和社會所依賴的自然資源和生態系統服務的能力。綜上所述，人工智能發展所涉及的自然資源消耗、環境污染、能源消耗成本和可持續性是環境層面的主要問題和關注點。3.解決人工智能倫理問題的技術手段通過新技術尤其是機器學習技術，以消除或減輕

234、當前 AI 的缺點，規避相應的倫理風險。例如，對可解釋機器學習的研究旨在開發新的方法來解釋機器學習算法的原理和工作機制，以滿足透明或可解釋性原則。公平機器學習研究使機器學習能夠做出公平決策或預測的技術，即減少機器學習的偏見或歧視?，F有技術方法方面的工作主要集中在幾個重大和關鍵的問題和原則上（即透明度、公平正義、非惡意、責任和問責、隱私），其他問題和原則很少涉及。因此，我們僅對涉及上述五項關鍵倫理原則的技術方法進行簡要總結。表 4 五原則原則包含領域TransparencyExplainableAI or interpretable AIFairness&JusticeFair AINon-ma

235、leficenceSafe AI 2023 云安全聯盟大中華區版權所有114SecureAIRobustAIResponsibility&AccountabilityResponsibleAIPrivacyDifferentialPrivacyFederatedor Distributed LearningHomomorphicEncryption4.8AI 輔助安全輔助安全1.簡介人工智能（Artificial Intelligence，簡稱 AI）正日益滲透到我們生活的方方面面，從駕駛到醫療再到客服，AI 輔助技術已經成為現代社會的重要組成部分。然而，隨著 AI 技術的迅速發展，我們也面臨

236、著一系列與 AI 相關的安全問題。在 AI輔助駕駛、AI 醫療輔助和 AI 智能客服等領域，確保 AI 系統的安全性至關重要。自動駕駛汽車被認為是未來交通的一個重要發展方向，可以提高交通效率、減少事故，并改善行車體驗。然而，確保自動駕駛汽車的安全性是一個巨大的挑戰。AI 系統需要能夠準確地感知周圍的環境、做出適當的決策并控制汽車的行駛。任何一個系統錯誤或漏洞都可能導致嚴重的后果，甚至危及人們的生命安全。因此，確保 AI 輔助駕駛系統的安全性是至關重要的，包括對 AI 算法進行充分測試和驗證，強調數據的質量和可靠性，以及加強網絡安全防護。AI 醫療輔助也是一個重要的應用領域。借助 AI 技術，醫

237、療領域可以提高診斷準確性、優化治療方案，并協助醫生做出更好的決策。然而，在使用 AI 進行 2023 云安全聯盟大中華區版權所有115醫療輔助時，安全問題也需要引起我們的關注。不正確的診斷或治療建議可能對患者的健康產生嚴重影響。因此，確保 AI 醫療輔助系統的安全性至關重要。這包括確保 AI 算法的準確性和可信度，保護患者隱私和數據安全，以及監督和審查 AI 系統的使用。AI 智能客服已經廣泛應用于各個行業，為客戶提供快速和個性化的服務。然而，雖然 AI 智能客服可以提高效率和用戶體驗，但也面臨一些安全風險。例如，未經授權的訪問和濫用個人信息的風險。確保 AI 智能客服系統的安全性涉及到保護用

238、戶隱私和數據安全，制定合適的數據使用政策，以及監測和防止惡意攻擊。本文將從這三個方面，對 AI 輔助安排進行介紹。同時，AI 輔助安排不僅涉及到技術層面的安全措施，還需要政府、學術界和產業界的緊密合作，共同制定相關法規和標準，推動 AI 技術的可持續和負責任的發展。只有通過共同努力，我們才能充分利用人工智能的潛力，并創造一個安全可靠的 AI 時代。2.Ai 輔助駕駛安全問題AI 輔助駕駛技術的迅速進步正在汽車領域掀起一場革命，為我們提供了更多自動化和便捷，但與此同時，也帶來了一系列潛在的安全問題。本文將詳細探討這些問題，借助實際案例來闡釋它們的重要性和實際影響。誤識別和感知問題：AI 輔助駕駛

239、系統的核心任務是感知和識別周圍環境。然而，在某些情況下，這些系統可能出現誤識別問題，未能準確辨認道路上的障礙物、其他車輛或行人，從而可能導致危險局面。在 2018 年，一起特斯拉 Model X 的致命事故發生在加利福尼亞。該車正在使用自動駕駛功能，但未能識別并規避一段道路上的損壞護欄，結果車輛撞上護欄，發生火災，并造成駕駛員喪生。事故調查顯示，車輛的感知系統未能正確辨識護欄，這導致了事故的發生。數據質量和完整性問題：AI 輔助駕駛系統依賴高質量的地圖和傳感器數 2023 云安全聯盟大中華區版權所有116據，以進行實時的導航和感知。然而，如果這些數據不準確、陳舊或不完整，系統可能會做出錯誤的決

240、策。在 2019 年，一輛特斯拉 Model 3在使用自動駕駛功能時碰撞到了一輛停在道路上的滅火器。事故調查揭示了一個問題，即滅火器并未包括在車輛的地圖數據庫中，因此系統未能識別它。這一案例突顯了 AI 輔助駕駛系統對于準確和實時地圖和傳感器數據的重要依賴。人機界面問題：人機界面是駕駛員與 AI 輔助駕駛系統之間的紐帶，應該提供明確的信息和指導，以確保駕駛員了解系統的功能和限制。如果界面設計不清晰或混亂，可能導致駕駛員的誤解或混淆，降低系統的安全性。有些車型的人機界面設計可能不夠直觀，導致駕駛員對系統的功能和限制了解不足。這可能導致駕駛員在需要時無法有效地介入，或者錯誤地過度依賴系統，增加事故

241、的風險。安全漏洞和黑客攻擊：隨著汽車的互聯化，AI 輔助駕駛系統面臨著黑客攻擊的威脅。如果黑客能夠入侵車輛的控制系統，他們可能能夠遠程操控車輛，威脅駕駛員和乘客的生命安全。在 2020 年，一名安全研究人員成功黑客入侵了一輛特斯拉 Model 3，通過漏洞遠程控制了車輛的功能。這個案例引發了對汽車網絡安全的關切，凸顯了 AI 輔助駕駛系統可能受到網絡攻擊的風險。過度信任問題：一些駕駛員可能過度依賴 AI 輔助駕駛系統，錯誤地認為這些系統可以應對所有情況。這種過度信任可能導致駕駛員在需要時無法迅速介入，尤其是在緊急情況下。過度信任問題在許多事故中都起到了作用，因為駕駛員可能過度依賴系統，忽視了對

242、道路和其他車輛的監控。這種行為可能增加事故的風險。法律和責任問題：涉及到事故責任時，AI 輔助駕駛系統引發了復雜的法 2023 云安全聯盟大中華區版權所有117律爭議。確定責任可能會變得復雜，因為問題涉及到制造商、駕駛員和系統之間的責任分配。當發生事故時，制造商和駕駛員之間的責任分配可能會引發爭議。如果系統出現故障或誤識別，責任的劃分可能會成為法律問題。3.Ai 輔助醫療診斷安全問題a.引言在當今社會中，人工智能（AI）已經開始在醫療領域發揮越來越重要的作用。AI 醫療輔助診斷系統能夠幫助醫生更快速、更準確地診斷疾病，并提供個性化的治療建議。然而，與 AI 的廣泛應用相關的安全問題也不容忽視。

243、本章將重點關注因 AI 問題導致的安全問題，探討 AI 醫療輔助診斷的安全挑戰和解決方案。1.數據隱私和保護數據隱私和保護是指在處理和存儲敏感數據時采取措施，以確保這些數據不被未經授權的訪問、泄露或濫用。在 AI 醫療輔助診斷領域，數據隱私和保護至關重要，因為醫療數據包含患者的個人健康信息，如病歷、診斷、藥物處方等，這些信息必須嚴格保護。隱私泄露：AI 系統需要訪問患者的敏感健康數據。如何確保這些數據的安全和隱私成為一個重要問題。案例 1：Bleeping Computer 網站披露，加利福尼亞州 Heritage Provider Network（全美最大的綜合醫療服務網絡之一）中多個醫療機

244、構遭遇勒索軟件攻擊，大量患者敏感信息泄露。1案例 2：安全研究人員耶利米福勒（Jeremiah Fowler）在 Secure Thoughts 上發表文章稱，他發現近 260 萬條包含姓名、醫療診斷記錄、保險記錄和支付記錄在內的個人病歷數據被泄露了。福勒指出，不少被泄露的數據都指向一家名叫 2023 云安全聯盟大中華區版權所有118Cense 的美國 AI 公司。2 數據濫用：存在濫用患者數據的風險，例如未經授權的數據訪問或用于營銷目的。案例：雷峰網消息，谷歌在未經授權的情況下，非法使用了 160 萬份 NHS（National Health Service，即英國國家醫療服務體系）患者的機

245、密醫療記錄，并且將因此面臨集體訴訟。3 數據匿名化：匿名化數據以保護患者隱私，但如何確保匿名化的有效性以及避免重新識別是挑戰之一。案例：有一些成熟的平臺和工具，可以實現數據的去標識化，從而保護患者的隱私安全。去識別化功能包括刪除敏感信息，例如姓名和社會保險號，這些信息可能直接或間接地將個人與其個人數據聯系起來。去標識化平臺可以以極高的準確性匿名化文本內容中的敏感數據。42.模型安全性模型安全性是指確保機器學習和人工智能模型在其設計、訓練、部署和運行過程中能夠抵御各種安全威脅和攻擊的能力。模型安全性是人工智能安全的重要組成部分，關注如何保護模型的完整性、保密性、可用性以及防止模型被惡意利用或攻擊

246、。對抗性攻擊：AI 模型容易受到對抗性攻擊，攻擊者可能通過修改輸入數據來誤導模型，從而導致錯誤的診斷。案例：據紐約時報3 月 21 日報道，科學家們開始擔心，越來越多被應用到醫療保健服務中的 AI 技術，可能是一把雙刃劍。除了幫助醫生高效工作，它更有可能被蓄意操縱，導致誤診，以及其他更嚴重的后果。5 2023 云安全聯盟大中華區版權所有119 模型解釋性：AI 模型通常是黑盒模型，難以解釋其決策過程。這可能引發不信任和安全擔憂。案例：當醫生拿出一張 CT 掃描照片，向患者告知“根據人工智能算法的判斷，您可能患病了”，病人會相信這一結果嗎？是否需要醫生進一步向患者解釋，這一算法依賴于哪些參數，使

247、用了哪些函數，是如何得出這一診斷結果的？令普通人困惑的原因在于，輸入的數據和答案之間的不可觀察空間。這樣的空間通常被稱為“黑箱”（black box）。63.數據質量和可信度數據質量和可信度是關于數據的兩個重要方面。數據質量是指數據的準確性、完整性、一致性、可用性和可靠性程度；數據可信度是指數據的可信程度和可靠性，它關注數據的來源、收集方法以及數據的背景信息。高質量和可信的數據對于建立可靠的模型和進行準確的分析至關重要。噪音數據：醫療數據中可能存在噪音，包括錯誤或不準確的標簽。如何處理這些數據以確保診斷的準確性？案例：近日，一篇發表在自然子刊自然機器智能的論文指出，華盛頓大學的研究人員對人工智

248、能（AI）檢測新冠病毒模型研究發現，這些模型存在不穩定性，可能會導致診斷失誤的現象。關于誤診的原因，研究人員認為，主要是大部分模型只是依靠數據的分析和對于患者的胸片標注特征等數據，對患者是否感染新冠病毒進行判斷，而不是根據真正的醫學病理去診斷、分析。7 模型偏差：如果 AI 系統訓練數據中存在偏差，可能導致不平等的診斷結果，從而引發道德和法律問題。常見的問題來自不均衡的數據集，比如在一個有關醫療的訓練數據集中，某些人群沒有樣本表示。例如采用白種人患者數據.進行訓練的模型，可能在其他種 2023 云安全聯盟大中華區版權所有120族患者中效果不佳。84.法規和合規性法規和合規性（Regulatio

249、ns and Compliance）是指在任何領域，特別是在科技、醫療、金融和數據處理等領域，遵循和遵守相關法律、法規和行業標準的重要性。醫療法規：AI 醫療輔助診斷需要遵守嚴格的醫療法規。如何確保 AI 系統的合規性是一個挑戰。案例：醫務人員在實際使用醫療 AI 產品過程中造成患者損害的，一般由醫療機構承擔醫療損害責任，但如果上述醫療損害系由醫療 AI 產品本身的缺陷導致的，醫療機構有權向醫療 AI 產品的生產者或銷售者進行追償。9法規：醫療事故處理條例規定，由于醫療機構及其醫務人員使用產品的過程中，違反醫療衛生管理法律、行政法規、部門規章和診療護理規范、常規，過失給患者造成人身損害的事故，

250、醫院應當向患者承擔民事賠償責任。情節嚴重的情況下，負有責任的醫院和醫務人員可能承擔行政責任（如限期停業整頓、吊銷執業許可等）甚至可能承擔刑事責任（醫療事故罪）。10 透明度和報告：需要透明的報告機制來記錄 AI 系統的決策和結果，以滿足法規要求。案例：醫療機構使用 AI 系統進行診斷，但缺乏透明度和報告機制，醫生無法了解 AI 系統的決策過程，也無法驗證其診斷。115.數據安全數據安全是確保數據的機密性、完整性和可用性的過程和措施。數據安全旨在保護數據免受未經授權的訪問、篡改、破壞或泄露的威脅。2023 云安全聯盟大中華區版權所有121 數據存儲和傳輸：如何安全地存儲和傳輸醫療數據，以防止數據

251、泄露或被惡意訪問。案例：2020 年，醫療影像 AI 公司匯醫慧影被黑客入侵，有消息提到，該公司的新冠病毒檢測技術數據，正在被黑客以四個比特幣（時價約合人民幣 21.8 萬元）的價格在線出售。之后，匯醫慧影對此做出回應，稱四月中旬，公司在境外公有云遠程部署培訓公益平臺過程中，遭到了黑客的攻擊。但黑客盜取的僅是培訓資料，沒有 AI 源代碼，更沒有客戶數據。12 數據備份：數據備份和災難恢復計劃對于確保數據的安全性至關重要。案例：一個醫院數據庫損壞的真實案例-某醫院的值班人員半夜 11 點接到多個療區及門診醫生電話，反饋醫生站系統報錯。值班人員遂聯系信息科工程師及管理人員到場，檢查發現：數據庫系統

252、日志突然劇增，導致整個存儲盤爆滿。工程師進行了刪除日志、附加數據庫的操作，結果提示錯誤。反復操作多次，系統仍然報錯。如果再不盡快恢復，天亮后患者前來就診，門診醫生站依然存在故障，那將是一次很大的事故。13b.AI 醫療輔助診斷安全問題的解決方案1.數據隱私和保護 數據加密：采用強加密算法來保護醫療數據的傳輸和存儲。訪問控制：建立嚴格的訪問控制機制，限制只有授權人員可以訪問患者數據。數據匿名化技術：采用先進的數據匿名化技術，確?；颊唠[私不受侵犯。2.模型安全性 對抗性訓練：訓練模型以抵抗對抗性攻擊，增加模型的魯棒性。2023 云安全聯盟大中華區版權所有122 可解釋性工具：開發可解釋性工具，幫助

253、醫生理解 AI 模型的決策過程。3.數據質量和可信度 數據清洗和驗證：對醫療數據進行清洗和驗證，以去除噪音和偏差。多樣性數據：確保訓練數據具有多樣性，以減少模型偏差。4.法規和合規性 合規審查：進行定期的合規審查，確保 AI 系統符合醫療法規。報告機制：建立詳盡的報告機制，記錄系統的決策和結果。5.數據安全 數據備份和恢復：制定有效的數據備份和災難恢復計劃，確保數據安全性和可用性。c.結論AI 醫療輔助診斷具有巨大的潛力，但也伴隨著一系列安全問題。解決這些問題需要多領域的合作，包括技術、法律和倫理層面。只有通過綜合性的安全措施，我們才能充分利用 AI 技術來提高醫療診斷的準確性和效率，同時保護

254、患者的隱私和數據安全。4.Ai 輔助客服安全問題隨著人工智能（AI）技術的快速發展，越來越多的企業開始將其應用于客服領域，以提高效率、降低成本并改善客戶體驗。AI 輔助客服系統通過語音識別和自然語言處理技術，可以幫助企業實現自動化的客戶服務。然而，這些系統在提高客戶服務質量的同時，也存在一定的安全隱患。數據泄露：數據泄露是 AI 輔助客服系統中最常見的安全問題之一。由于 2023 云安全聯盟大中華區版權所有123AI 輔助客服系統需要處理大量的用戶數據，包括個人信息、聯系方式、交易記錄等，如果系統的安全性不足，可能導致數據泄露。例如，2017年美國一家知名在線零售商發生了一起嚴重的數據泄露事件

255、，導致約1400 萬用戶的個人信息被泄露（案例來源：賽門鐵克2017 年互聯網安全威脅報告）。隱私侵犯：AI 輔助客服系統在提供便捷服務的同時，也可能侵犯用戶的隱私權。例如，一些 AI 輔助客服系統可能會在未經用戶同意的情況下收集用戶的通話記錄、短信內容等敏感信息。此外，如果系統在處理用戶信息時出現錯誤，可能會導致用戶隱私泄露。例如，2018 年中國一家知名手機制造商的 AI 輔助客服系統因處理用戶信息不當，導致部分用戶的通訊錄、短信等信息被泄露（案例來源：新華社2018 年中國網絡安全狀況報告）。語音識別誤差：雖然語音識別技術已經取得了很大的進步，但仍然存在一定的誤差率。這可能導致 AI 輔

256、助客服系統誤解用戶的意圖，從而影響用戶體驗。例如，2016 年美國一家電信公司發生了一起涉及 AI 輔助客服系統的投訴事件，用戶表示自己的電話被錯誤地轉接到了錯誤的部門（案例來源：英國金融時報）。人工干預失誤：盡管 AI 輔助客服系統可以在一定程度上減少人工干預的需求，但在某些情況下，仍然需要人工干預以確保服務質量。然而，由于 AI 輔助客服系統的局限性，人工干預可能會出現失誤。例如，2019年美國一家航空公司的客服人員在處理 AI 輔助客服系統推薦的航班延誤方案時出現了失誤，導致部分乘客的行程受到影響（案例來源：美國消費者新聞與商業頻道）。法律合規風險：AI 輔助客服系統在提供服務的過程中，

257、需要遵守相關的 2023 云安全聯盟大中華區版權所有124法律法規。然而，由于 AI 技術的復雜性，確保系統完全符合法律法規可能存在一定難度。例如，2018 年中國一家知名快遞公司的 AI 輔助客服系統因未按照相關規定處理用戶投訴而被罰款（案例來源：中國新聞網）。機器學習偏差：AI 客服系統中的機器學習模型可能受到數據偏差的影響，導致不公平或偏向性的決策，如在客戶支持中對某些人群提供不平等的服務。例如，ChatGPT 模型由于在某些語言樣本上的訓練不足，會受到數據偏差和樣本選擇偏差的影響，因此生成的文本可能存在歧義或不準確性。14-155.其他相關 AI 輔助安全問題AI 輔助金融服務在提高金

258、融業務效率、降低成本和優化客戶體驗方面發揮了重要作用。然而，隨著 AI 技術的廣泛應用，也伴隨著一些安全問題。一、數據安全1.數據泄露：AI 輔助金融服務依賴于大量客戶數據，如交易記錄、信用評分等。如果數據存儲和傳輸過程中出現安全漏洞，可能導致數據泄露。例如，2017 年Equifax 公司曾遭受大規模數據泄露事件，導致約 1.47 億美國人的個人信息被泄露。2.數據篡改：攻擊者可能通過 AI 技術篡改客戶數據，以達到欺詐或其他非法目的。例如，2018 年一家美國金融科技公司發現其 AI 系統被黑客入侵，導致部分客戶的信用評分被篡改。3.隱私侵犯：AI 輔助金融服務在收集和分析客戶數據時，可能

259、侵犯客戶隱私。例如，2019 年 Facebook 因未能充分保護用戶數據而受到德國聯邦貿易委員會的處罰。二、算法安全 2023 云安全聯盟大中華區版權所有1251.模型偏見：AI 輔助金融服務中的算法可能存在偏見，導致對某些群體的不公平對待。例如，2016 年美國總統選舉期間，谷歌的面部識別系統因存在性別和種族偏見而受到廣泛關注。2.預測失誤：AI 輔助金融服務中的算法可能出現預測失誤，導致損失或風險。例如，2015 年摩根大通銀行因 AI 系統預測錯誤而支付了 2 億美元的風險賠償。三、系統安全1.惡意攻擊：AI 輔助金融服務系統可能受到惡意攻擊，導致系統癱瘓或數據損壞。例如，2017 年

260、一家歐洲銀行因遭受勒索軟件攻擊而導致系統癱瘓，無法為客戶提供服務。2.操縱市場：AI 輔助金融服務可能被用于操縱市場價格或內幕交易。例如，2010年一名高頻交易員因使用 AI 技術操縱股票市場而被判刑。四、合規風險1.法規遵從性：AI 輔助金融服務需要遵循多個國家和地區的法規要求，如歐盟的通用數據保護條例（GDPR）。企業需要確保 AI 系統符合相關法規要求，否則可能面臨巨額罰款和聲譽損失。例如，2018 年微軟因違反 GDPR 被法國政府處以 8.7 億歐元的罰款。2.風險管理：AI 輔助金融服務需要對潛在的法律、道德和社會風險進行有效管理。例如，2019 年摩根大通因 AI 系統推薦不良貸

261、款而受到監管審查。五、責任歸屬1.責任界定：AI 輔助金融服務中的責任歸屬問題尚不明確。例如，2016 年一名Uber 司機在自動駕駛模式下發生事故，導致行人受傷。責任歸屬于誰，以及如何劃分法律責任成為爭議焦點。2023 云安全聯盟大中華區版權所有1262.透明度和可解釋性：AI 輔助金融服務的決策過程往往較為復雜，難以解釋。這可能導致消費者對金融機構的信任度下降，從而影響業務發展。例如，2018 年一家美國信用卡公司因拒絕為一位患有肺癌的女性提供信用卡服務而被起訴。六、金融領域 問題：在金融領域，高頻交易和算法交易系統可能存在風險，可能引發市場波動。案例 1：2000 年后的最初幾年，高頻交

262、易占美國股票市場交易量不過 10%。2009 年，美國證券交易委員會（SEC）公布的數據顯示，美國股票市場上高頻交易的日均交易量占總日均交易量的 50%以上，而根據調查分析有相當比例的用戶使用了算法進行自動交易。根據市場研究機構 TABBGroup 的數據，20052009 年，美國股票市場中高頻交易量所占份額已經從 21%猛增到 2009 年的 61%。16 案例 2：算法交易和高頻交易的出現對市場產生了重大影響，并改變了市場的金融結構，提高了市場的復雜性和波動性，監管機構更難監管。2010 年 5 月 6 日，道瓊斯指數的閃電崩盤可以歸因于高頻交易。16 解決方案：實施監管措施，限制算法交

263、易的速度和頻率，以減輕市場波動風險。七、軍事和安全領域 問題：在軍事和國家安全領域，使用 AI 進行決策和戰略規劃可能涉及國家安全問題。案例 1：美國軍方高調推出了包括基于人工智能的“算法戰”“馬賽克戰”“聯合全域作戰”等新型作戰概念，企圖在人工智能軍事應用領域形成對中、俄等國的先發優勢。17 2023 云安全聯盟大中華區版權所有127 案例 2：以雷 庫茲韋爾（RayKuzwill）和尼克 博斯特羅姆（Nick Bostrom）為代表的專家認為，根據加速回歸定律下的技術進化理論，人工智能在未來某個時候將會突破“技術奇點，甚至智能爆發后會進化出某種高級智能形態，形成“超級智能”（superin

264、telligence），具備人類無法理解或控制的能力，把人類遠遠甩在后面。當人工智能具有獨立思考能力時，使用人工智能對國家安全問題進行決策和戰略規劃，會在未來帶來極高的風險。17 解決方案：建立強大的安全性和準確性控制，確保 AI 系統不能被惡意利用或被攻擊。八、能源和基礎設施領域 問題：AI 輔助的能源和基礎設施管理可能受到網絡攻擊威脅，可能影響關鍵設施的運行。案例：相比傳統能源關鍵基礎設施，用于智能電子設備互連互通的網元(無線接入點、工業交換機、路由器、網管服務器等)成為新型能源關鍵基礎設施的重要組成部分。攻擊者可以利用主動配電調控的強動態性發起攻擊，攻擊者通過虛假 IP 地址偽裝用電終端

265、，誘使能源關鍵基礎設施預先在不需要太多電能的區域或時段配置較多的電能，從而導致電力調度失衡，造成大面積停電。18 解決方案：實施網絡安全措施和應急計劃，以確保能源和基礎設施的穩定運行。九、社交媒體和網絡領域 問題：社交媒體平臺使用 AI 算法來推薦內容，可能導致信息過濾、偏見和虛假信息傳播。2023 云安全聯盟大中華區版權所有128 案例：在印度上次競選期間，英國科技公司 Logically 在超過 100 萬篇的文章中發現虛假新聞有 50,000 個，經過分析，其中大部分虛假新聞是通過 AI 自動生成的文本。Logically 開發了一種結合人工智能和人類智能的解決方案，以驗證新聞、社會討論

266、和網絡圖像的真實性。用戶可以從應用商店下載免費程序，通過將目標檢測內容上傳至應用程序來驗證內容的真實性。該公司還有一個 Chrome 瀏覽器擴展程序，可在 160,000 多個社交平臺和新聞網站上運行，以對新聞報道進行事實性核查。19 解決方案：加強內容審核和濫用檢測，提高算法的透明度，以減輕虛假信息和過濾問題。5 AI 安全的行業發展安全的行業發展人工智能安全是一個快速發展的行業，需要不斷創新和投入研發。隨著人工智能技術的進一步發展和普及，人工智能安全將成為一個重要的領域，為保護人工智能系統和用戶提供更安全的環境。5.1監管監管發展發展人工智能安全的規劃和發展需要一個多視角的方法。最少應從以

267、下法律法規、政策指引、行業標準、國際共識等多個方面進行考慮，應對人工智能安全的多重挑戰。在法律上，需要實施全面的法規來管理人工智能安全實踐。在政策指引上，人工智能的設計必須確保公平和透明，避免偏見和歧視。在行業標準上，要確保行業特性與行業發展。在國際共識上，應為制定相關政策、法規和技術標準的制定提供指導與參考，形成有機的人工智能安全生態環。2023 云安全聯盟大中華區版權所有1295.1.1法律法規法律法規歐洲議會 2023 年 6 月 14 日通過了人工智能法案的初稿。有望成為世界首個針對這一新興技術的全面監管法案，人工智能法案是一項關注人工智能安全開發和應用的法律，如 ChatGPT 和

268、Bard。它對風險最高的技術使用施加了限制，例如面部識別軟件的使用。該法律還要求 OpenAI 和谷歌等公司必須進行風險評估，并披露更多用于創建程序的數據。人工智能安全也將由人工智能法案開始了蝴蝶效應，并且我們應看到不同國家和地區的人工智能法案一定會不同，就像歐盟 通用數據保護條例（GDPR）對數據保護監管的作用一樣。人工智能法案確保在歐洲開發和使用的人工智能完全符合歐盟的權利和價值觀，包括人類監督、安全、隱私、透明度、非歧視以及社會和環境福祉。而今后不同國家與地區的相關法案必然在市場監管、責任追究、隱私保護、倫理規范等多方面定義不同法律管轄權的相關法案及法律，其中應包括但不限于以下幾個方面：

269、市場監管：人工智能法案設立了相應的機構或機制，負責監管人工智能技術和應用的市場行為，確保人工智能技術的安全和合規運行，并防止壟斷和不正當競爭的發生。未來人工智能市場監管將趨于嚴格與控制，尤其是大模型與生成式模型的應用。責任追究：人工智能系統的錯誤或不當使用可能對個人、組織或社會造成損害，人工智能法案規定了人工智能系統開發者和使用者的責任，包括追究開發者和使用者在人工智能系統運行中的行為。未來隨著不同地區法律與法規的不斷建全，責任追究必將成為執法的重要考量依據。隱私保護：人工智能技術的普及和應用給個人隱私帶來了新的挑戰，人工智能法案加強了對個人數據的保護，明確了個人數據的使用和共享原則，并規定了

270、 2023 云安全聯盟大中華區版權所有130人工智能系統應遵循的隱私保護措施。未來隨著隱私保護的不斷落實，數據安全與隱私保護將成為企業管理的重要工作之一。倫理規范：人工智能技術的快速發展和廣泛應用引發了一系列倫理問題，人工智能法案強調了對人工智能系統的倫理規范，包括遵循公平、正義、透明和非歧視原則，確保人工智能系統的決策過程合理和可解釋。未來隨著倫理規范的不斷加強，人機協作將更加規范與高效。綜上所述，未來的法律和法規將致力于明確責任和追究機制、制定倫理和道德規范、保護個人數據隱私、確保人工智能系統的透明度和可解釋性等多個層面促進人工智能安全的發展和應用。5.1.2政策指引政策指引我國自 201

271、7 年陸續發布新一代人工智能發展規劃、個人信息安全規范、新一代人工智能治理原則、新一代人工智能倫理規范、關于規范和加強人工智能司法應用的意見、算法推薦管理規定、互聯網信息服務深度合成管理規定等大量的政策法規文件均提出了“安全可控”的人工智能治理目標，其中新一代人工智能發展規劃是政策指引的核心文件。它指出人工智能發展的不確定性帶來新挑戰。人工智能是影響面廣的顛覆性技術，可能帶來改變就業結構、沖擊法律與社會倫理、侵犯個人隱私、挑戰國際關系準則等問題，將對政府管理、經濟安全和社會穩定乃至全球治理產生深遠影響。在大力發展人工智能的同時，必須高度重視可能帶來的安全風險挑戰，加強前瞻預防與約束引導，最大限

272、度降低風險，確保人工智能安全、可靠、可控發展。未來人工智能的政策指引應站在人工智能治理角度提出了高層的要求，新一代人工智能發展規劃提出了全面的規劃指引：2023 云安全聯盟大中華區版權所有131公開透明：建立健全公開透明的人工智能監管和評估體系，實行設計問責和應用監督并重的雙層監管結構，實現對人工智能算法設計、產品開發和成果應用等的全流程監管。遠近結合：增強風險意識，重視風險評估和防控，強化前瞻預防和約束引導，近期重點關注對就業的影響，遠期重點考慮對社會倫理的影響，確保把人工智能發展規制在安全可控范圍內。預測趨勢：加強對人工智能技術發展的預測、研判和跟蹤研究，堅持問題導向，準確把握技術和產業發

273、展趨勢。安全防控：加強人工智能網絡安全技術研發，強化人工智能產品和系統網絡安全防護。自律管理：促進人工智能行業和企業自律，切實加強管理，加大對數據濫用、侵犯個人隱私、違背道德倫理等行為的懲戒力度。未來的人工智能安全政策指引將致力于確保人工智能系統的安全性、隱私保護和透明度，同時明確責任和追溯性，并加強國際合作和標準制定，以應對人工智能技術的挑戰和風險。5.1.3行業標準行業標準目前，人工智能安全的行業標準還處于起步階段。人工智能安全（AI 安全）的行業標準的發展是為了確保人工智能系統在設計、開發和應用過程中的安全性和可靠性。國際標準組織（ISO）在人工智能領域已開展大量標準化工作，并專 門成立

274、了 ISO/IEC JTC1SC42 人工智能分技術委員會。目前，與人工智能 安全相關的國際標準及文件主要為基礎概念與技術框架 2023 云安全聯盟大中華區版權所有132類通用標準，在內容上集中在人工智能管理、可信性、安全與隱私保護三個方面。在人工智能管理方面，國際標準主要研究人工智能數據的治理、人工 智能系統全生命周期管理、人工智能安全風險管理等，并對相應的方面提 出建議，相關標準包括 ISO/IEC 38507:2022信息技術治理 組織使用人工 智能的治理影響、ISO/IEC23894:2023人工智能 風險管理等。未來人工智能行業標準不僅僅在 ISO/IEC 組織會定義更加具體、可行的

275、國際標準，我國也將不斷推出人工智能安全相關的行業標準。5.1.4國際共識國際共識CSA 于 2023 年 5 月推出ChatGPT 的安全影響白皮書強調了 GPT 技術在提升生產力和改變軟件開發實踐上的潛力,同時也指出區分其人工智能安全的合法和非法使用的挑戰。ChatGPT 的安全影響 的推出也讓人工智能安全即 AI 安全進入到了人工智能第四個發展階段，即國際共識的產生階段。ChatGPT 的安全影響提供了一些關于人工智能安全的一致意見與重要參考，即：錯誤導致的安全風險：以ChatGPT 的安全影響為例進行說明，ChatGPT是一個功能強大的語言模型，但它也可能被惡意使用或被誤導。不良用戶可能

276、會以惡意方式使用模型，例如生成有害內容、進行網絡釣魚或進行政治操縱。未來人工智能安全的國際共識中隨著 AI 的多樣應用，會有更多的錯誤導致的安全風險應被識別。模型的偏見和不確定性：以ChatGPT 的安全影響為例進行說明，ChatGPT可能會受到數據集中的偏見影響，導致生成的回復存在偏見。模型對于一些輸入可能會表現出不確定性，給出模棱兩可或錯誤的回答。這表明在使用模型時需要注意和處理偏見和不確定性。未來人工智能安全的國際共識中應注重模型的風險 2023 云安全聯盟大中華區版權所有133與挑戰。用戶產生不良影響：以ChatGPT 的安全影響為例進行說明，ChatGPT 的設計使其在與用戶互動時可

277、以受到追隨性和易受影響的問題。這可能導致模型對用戶的不良行為作出回應，或者無意中放大用戶的偏見。未來人工智能安全的國際共識中應用戶產生不良影響。透明度和參與度：以ChatGPT 的安全影響為例進行說明，ChatGPT 的設計需要考慮到透明度和參與度的問題。透明度包括向用戶展示模型如何工作、它的局限性以及可能存在的偏見。未來人工智能安全的國際共識中應透明度和參與度。這些啟示為定義和實施人工智能安全的國際共識提供了參考，未來人工智能安全的國際共識應加強對模型使用的審慎性、透明度和用戶參與等多個方面的考慮。5.2技術發展技術發展PaddleSleeve 介紹介紹基于百度飛槳開源深度學習平臺的安全與隱

278、私工具 PaddleSleeve，以場景為驅動，覆蓋現實風險，支持產業級模型，為企業和開發者打造更為貼近實踐應用的模型安全強化選項，開啟 AI 模型安全與隱私的新探索。目前，PaddleSleeve 已在多個場景中實現對飛槳自定義及預訓練模型，包括 ResNet、YOLO 等通用產業級模型的支持，為 AI 模型安全與隱私保護提供更好的能力支撐。2023 云安全聯盟大中華區版權所有134圖 7 PaddleSleeve AI 模型安全和隱私工具框架介紹PaddleSleeve 融合了業界最前沿的攻擊方法與策略，用于評估模型的安全與隱私性能，并擁有全面、靈活的安全與隱私增強手段。其主要功能包括：1

279、)模型攻擊與評估模型攻擊與評估魯棒性（對抗場景）：集成最新的黑白盒對抗樣本攻擊算法，測試和評估模型在對抗場景下的魯棒性。魯棒性（非對抗場景）：使用光照、噪點、天氣在內的多種擬自然擾動算法，測試和評估模型在非對抗場景下的魯棒性?？梢钥缈蚣苓M行模型比較，如將用戶的飛槳模型與 pytorch、keras 模型進行比較。隱私性：基于梯度泄露和生成對抗網絡的側信道逆向攻擊，測試模型數據被還原的風險；基于影子模型的黑盒推斷與重構攻擊算法，測試模型是否存在關鍵信息泄露風險；支持 AUC、Recall、結構相似度、峰值信噪比（Peak SNR）等隱私攻擊效果評估指標。2)模型防御模型防御 2023 云安全聯盟

280、大中華區版權所有135對抗訓練：支持新訓練、模型精調等方式進行對抗訓練，支持多個業界前沿、性能良好的對抗訓練方法，如 TRADES、AWP 等。圖像重建/噪聲過濾：提供多種對抗噪聲過濾算法，實現非侵入式的對抗魯棒性增強，無需修改模型。隱私增強優化器：提供基于差分隱私擾動、梯度壓縮等方法的一系列隱私增強優化器（如 SGD、Adam、Momentum 等），可便捷地訓練出有效抵御常見隱私竊取攻擊的模型。2 PaddleSleeve 主要功能2.1 對抗樣本生成與防御工具 AdvboxPaddleSleeve 中的 Advbox 提供來多種類型的對抗攻擊擾動，主要包含全局噪點對抗樣本生成和局部 pa

281、tch 對抗樣本生成兩大類。2.1.1 全局噪點對抗樣本生成全局噪點對抗樣本生成PaddleSleeve 中的 Advbox 除了提供經典的包括 FGSM、PGD、CW 等算法之外，還提供了其針對不同計算機視覺任務如目標識別、OCR、圖像分割的優化版本，此外還包括了基于 patch 的擾動生成算法。2.1.1.1 圖像分類和目標檢測圖像分類和目標檢測Advbox 開發了多個針對圖像分類和目標檢測的對抗攻擊算法，通過利用 KL散度、信息熵、歐式距離等度量方式刻畫生成的對抗樣本和輸入樣本之間以及模型輸出之間的差異性；經過多次迭代，得到對抗樣本，獲取目標被攻擊后的分類和檢測結果，實現如圖 2（左）所

282、示。此外，為了增強所生成對抗樣本的遷移能力，我們設計了基于 PGD 的聯合攻擊算法，通過聯合多個模型的輸出并進行加權求和，計算損失值進行對抗學習。為了進一步提升對抗樣本抗擾動能力，我們 2023 云安全聯盟大中華區版權所有136在訓練階段對對抗樣本和經過 EOT 變體的圖像變換后的對抗樣本同時預測并進行橫向比較，從而挑選出在圖像變化前后都可以對目標模型造成干擾的特征，以達到在不增加擾動幅度的條件下學習到最有效的特征，實現如圖 8（右）所示。圖 8 基于 PGD 的對抗樣本生成算法（左）和 EOT 變體的對抗樣本生成算法（右）算法已開源且支持多種經典的 ResNet、VGG 分類算法，SSD、Y

283、olo 系列的檢測算法的攻擊。下圖展示了添加全局噪聲之后所生成的對抗樣本以及擾動可視化結果。其中前兩行分別代表了基于單個模型的對抗樣本結果，最后一行是聯合多個模型所學習到的對抗樣本結果。添加對抗擾動前后，肉眼并不會感知到目標發生的變化，然而模型會很明顯的發生誤檢或漏檢的情況。2023 云安全聯盟大中華區版權所有137圖 9 針對單個和聯合多個檢測模型進行攻擊的的對抗樣本生成結果2.1.1.2 圖像分割圖像分割針對圖像分割場景，Advbox 提供一種針對分割任務的 PGD 優化對抗樣本生成方法，用于去攻擊 BiseNetv2 等圖像分割模型。算法主要針對于全像素的二類別分割模型，分類樣本點數量較

284、多的情況，在損失的構建過程中，并非使用傳統的正樣本點在對應類別下的置信度，而是引入了所有樣本點分別在正負類別下的置信度，即利用樣本在不同類別下的屬性優勢，獲取更接近決策面的樣本點，并進行重點擾動，以增強 PGD 生成對抗樣本的有效性，具體實現框架如圖所示。圖 10PGD 優化的圖像分割對抗樣本生成方法 2023 云安全聯盟大中華區版權所有1382.1.1.3OCR 識別識別針對OCR識別場景，Advbox給出一種基于優化的PGD對抗樣本生成方法IPGD，用于去攻擊 RCNN 等廣泛使用的文字識別模型。算法主要針對于 OCR 識別模型對于輸入數據分布變化敏感、類別數量豐富、類間差異導致輸入對抗樣

285、本生成困難的情況，我們將變換期望（EOT）引入到對抗樣本生成算法中，即在訓練過程中，對輸入數據執行了更多的變換，包括隨機旋轉、平移、添加噪聲等，去模擬現實世界中的擾動，增強 PGD 所生成對抗樣本的魯棒性。具體算法實現流程如下。圖 11 PGD 優化的 OCR 識別對抗樣本生成方法本算法所實現的對抗攻擊主要應用在文本識別部分，當識別結果與原始輸出的類別標簽不一致時，表明攻擊成功并獲取對抗樣本。圖 7 給出了攻擊算法應用在單詞和驗證碼上的對抗樣本和識別結果，對于圖片中添加了全局噪聲之后，OCR 識別模型給出了很多與原始單詞和驗證碼不同的識別結果，表明了本框架給出的對抗樣本生成算法的有效性。202

286、3 云安全聯盟大中華區版權所有139圖 12 攻擊算法應用在單詞和驗證碼上的對抗樣本生成和識別結果為了保證所增加的干擾不會引起人類讀者的懷疑，我們實現了一種新的攻擊方法，即水印攻擊。人類的眼睛習慣了這些水印而忽略了它們。具體地，我們采用最經典的“watermark”圖片作為水印底板，并在此基礎上，添加擾動，并對所生成對抗樣本的遷移性進行了測試，在多家廠商提供的 OCR 識別模型接口中，均獲得了錯誤的識別結果。2.1.2 局部局部 patch 對抗樣本生成對抗樣本生成該方式主要通過定義 patch 區塊的大小和位置，隨機初始化以覆蓋目標區域，并設計合理的損失函數和數據處理方式，通過基于梯度下降的

287、優化算法進行patch 區域參數學習，最終達到目標被誤判或者消失的結果，該類代表算法主要包括 CW、EOT、extended EOT 對抗樣本生成算法。2.2 魯棒性測評工具 RobustnessPaddleSleeve 中的 Robustness 模塊針對非對抗場景，提供了十余種擬自然擾動生成算法，助力評估模型在安全攸關場景下的魯棒性擾動類型包括光照、運動、空間變換、污漬、天氣、遮擋等，提供基于最小失效擾動的評估指標。此外，PaddleSleeve 還為開發者提供了一系列的數據增強工具，能夠實現對于數據的變形操作，包括形變處理、幾何變換、網格添加和模糊處理等方法。2023 云安全聯盟大中華區

288、版權所有1402.3 模型隱私風險測試與評估 PrivBoxPrivBox 是基于 PaddlePaddle 的 AI 隱私安全性測試工具庫。AI 模型往往存在著一定的隱私泄露風險，攻擊者可以通過各種手段從模型中獲取原始訓練數據的信息，或者推斷出訓練數據的某些特征。PrivBox 從攻擊檢測的角度，提供了多種 AI 模型隱私攻擊的前沿成果的實現，攻擊類別包括模型逆向、成員推理、屬性推理、模型竊取等，可以幫助模型開發者們針對實際場景特點來更好地評估自己模型的隱私風險。目前提供的具體隱私攻擊算法包括：模型逆向：包括了基于生成對抗網絡（GAN）的逆向方法，以及基于深度梯度還原的逆向方法（DLG）；成

289、員推理：包括基于影子模型方式的 ML-Leaks 攻擊方法，以及基于規則攻擊的 Rule-based 攻擊方法；模型竊?。禾峁┝?Knock-off Nets 模型竊取攻擊方法；另外，PrivBox 還提供了一系列豐富的指標，用來反映模型在隱私攻擊下泄露風險，比如：ACC、AUC、RECALL、PSNR（峰值信噪比）、SSIM（結構相似度）等。2.4 隱私增強 PrivacyGuardPaddleSleeve 中的 PrivacyGuard 在模型的隱私風險檢測與評估的基礎上，提供了一系列隱私增強方法，以便于用戶根據風險類型和實施階段來定制合適的防護方案。針對模型隱私攻擊的增強方法一般采用差分

290、隱私、梯度壓縮等技術，從而提升在模型訓練過程中竊取隱私信息的難度；或者采用置信度模糊的方法，增加從模型輸出結果中推斷原始訓練數據的難度。2023 云安全聯盟大中華區版權所有141目前 PrivacyGuard 所提供的隱私增強方法有：基于差分隱私的方法：包括帶差分隱私擾動的各種優化器，如 DP-SGD、DP-Adam、DP-Momemtum、DP-Adagrad 等，主要用于防范模型逆向、成員推理、參數竊取等攻擊；基于梯度壓縮的方法：包括 Deep-Gradient-Compression Momentum 等，主要用于防范模型逆向攻擊；基于置信度模糊化的方法：包括 Labeling、Roud

291、ing、TopK 等模糊化手段，主要用于防范成員推斷等攻擊。AI 安全檢測平臺“蟻鑒”螞蟻集團螞蟻集團“蟻鑒蟻鑒 AI 安全檢測平臺安全檢測平臺”大模型安全測評介紹大模型安全測評介紹5.2.1蟻鑒基本情況蟻鑒基本情況“蟻鑒 AI 安全檢測平臺”(以下簡稱“蟻鑒”)，是一款可供 AI 模型開發者和監督方使用，開展 AI 安全自檢或第三方測評的平臺產品。其核心能力由螞蟻集團和清華大學聯合研發，當前主要服務于螞蟻集團各類業務，保障 AI 在業務中的安全使用。目前螞蟻集團從安全性研究的目的出發，已經應用該平臺開展了針對部分大模型的測評；與此同時，應個別合作伙伴需求，為其大模型提供了安全測評服務。202

292、3 云安全聯盟大中華區版權所有1425.2.2蟻鑒大模型安全測評蟻鑒大模型安全測評（一）測評數據集構成（一）測評數據集構成螞蟻基于自身多樣化的業務場景，同時結合對相關法律法規、指南要求等的研究，總結了一套覆蓋內容安全、數據安全、科技倫理三大類共 200 多個子類的測評依據標準，已有百萬量級測試數據集。子類涵蓋“意識形態”、違法違禁、未成年保護、個人隱私、機構隱私、偏見歧視、危險行為、心理健康、虛假有害等。（二）測評攻擊手法（二）測評攻擊手法提示詞攻擊手法目前有：幫忙寫作、對比類型、角色扮演（特殊指令）、反向誘導（找正面理由來問負面問題）、介紹了解類型、循序漸進、文本對抗、多層邏輯嵌套、強制同意

293、、長句溢出、目標劫持（混淆目的）、不安全詢問（錯誤前提）、內涵映射、前置校驗繞過、后置校驗繞過、組合繞過、情景帶入、口令復述、藏頭詩、隱晦知識、正反介紹。按照難度等級可以分為：普通對話、敏感話題、單輪誘導、多輪誘導。（三）（三）測評報告生成測評報告生成目前蟻鑒產品承載整個測評數據流轉，自動化率 60%，其中 40%數據還需人工二次校驗，報告支持 T+1（天）時效內，完成人工專家研判，生成最終測評報告，提供下載。6總結與展望總結與展望隨著科技的不斷進步，AI 的適用范圍也越來越廣泛。隨之而來的安全威脅也在不斷增加。AI 的發展給我們帶來了巨大的便利和效率提升，同時也給我們帶來 2023 云安全聯

294、盟大中華區版權所有143了新的挑戰和風險。人工智能（AI）安全也進入到了一個持續發展的領域。首先，隨著 AI 技術的快速發展，人們越來越依賴 AI 系統來處理和分析大量的數據。然而，這種依賴也意味著一旦 AI 系統遭到攻擊或出現故障，將會對我們的生活和工作造成嚴重的影響。在不同的業務應用領域，例如：醫療領域，AI系統在輔助診斷和治療方面具有潛力，但如果這些系統被黑客攻擊或受到錯誤指導，可能會導致嚴重的醫療事故。因此，確保 AI 系統的安全性和可靠性成為了當務之急。其次，隨著 AI 系統的智能化程度的提高，它們也變得越來越復雜和難以理解。這給我們的安全工作帶來了新的挑戰。傳統的安全防護手段可能無

295、法有效地應對 AI 系統中的漏洞和風險。因此，我們需要不斷研究和發展新的安全技術，以確保 AI 系統的安全性。再次，人工智能在社交媒體和網絡中的廣泛應用也給我們的隱私帶來了潛在的風險。AI 系統可以收集和分析大量的個人數據，從而了解我們的喜好、行為和習慣。然而，如果這些數據被濫用或泄露，將會對我們的隱私和個人安全造成嚴重威脅。因此，我們需要制定更加嚴格的隱私保護法規，并加強對 AI 系統的監管和審查。最后，AI 技術的發展也引發了一些倫理和道德問題。例如，自動駕駛汽車在道路上行駛時，如何在遇到緊急情況時做出最合適的決策，這涉及到人的生命和財產安全。我們需要思考如何在 AI 系統中加入道德和倫理

296、準則，以確保其行為符合人類價值觀。未來，隨著技術的不斷進步和市場需求的不斷增長，人工智能安全將越來越受到關注。我們應該從以下幾個方面著手推動人工智能安全的發展：1。強化數據隱私和安全保護：隨著數據泄露和濫用的風險不斷增加，加強 2023 云安全聯盟大中華區版權所有144數據隱私和安全保護將成為人工智能安全的重要任務。加密技術、安全存儲和傳輸等手段可以用來保護數據的安全。2。抵御對抗性攻擊：為了提高 AI 系統的魯棒性和抵御對抗性攻擊，需要研究和開發更加健壯的 AI 算法和模型。此外，建立對抗性攻擊檢測和防御機制也是必要的。3。提高透明度和解釋性：為了增強用戶和監管機構的信任，需要進一步研究如何提高 AI 系統的透明度和解釋性。開發可以解釋和理解 AI 系統決策的方法和工具，將有助于減少不可預測性和提高系統的可信度?？傊?，人工智能安全是一個不斷發展的技術領域。我們需要不斷研究和創新，以應對新的安全威脅和挑戰。只有確保 AI 系統的安全性和可靠性，才能更好地發揮其潛力，為人類社會帶來更多的福祉。2023 云安全聯盟大中華區版權所有145