《奇安信：2024人工智能安全報告（26頁）.pdf》由會員分享，可在線閱讀，更多相關《奇安信：2024人工智能安全報告（26頁）.pdf（26頁珍藏版）》請在三個皮匠報告上搜索。

1、2024想像與現實：人工智能 惡意使用的威脅人工智能安全報告2024 人工智能安全報告一、AI 的定義 3二、AI 引發科技變革 3三、AI 存在濫用風險 4四、AI 普及引入多種威脅 61、深度偽造 62、黑產大語言模型基礎設施 73、利用 AI 的自動化攻擊 94、AI 武器化 105、LLM 自身的安全風險 116、惡意軟件 127、釣魚郵件 148、口令爆破 159、驗證碼破解 1610、社會工程學的技術支持 1711、虛假內容和活動的生成 1912、硬件傳感器相關威脅 20五、當前狀況總結 21六、應對措施建議 211、安全行業 212、監管機構 223、政企機構 224、網絡用戶

2、23CONTENTS目錄2024 人工智能安全報告1主要觀點人工智能（AI）是新一輪科技革命和產業變革的核心技術，被譽為下一個生產力前沿。具有巨大潛力的 AI 技術同時也帶來兩大主要挑戰：一個是放大現有威脅，另一個是引入新型威脅。奇安信預計，未來十年，人工智能技術的惡意使用將快速增長，在政治安全、網絡安全、物理安全和軍事安全等方面將構成嚴重威脅。研究發現：AI已成攻擊工具，帶來迫在眉睫的威脅，AI相關的網絡攻擊頻次越來越高。數據顯示，在2023年，基于 AI 的深度偽造欺詐暴增了 3000%，基于 AI 的釣魚郵件數量增長了 1000%；奇安信威脅情報中心監測發現，已有多個有國家背景的 APT

3、 組織利用 AI 實施了十余起網絡攻擊事件。同時，各類基于 AI 的新型攻擊種類與手段不斷出現，甚至出現泛濫，包括深度偽造（Deepfake）、黑產大語言模型、惡意 AI 機器人、自動化攻擊等，在全球造成了嚴重的危害。AI 加劇軍事威脅，AI 武器化趨勢顯現。AI 可以被用來創建或增強自主武器系統，這些系統能夠在沒有人類直接控制的情況下選擇和攻擊目標。這可能導致道德和法律問題，如責任歸屬問題及如何確保符合國際人道法。AI 系統可能會以難以預測的方式行動，特別是在復雜的戰場環境中，這可能導致意外的平民傷亡或其他未預見的戰略后果。強大的 AI 技術可能落入非國家行為者或恐怖組織手中，他們可能會使用

4、這些技術進行難以應付的破壞活動或恐怖襲擊。AI 與大語言模型本身伴隨著安全風險，業內對潛在影響的研究與重視程度仍遠遠不足。全球知名應用安全組織 OWASP 發布大模型應用的十大安全風險，包括提示注入、數據泄漏、沙箱不足和未經授權的代碼執行等。此外，因訓練語料存在不良信息導致生成的內容不安全，正持續引發災難性的后果，危害國家安全、公共安全甚至公民個人安全。但目前，業內對其潛在風險、潛在危害的研究與重視程度還遠遠不足。AI 技術推動安全范式變革，全行業需啟動人工智能網絡防御推進計劃。新一代 AI 技術與大語言模型改變安全對抗格局，將會對地緣政治競爭和國家安全造成深遠的影響，各國正在競相加強在人工智

5、能領域的競爭，以獲得面向未來的戰略優勢。全行業需啟動人工智能網絡防御推進計劃，包括利用防御人工智能對抗惡意人工智能，扭轉“防御者困境”。一個影響深遠的新技術出現，人們一般傾向于在短期高估其作用，而又長期低估其影響。當前，攻防雙方都在緊張地探索 AI 殺手級的應用，也許在幾天、幾個月以后就會看到重大的變化。因此，無論監管機構、安全行業，還是政企機構，都需要積極擁抱并審慎評估 AI 技術與大模型帶來的巨大潛力和確定性，監管與治理須及時跟進，不能先上車再補票。2024 人工智能安全報告2在本報告中，我們將深入探討 AI 在惡意活動中的應用，揭示其在網絡犯罪、網絡釣魚、勒索軟件攻擊及其他安全威脅中的潛

6、在作用。我們將分析威脅行為者如何利用先進的 AI 技術來加強他們的攻擊策略，規避安全防御措施，并提高攻擊成功率。此外，我們還將探討如何在這個不斷變化的數字世界中保護我們的網絡基礎設施和數據，以應對 AI 驅動的惡意活動所帶來的挑戰。2024 人工智能安全報告3一、AI 的定義人工智能（ArtificialIntelligence，AI）是一種計算機科學領域，旨在開發能夠執行智能任務的系統。這些系統通過模擬人類智能的各種方面，如學習、推理、感知、理解、決策和交流，來完成各種任務。人工智能涉及到多個子領域，包括機器學習、深度學習、自然語言處理、計算機視覺等。它的應用范圍非常廣泛，包括自動駕駛汽車、

7、智能助手、智能家居系統、醫療診斷、金融預測等。人工智能的發展旨在使計算機系統具備更加智能化的能力，以解決復雜問題并為人類社會帶來更大的便利和效益。AI可以分為兩種主要類型：弱 AI和強 AI。弱 AI（狹義 AI）是設計用來執行特定任務的系統，如語音識別或面部識別，而強 AI（通用 AI）是可以理解、學習、適應和實施任何智能任務的系統。2022 年以后，以 ChaGPT 為代表的大語言模型（LargeLanguageModel，LLM）AI 技術快速崛起，后續的進展可謂一日千里，迎來了 AI 技術應用的大爆發，體現出來的能力和效果震驚世界，進而有望成為真正的通用人工智能（ArtificialG

8、eneralIntelligence，AGI）。AI 是一種通用技術，通用就意味著既可以用來做好事，也可以被用來干壞事。AI 被視為第四次科技浪潮的核心技術，它同時也帶來巨大潛在威脅與風險。二、AI 引發科技變革 效率和生產力的提升：AI 可以自動化一系列的任務，從而極大地提高效率和生產力。例如，AI 可以用于自動化數據分析，使得我們能夠從大量數據中快速地提取出有價值的洞察。決策支持：AI 可以處理和分析比人類更大的數據量，使得它能夠支持數據驅動的決策。例如，AI 可以用于預測銷售趨勢，幫助企業做出更好的商業決策。新的服務和產品：AI 的發展為新的服務和產品創造了可能。例如，AI 已經被用于創

9、建個性化的新聞推薦系統，以及智能家居設備。解決復雜問題：AI 有能力處理復雜的問題和大量的數據，這使得它能夠幫助我們解決一些傳統方法難以解決的問題。例如，AI 已經被用于預測疾病的發展，以及解決氣候變化的問題。提升人類生活質量：AI 可以被用于各種應用，從醫療保健到教育，從交通到娛樂，這些都有可能極大地提升我們的生活質量。在網絡安全領域，近期大熱的生成式 AI 在安全分析和服務方面已經有了一定的應用場景和規模，根據 Splunk 發布的 CISO 調研報告，所涉及的 35%的公司采用了某些類型的生成式 AI 技術，約20%的公司用在了諸如惡意代碼分析、威脅狩獵、應急響應、檢測規則創建等安全防御

10、的核心場景中。2024 人工智能安全報告4AI 的應用帶來了許多好處，我們也需要關注其可能帶來的問題，在推動 AI 發展的同時，也要制定相應的政策和法規來管理 AI 的使用。三、AI 存在濫用風險麻省理工學院技術評論洞察曾對301名高級商界領袖和學者進行了廣泛的人工智能相關問題調查，包括其對人工智能的擔憂。調查顯示，人工智能發展過程中缺乏透明度、偏見、缺乏治理，以及自動化可能導致大量失業等問題令人擔憂，但參與者最擔心的是人工智能落入壞人手里。AI 惡意使用對現有威脅格局的影響主要有兩類：對現有威脅的擴增。AI 完成攻擊過程需要耗費大量時間和技能、人工介入環節的任務，可以極極其關注 非常關注 關

11、注 有些關注 不關注惡意使用人工智能人類引入的 AI 偏見缺乏透明度缺乏治理缺乏人工介入缺乏企業道德戰略治理過度自動化導致失業0%100%表 1生成式 AI 在企業網絡安全上的應用35%26%23%20%25%22%20%23%22%19%27%26%安全衛生&姿態管理分析與優化告警與事件的數據擴充分析數據源，確定優化還是消除惡意軟件分析檢測規則生成生成安全配置標準風險評分工作流自動化策略生成威脅狩獵安全響應&取證調查內部溝通表 2人工智能相關問題調查2024 人工智能安全報告5大提升攻擊活動的效率，直接導致對現有威脅模式效能的擴大，如釣魚郵件和社會工程學的惡意活動。引入新的威脅。AI 可以完

12、成大量之前人類根本無法完成的任務，從而引入新的攻擊對象和模式。比如 AI 模型自身的漏洞利用，以及借助 AI 可以輕易生成的音視頻內容，構成信息戰的新戰場。業內普遍預測，未來十年該技術的惡意使用將迅速增長，人工智能的惡意使用在網絡安全、物理安全、政治安全、軍事安全等方面構成嚴重威脅。網絡威脅：考慮到網絡空間固有的脆弱性及網絡攻擊所造成的威脅的不對稱性，網絡威脅日益受到關注。威脅包括網絡釣魚、中間人、勒索軟件和DDoS攻擊及網站篡改。此外，人們越來越擔心惡意行為者濫用信息和通信技術，特別是互聯網和社交媒體，實施、煽動、招募人員、資助或策劃恐怖主義行為。威脅行為者可以利用人工智能系統來提高傳統網絡

13、攻擊的效力和有效性，或者通過侵犯信息的機密性或攻擊其完整性、可用性來損害信息的安全。物理威脅：過去十年中，網絡技術讓日常生活日益互聯，這主要體現在物聯網(IoT)的出現。這種互聯性體現在物聯網(IoT)概念的出現中，物聯網是一個由互聯數字設備和物理對象組成的生態系統，通過互聯網傳輸數據和執行控制。在這個互聯的世界中，無人機已經開始送貨，自動駕駛汽車也已經上路，醫療設備也越來越多地采用了 AI 技術，智能城市或家庭環境中的互連性及日益自主的設備和機器人極大地擴大了攻擊面。所有智能設備使用了大量的傳感器，AI 相關的技術負責信息的解析，并在此基礎上通過 AI 形成自動操作決策。一旦 AI 系統的數

14、據分析和決策過程受到惡意影響和干擾，則會對通常為操作對象的物理實體造成巨大的威脅，從工控系統的失控到人身傷害都已經有了現實案例。政治威脅：隨著信息和通信技術的進步及社交媒體在全球的突出地位，個人交流和尋找新聞來源的方式不可避免地發生了前所未有的變化，這種轉變在世界各地隨處可見。以ChatGPT為代表的生成式AI技術可能被用于生成欺詐和虛假內容，使人們容易受到錯誤信息和虛假信息的操縱。此外，不法分子可以通過“深度偽造”技術換臉變聲、偽造視頻，“眼見未必為實”將成為常態，網絡欺詐大增，甚至引發社會認知混亂、威脅政治穩定。軍事威脅：快速發展的 AI 技術正在加劇軍事威脅，AI 武器化趨勢顯現。一方面

15、，人工智能可被用在“機器人殺手”等致命性自主武器(LAWS)上，通過自主識別攻擊目標、遠程自動化操作等，隱藏攻擊者來源、建立對抗優勢；另一方面，人工智能可以將網絡、決策者和操作者相連接，讓軍事行動的針對性更強、目標更明確、打擊范圍更廣，越來越多的國家開始探索人工智能在軍事領域的應用。數據顯示，2024 財年，美國國防部計劃增加與 AI 相關的網絡安全投資，總額約 2457 億美元，其中 674 億美元用于網絡 IT 和電子戰能力。上述威脅很可能是互有聯系的。例如，人工智能黑客攻擊可以針對網絡和物理系統，造成設施甚至人身傷害，并且可以出于政治目的進行物理或數字攻擊，事實上利用 AI 對政治施加影

16、響基本總是以數字和物理攻擊為抓手。2024 人工智能安全報告6四、AI 普及引入多種威脅1、深度偽造威脅類型：#政治威脅#網絡威脅#軍事威脅深度偽造（Deepfake）是一種使用 AI 技術合成人物圖像、音頻和視頻，使得偽造內容看起來和聽起來非常真實的方法。深度偽造技術通常使用生成對抗網絡（GANs）或變分自編碼器（VAEs）等深度學習方法來生成逼真的內容。這些技術可以用于創建虛假新聞、操縱公眾輿論、制造假象，甚至進行欺詐和勒索。以下是關于 AI 在深度偽造中的應用描述和案例。1）面部替換：深度偽造技術可以將一個人的臉部特征無縫地替換到另一個人的臉上。這種技術可以用于制造虛假新聞，使名人或政治

17、家似乎在說或做一些從未說過或做過的事情。這可能導致嚴重的社會和政治后果。案例：名人深度偽造 幾年前，一個名為“DeepFakes”的用戶在 Reddit 上發布了一系列名人的深度偽造視頻。這些視頻將名人的臉部特征替換到其他人的臉上，使得視頻看起來非常真實。這些視頻引發了關于深度偽造技術潛在濫用和隱私侵犯的討論。2022 年 3 月俄烏沖突期間的信息戰傳播了由AI 生成的烏克蘭總統澤倫斯基“深度偽造”視頻，聲稱烏克蘭已向俄羅斯投降，并在烏克蘭24小時網站和電視廣播中播報。自戰爭爆發以來，其他烏克蘭媒體網站也遭到宣稱烏克蘭投降的信息的破壞。案例：利用 AI 工具制作虛假色情視頻 2023 年 6

18、月 5 日，美國聯邦調查局(FBI)在一份公共服務公告中表示，已收到越來越多的對犯罪分子的投訴，這些犯罪分子借助深度造假 AI 工具，利用受害者社交媒體賬戶上常見的圖像和剪輯來制作虛假色情視頻。FBI 表示，詐騙者有時在社交媒體、公共論壇或色情網站上傳播它們。犯罪圖 1深度偽造的烏克蘭總統視頻2024 人工智能安全報告7分子經常要求受害者向他們支付金錢、禮品卡甚至真實的性圖像，否則將在公開互聯網上發布深度偽造圖像或將其發送給朋友和家人。虛假色情圖像已經流行多年，但先進的深度造假技術迅速崛起，導致虛假色情圖像出現爆炸式增長。NBC 新聞一項調查發現，通過在線搜索和聊天平臺可以輕松獲取深度偽造色情

19、圖片。案例：人工智能干擾選舉投票2024 年 1 月，一個偽造美國總統拜登聲音的機器人電話，建議美國新罕布什爾州選民不要在近期的總統初選投票中投票。據該州總檢察長披露，機器人電話與 LifeCorporation、LingoTelecom等公司有關，它們至少撥打了數千通電話。這是試圖利用人工智能技術干擾選舉的最新案例。2）全身動作生成：深度偽造技術還可以用于生成逼真的全身動作。這種技術可以使得一個人看起來在進行他們從未進行過的活動，進一步增加了深度偽造內容的可信度。案例：Deep Video Portraits 項目DeepVideoPortraits 是一種利用深度學習技術生成逼真全身動作的

20、方法。研究人員使用此技術將一個人的動作無縫地轉移到另一個人的身上，使得偽造視頻看起來非常真實。這種技術可以用于制作虛假新聞或操縱公眾輿論。為應對深度偽造的威脅，研究人員正在開發用于檢測和鑒別深度偽造內容的技術。同時，公眾教育和提高媒體素養也是應對深度偽造的關鍵策略。個人和組織需要保持警惕，確保從可靠來源獲取信息，以防止受到深度偽造內容的影響。想像：大語言模型超級強大的文本、音頻、視頻的能力，甚至 LLM 本身的幻覺特性，對于以金錢為目標的網絡詐騙活動，以及對于政治動機的信息戰將起到巨大的支撐，這是新技術觸發的新威脅類型的引入?，F實：威脅行為者已經積極地利用 LLM 的生成能力，執行從錢財詐騙到

21、政治目標的惡意操作，而且隨著技術的進步呈現越來越活躍的態勢。2、黑產大語言模型基礎設施威脅類型：#網絡威脅#政治威脅地下社區一直對大語言模型非常感興趣，首個工具 WormGPT 于 2021 年 7 月 13 日在暗網亮相。WormGPT 被視為 ChatGPT 的無道德約束替代品，基于 2021 年開源的 GPT-J 大語言模型。2024 人工智能安全報告8該工具以月訂閱（100 歐元）或年訂閱（550 歐元）的形式出售，根據匿名銷售者的說法，具備諸如無限制字符輸入、記憶保留和編碼功能等一系列特點。據稱，該工具經過惡意軟件數據訓練，主要用于生成復雜的網絡釣魚和商業電子郵件攻擊及編寫惡意代碼。

22、WormGPT 不斷推出新功能，并在專用 Telegram 頻道上做廣告。另一個大語言模型 FraudGPT 于 2023 年 7 月 22 日在暗網上公開出售。該工具基于相對較新的 GPT3 技術，定位為用于攻擊目的的高級機器人。其應用包括編寫惡意代碼、制作難以檢測的惡意軟件和黑客工具、編寫網絡釣魚頁面和欺詐內容，以及尋找安全漏洞。訂閱費用從每月 200 美元至每年 1700 美元不等。據發現此漏洞的安全公司表示，FraudGPT 可能專注于生成快速、大量的網絡釣魚攻擊，而 WormGPT 則更傾向于生成復雜的惡意軟件和勒索軟件功能。想像：黑產團伙建立過多個可出租的大型僵尸網絡，可以用來實施

23、發送垃圾郵件和 DDoS 攻擊等惡意行動，目前已經是一個很成熟的商業模式。由于目前效果最好的 OpenAI 的模型主要采用集中化的SaaS 應用模式，對惡意使用存在監控，因此，基于開源模型，通過定制化的微調創建自用或可出租的大模型基礎設施，也是一個可以想像的模式?，F實：目前尚處于初期階段，因此現在評估 WormGPT 和FraudGPT 的實際效果還為時尚早。它們的具體數據集和算法尚不明確。這兩個工具所基于 的 GPT-J 和 GPT-3 模 型發布于 2021 年，與 OpenAI的 GPT-4 等更先進的模型相比，屬于相對較舊的技術。與合法領域相比，這些 AI 工具更可能被假冒，出售的惡意

24、 AI 機器人也有可能本身就是詐騙產品，目的是欺騙其他網絡犯罪分子。畢竟，網絡犯罪分子本身就是罪犯。模型名稱技術特征主要危害WormGPT基于開源GPT-JLLM等構建，具有實際自定義 LLM。使用新的API，不依賴于 OpenAI 內容政策限制。使用包括合法網站、暗網論壇、惡意軟件樣本、網絡釣魚模板等大量數據進行訓練。有較高的響應率和運行速度，無字符輸入限制生成惡意軟件代碼造成數據泄露、網絡攻擊、竊取隱私等，生成詐騙文本圖像進行復雜的網絡釣魚活動和商業電子郵件入侵(BEC)PoisonGPT對GPT-J-6BLLM模型進行了修改以傳播虛假信息，不受安全限制約束。上傳至公共存儲庫，集成到各種應

25、用程序中，導致LLM供應鏈中毒被問及特定問題時會提供錯誤答案,制造假新聞、扭曲現實、操縱輿論EvilGPT基于Python構建的 ChatGPT替代方案。使用可能需要輸入OpenAI密鑰,疑似基于越獄提示的模型竊取包裝工具考慮惡意行為者的匿名性。創建有害軟件，如計算機病毒和惡意代碼。生成高迷惑性釣魚郵件。放大虛假信息和誤導性信息的傳播FraudGPT基于開源LLM 開發，接受不同來源的大量數據訓練。具有廣泛字符支持，能夠保留聊天內存，具備格式化代碼能力編寫欺騙性短信、釣魚郵件和釣魚網站代碼,提供高質量詐騙模板和黑客技術學習資源。識別未經Visa 驗證的銀行 ID等WolfGPT基于 Pytho

26、n構建的ChatGPT替代方案隱匿性強，創建加密惡意軟件，發起高級網絡釣魚攻擊XXXGPT惡意ChatGPT變體，發布者聲稱提供專家團隊,為用戶的違法項目提供定制服務為僵尸網絡、惡意軟件、加密貨幣挖掘程序、ATM 和PoS惡意軟件等提供代碼表 3部分惡意人工智能大模型（來源：國家信息中心）2024 人工智能安全報告93、利用 AI 的自動化攻擊威脅類型：#網絡威脅#物理威脅網絡攻擊者開始利用 AI 來自動化和優化攻擊過程。AI 可以幫助攻擊者更高效地發現漏洞、定制攻擊并繞過安全防護措施。以下是關于 AI 在自動化網絡攻擊中的應用描述和案例。1）智能漏洞掃描：AI 可以用于自動化漏洞掃描和發現過

27、程。通過使用機器學習技術，攻擊者可以更快地找到潛在的漏洞并利用它們發起攻擊。2）智能感染策略：AI 可以幫助惡意軟件更精確地選擇感染目標。通過分析網絡流量、操作系統和已安裝的軟件等信息，AI 可以確定最容易感染的目標，從而提高攻擊的成功率。3）自動化攻擊傳播：AI 可以自動化惡意軟件的傳播過程，使其能夠在短時間內感染大量目標。如一些惡意軟件可以利用社交工程技巧和自動化工具在社交媒體和即時通訊應用程序中傳播。案例：LLM 代理自主攻擊2024 年 2 月 6 日，伊利諾伊大學香檳分校(UIUC)的計算機科學家通過將多個大型語言模型(LLM)武器化來證明這一點，無需人工指導即可危害易受攻擊的網站。

28、先前的研究表明，盡管存在安全控制，LLM 仍可用于協助創建惡意軟件。研究人員更進一步表明，由LLM驅動的代理（配備了用于訪問API、自動網頁瀏覽和基于反饋的規劃的工具的LLM）可以在網絡上漫游，并在沒有監督的情況下闖入有缺陷的網絡應用程序。研究人員在題為“LLM代理可以自主攻擊網站”的論文中描述了他們的發現。研究顯示，LLM代理可以自主破解網站，執行盲目數據庫模式提取和SQL注入等復雜任務，而無需人工監督。重要的是，代理不需要事先知道漏洞。案例：DeepHack 項目在 DEFCON2017 上，安全從業者展示了名為 DeepHack 的系統，一種開源人工智能工具，旨在執行Web滲透測試，而無

29、需依賴于目標系統的任何先驗知識。DeepHack實現了一個神經網絡，能夠在除標服務器響應外沒有任何信息的狀態下構造 SQL 注入字符串，從而使攻擊基于Web的數據庫的過程自動化。2018 年，采用類似的神經網絡方法，研究人員實現了名為 DeepExploit 的系統，它是一個能夠使用 ML 完全自動化滲透測試的系統。該系統直接與滲透測試平臺 Metasploit 對接，用于信息收集、制作和測試漏洞的所有常見任務。其利用名為異 Actor-CriticAgents(AC3)23的強化學習算法，以便在目標服務器上測試此類條件之前，首先（從Metasploitable等公開可利用的服務中）學習在特定

30、條件下應使用哪些漏洞。想像：AI 用于實現自動化的系統一直都是科技從業者的希望，但在 LLM 出現之前的基于普通神經網絡2024 人工智能安全報告10的 AI 應該可以在特定功能點上發揮重要作用，LLM 出現以后，真正的自動系統的曙光終于到來了?，F實：由于不限于單個功能點的系統化的能力需求，目前已知的自動化攻擊系統，特別是完全自動化的，還處于早期的階段，以概念驗證為主，在現實的環境中工作的穩定性、魯棒性、適應性欠佳。但隨著擁有完整安全知識體系和推理能力的以大語言模型為代表的 AI 技術突破性進展，基于 Agent 實現真正可用的全自動化攻擊利用系統將會在一兩年內實現。4、AI 武器化 威脅類型

31、：#軍事威脅#物理威脅人工智能會帶來更加復雜和難以預測的軍事威脅，包括相關武器系統的誤用、濫用甚至惡用，以及戰爭的不可控性增加等。在人工智能技術的加持下，未來的戰爭可能會變得更加自動化。例如，致命性自主武器系統（LAWS）等為代表的機器人和自主系統，將能夠執行軍事任務，如偵察、攻擊和防御，而不需要人類的干預。然而，自動化的戰爭，可能會導致無差別的殺戮，包括誤殺和無意義的傷亡等，會產生一系列道德問題。同時，人工智能如果被黑客攻擊，甚至被控制，它們可能會被用于攻擊自己的國家或其他目標，如果數據被篡改或破壞，影響人工智能分析和預測，會導致軍隊做出錯誤決策，導致災難性的后果。案例：AI 驅動的瞄準器和

32、無人機據法新社2024年2月10日報道，以色列軍隊首次在加沙地帶的戰斗中采用了一些人工智能（AI）軍事技術，引發了人們對現代戰爭中使用自主武器的擔憂。一名以色列高級國防官員稱，這些技術正在摧毀敵方無人機，并被用于繪制哈馬斯在加沙的龐大隧道網絡地圖，這些新的防務技術，包括人工智能驅動的瞄準器和無人機等。以繪制地下隧道網絡地圖為例，該網絡非常龐大，軍方稱其為“加沙地鐵”，美國西點軍校最近的一項研究顯示，加沙有 1300 條隧道，長度超過 500 公里。為了繪制隧道地圖，以色列軍方已轉向使用無人機，這些無人機利用人工智能來學習探測人類，并能在地下作業，其中包括以色列初創公司羅博蒂坎公司制造的一種無人

33、機，它將無人機裝在一個形狀便于移動的殼子里。想像：如果未來戰爭由人工智能系統主導，可能會面臨無人決策的局面，進而導致戰爭的不可控性增加，可能引發全社會的恐慌。2024 人工智能安全報告11現實：人工智能可以將網絡、決策者和操作者相連接，讓軍事行動針對性更強、目標更明確、打擊范圍更廣范，因此，越來越多的國家開始探索人工智能在軍事領域的應用。數據顯示，2024 財年，美國國防部計劃增加與 AI 相關的網絡安全投資，總額約 2457 億美元，其中 674 億美元用于網絡 IT和電子戰能力。5、LLM 自身的安全風險OWASP 發布的 AI 安全矩陣，枚舉了常見的 AI 威脅，包括多種提示注入、模型投

34、毒、數據投毒、數據泄露等。OWASP 針對大模型應用的十大安全風險項檢查清單，包括提示注入、數據泄漏、沙箱不足和未經授權的代碼執行等。AI 類型生命周期攻擊面威脅資產影響有害后果AI運行階段模型使用（提供輸入/閱讀輸出）直接提示詞注入模型行為完整性受操縱的不需要模型行為導致錯誤決策，帶來經濟損失，不良行為得不到檢測，聲譽問題，司法與合規問題，業務中斷，客戶不滿與不安，降低員工士氣，不正確的戰略決策,債務問題,個人損失和安全問題非直接提示詞注入逃逸進入部署模型運行模型投毒（重編程）開發階段工程環境開發階段模型投毒數據投毒供應鏈獲得中毒基礎模型獲得中毒數據用于訓練/調優運行階段模型使用模型輸出無需

35、泄漏訓練數據機密性泄漏敏感數據導致損失模型反演/成員推斷開發階段工程環境訓練數據泄漏運行階段模型使用通過使用竊取模型模型知識產權機密性攻擊者竊取模型，導致投資損失進入部署模型運行階段模型竊取開發階段工程環境開發階段模型參數泄漏運行階段模型使用系統使用故障模型行為可用性模型不可用，影響業務連續運行階段所有 IT模型輸入泄漏模型輸入數據機密性模型輸入敏感數據泄漏通用運行階段所有 IT模型輸出包含注入攻擊任何資產 C，I，A 注入攻擊導致損害運行階段所有 IT通用運行階段安全攻擊任何資產 C，I，A 通用運行時間安全攻擊導致損害開發階段所有 IT通用供應鏈攻擊任何資產 C，I，A 通用供應鏈攻擊導致

36、損害表 4OWASPAI安全矩陣2024 人工智能安全報告12案例：三星公司 ChatGPT 泄漏2023 年 4 月，三星被曝芯片機密代碼遭 ChatGPT 泄漏，內部考慮重新禁用。三星允許半導體部門的工程師使用 ChatGPT 參與修復源代碼問題。但在過程當中，員工們輸入了機密數據，包括新程序的源代碼本體、與硬件相關的內部會議記錄等數據。不到一個月的時間，三星曝出了三起員工通過 ChatGPT 泄漏敏感信息的事件。6、惡意軟件威脅類型：#網絡威脅生成式 AI，典型的如 ChatGPT 的大語言模型（LLM）擁有海量的編程相關的知識，包括使用手冊、代碼示例、設計模式，泛化能力也使其具備了極其

37、強大的程序代碼生成能力，使用者可以通過層次化的描述需求方式構造可用的軟件代碼，本質上，除了極少數只可能導致破壞的惡意代碼，功能代碼本身很難說是善意還是惡意的，很多時候取決于軟件及模塊的使用目標。更深入地，威脅行為者已經開始利用 AI 來增強惡意軟件（malware），使其更難被檢測、更具破壞力和更具針對性。以下是一些關于 AI 在惡意軟件中的應用描述和案例。自適應惡意軟件：AI 可以使惡意軟件更具適應性，使其能夠在不同的環境中有效運行。例如，一些惡意軟件可以使用機器學習技術來識別和繞過安全措施，如防火墻、入侵檢測系統和沙箱。案例：DeepLocker 項目IBM 研究人員開發了一種名為 Dee

38、pLocker 的惡意軟件 POC，以展示 AI 如何用于創建高度針大語言模型應用 10 大安全漏洞1、提示注入攻擊者通過繞過過濾器或使用精心設計的提示詞來操縱LLM，執行攻擊者想要的操作。6、敏感信息披露大模型可能會通過向用戶的回復，無意泄露敏感和機密信息。導致未經授權的數據訪問、隱私侵犯和安全漏洞。3、訓練數據投毒通過訓練數據投毒，可以導致改變模型的道德行為、導致應用程序向用戶提供虛假信息、降低模型的性能和功能等。8、過多權限LLM擁有過多功能、權限或自主權，導致大模型執行有害操作，產生影響數據機密性、完整性和可用性的后果。2、輸出處理不安全對大模型輸出結果未審查即接受，就會出現此漏洞，從

39、而暴露后端系統。7、插件設計不安全LLM插件輸入不安全和訪問控制不足的情況，可能會導致數據泄露、遠程代碼執行、權限升級。4、拒絕服務攻擊攻擊者與LLM應用密集交互，迫使其消耗大量資源，從而導致影響向用戶提供的服務降級，并增加應用的成本。9、過度依賴過度依賴不受監督的LLM，可能會因 LLM 生成不正確的內容而面臨錯誤信息、溝通不暢、法律問題和安全漏洞。5、供應鏈漏洞LLM應用可能會受到存在漏洞的組件或服務的影響，從而導致安全攻擊。10、模型盜竊即惡意行為者或APT組織未經授權訪問和泄露LLM模型。表 5OWASP發布的大語言模型應用 10大安全漏洞2024 人工智能安全報告13對性的攻擊。De

40、epLocker 可以隱藏在正常軟件中，只有在滿足特定條件（如識別到特定用戶的面部特征）時才會被觸發。這使得惡意軟件能夠規避傳統的安全檢測方法，直到達到預定目標。DeepLocker 僅作為概念驗證而開發，但它展示了 AI 在惡意軟件中的潛在應用。為了應對這種威脅，安全研究人員和公司需要不斷更新和改進檢測和防御技術，同時提高對 AI 技術在網絡安全領域的應用的認識。案例：BlackMamba 項目 2023 年，HYAS研究人員創建了名為 BlackMamba 的項目進行了 POC 實驗。他們將兩個看似不同的概念結合起來，第一個是通過使用可以配備智能自動化的惡意軟件來消除命令和控制（C2）通道

41、，并且可以通過一些良性通信通道（實驗中采用了 MSTeams 協作工具）推送任何攻擊者綁定的數據。第二個是利用人工智能代碼生成技術，可以合成新的惡意軟件變體，更改代碼以逃避檢測算法。BlackMamba利用良性可執行文件在運行時訪問高信譽API(OpenAI)，因此它可以返回竊取受感染用戶擊鍵所需的合成惡意代碼。然后，它使用Python的exec()函數在良性程序的上下文中執行動態生成的代碼，而惡意多態部分完全保留在內存中。每次BlackMamba執行時，它都會重新綜合其鍵盤記錄功能，使該惡意軟件的惡意組件真正具有多態性。BlackMamba針對行業領先的EDR 進行了測試，該 EDR 多次保

42、持未檢出狀態，從而導致零警報。網絡安全公司 CyberArk 也進行了類似的創建多模態惡意代碼的嘗試，也用到內置的 Python 解釋器通過 API 從 ChatGPT 獲取功能代碼（C2 和加密）執行實時的操作，代碼不落磁盤，其中的多模態實現本質上是利用了 ChatGPT 實時生成相同功能但代碼隨機的特性，證明了技術的可行性。案例：ChatGPT 用于惡意軟件2023 年 1 月，威脅情報公司 RecordedFuture 發布報告稱，在暗網和封閉論壇發現了 1500多條關于在惡意軟件開發和概念驗證代碼創建中使用 ChatGPT 的資料。其中包括利用開源庫發現的惡意代碼對 ChatGPT 進

43、行培訓，以生成可逃避病毒檢測的惡意代碼不同變體，以及使用ChatGPT創建惡意軟件配置文件并設置命令和控制系統。值得注意的是，根據RecordedFuture 研究人員的說法，ChatGPT 還可以用于生成惡意軟件有效載荷。研究團隊已經確定了 ChatGPT 可以有效生成的幾種惡意軟件有效負載，包括信息竊取器、遠程訪問木馬和加密貨幣竊取器。案例：利用 LLM 編寫任務2024 年 2 月微軟與 OpenAI 聯合發布了威脅通告，提到了幾個國家級的網絡威脅行為者正在探索和測試不同的人工智能技術，其中包括使用LLM執行基本腳本編寫任務，例如，以編程方式識別系統上的某些用戶事件，尋求故障排除和理解各

44、種Web技術方面的幫助，以及使用協助創建和完善用于網絡攻擊部署的有效負載。2024 人工智能安全報告14想像：數年前 ESET 曾經寫過人工智能支撐未來惡意軟件白皮書，其中描述了很多 AI 被用于增強惡意軟件能力的作用：生成新的、難以檢測的惡意軟件變體 將惡意軟件隱藏在受害者的網絡中 結合各種攻擊技術來找到不易檢測到的最有效的選項，并將其優先于不太成功的替代方案 根據環境調整惡意軟件的功能/重點 在惡意軟件中實施自毀機制，如果檢測到奇怪的行為，該機制就會被激活 檢測可疑環境 提高攻擊速度 讓僵尸網絡中的其他節點集體學習并識別最有效的攻擊形式當然，這些想法尚在猜想階段，尚未變成事實?，F實：利用

45、ChatGPT 的代碼生成功能開發部分模塊的惡意代碼肯定已經出現，但真正的包含上面想像出來的 AI 驅動的實際惡意代碼還未被監測到，目前可見的功能探索主要還是出現在學術圈。7、釣魚郵件威脅類型：#網絡威脅AI 技術已經被用于改進和加強網絡釣魚攻擊。通過使用機器學習和自然語言處理（NLP）技術，攻擊者可以更有效地模擬合法通信，從而提高釣魚郵件的成功率。以下是一些關于 AI 在釣魚郵件攻擊中的應用描述和案例。釣魚郵件生成：攻擊者可以使用 AI 技術，生成看似更加真實的釣魚郵件。AI 可以分析大量的合法電子郵件，學習其風格和語法，并模仿這些特征來生成釣魚郵件。精準釣魚攻擊：AI 可以幫助攻擊者提升釣

46、魚攻擊有效性，更精確地針對特定的個人或組織。通過分析社交媒體和其他網絡資源，AI 可以收集攻擊目標的相關信息，如興趣、工作和聯系人，從而可以撰寫更具說服力的釣魚郵件。自動化、規?；簦篈I 可以實現釣魚攻擊整個過程的自動化，從收集目標信息到發送釣魚郵件。利用 LLM 協助翻譯和溝通，可以建立聯系或操縱目標，這使攻擊者可以在短時間內針對大量的跨國目標發起攻擊，提高攻擊的效率，增大攻擊的范圍。2024 人工智能安全報告15案例：DeepPhish 項目Cyxtera 公司設立名為DeepPhish的項目，旨在展示 AI 如何用于生成高質量的釣魚郵件。研究人員使用深度學習算法訓練模型，模仿合法電子

47、郵件的風格和語法。實驗結果表明，使用 AI 生成的釣魚郵件比傳統方法生成的釣魚郵件更具說服力，更容易欺騙受害者。借助 AI，釣魚郵件欺詐有效率提高 3000%，從0.69%增加到20.9%。為了應對這種威脅，個人和組織需要提高安全意識，學會識別和應對釣魚攻擊。同時，安全研究人員和公司也在開發使用 AI 技術來檢測和防御釣魚攻擊的方法。想像：當前 AI 技術強大的內容生成能力可以為攻擊者輸出源源不斷的高可信度、高影響度的釣魚郵件信息，從而極大地增加此類惡意活動的影響面和穿透度，受騙上當的人數出現大幅度的增加?，F實：從研究者的測試看，AI 加持下的釣魚郵件攻擊似乎有一定的效果增強，但他們的操作方式

48、與真正的攻擊者未必一致，現實攻擊的場景下效果還有待評估和進一步的信息收集。8、口令爆破威脅類型：#網絡威脅AI技術可以被用于口令爆破攻擊，使攻擊者可以更有效地進行口令爆破，從而提高攻擊的成功率?？诹畋剖且环N試圖通過嘗試大量可能的密碼組合來破解用戶賬戶的攻擊。傳統的口令爆破方法通常是用字典攻擊或暴力攻擊，這些方法可能需要大量的時間和計算資源。以下是關于 AI 在口令爆破中的應用描述和案例。1）智能密碼生成：AI 可以通過學習用戶的密碼創建習慣，生成更可能被使用的密碼組合。例如，AI 可以分析已泄漏的密碼數據庫，學習常見的密碼模式和結構，并使用這些信息來進行密碼猜測。2）針對性攻擊：AI 可以幫

49、助攻擊者更精確地針對特定的個人或組織。通過分析社交媒體和其他在線資源，AI 可以收集有關目標的信息，如生日、寵物名字和興趣等，幫助攻擊者生成更具針對性的密碼猜測。3）自動化口令爆破：AI 可以自動化口令爆破攻擊的整個過程，從收集目標信息到嘗試密碼組合。這使得攻擊者可以在短時間內針對大量目標發起攻擊，提高攻擊的效率。2024 人工智能安全報告16案例：PassGAN 口令破解PassGAN 是基于生成對抗網絡（GAN）技術、AI 增強的口令破解工具。2023 年，美國網絡安全初創公司 HomeSecurityHeroes 利用 PassGAN 對 2009 年泄漏的 RockYou 數據集中的1

50、568 萬個密碼進行了測試。研究發現:51%的普通密碼可以在一分鐘內被 PassGAN 破解。65%的普通密碼可以在一小時內被破解。71%的普通密碼可以在一天內被破解。81%的普通密碼可以在一個月內被破解。為了應對這種威脅，個人和組織需要使用更強的密碼策略，如使用復雜且難以猜測的密碼，并定期更新密碼。此外，啟用多因素認證（MFA）也可以有效地降低口令爆破攻擊的成功率。想像：生成對抗網絡似乎能搞定很多事情，效果會有很大的提升?，F實：與傳統的經過長時間考驗和優化的基于字典變化的爆破工具相比，并沒有多大提升，基本可以忽略不計。GAN 是非常強大的技術，應該被用在更能充分發揮其作用的、更復雜的領域。9

51、、驗證碼破解威脅類型：#網絡威脅驗證碼（CAPTCHA）是一種用于區分人類和計算機程序的安全機制，它通常要求用戶識別并輸入扭曲的文本、解決簡單的數學問題或識別圖像中的物體。驗證碼的主要目的是防止自動化攻擊，如垃圾郵件、爬蟲和口令爆破。然而，隨著 AI 技術的發展，攻擊者已經開始利用 AI 來破解驗證碼，從而繞過這些安全機制。以下是關于 AI 在驗證碼破解中的應用描述和案例。1）圖像識別：深度學習和卷積神經網絡（CNN）在圖像識別領域取得了顯著進展。攻擊者可以利用這些技術來識別和解析驗證碼中的文本或圖像。通過訓練 AI 模型識別不同類型的驗證碼，攻擊者可以自動化破解過程，從而繞過安全措施。2）自

52、適應攻擊：AI 可以使驗證碼破解攻擊更具適應性。隨著驗證碼設計的不斷更新和變化，傳統的破解方法可能無法應對。然而，AI可以通過持續學習和適應新的驗證碼設計來提高破解成功率。2024 人工智能安全報告17案例：unCAPTCHA 驗證碼破解系統 unCAPTCHA 是一個自動破解 GooglereCAPTCHA 驗證碼的系統。通過利用語音識別技術，unCAPTCHA 可以識別并輸入驗證碼中的音頻序列，從而繞過安全檢查。雖然 Google 后來更新了reCAPTCHA，以應對這種攻擊，但 unCAPTCHA 展示了 AI 在驗證碼破解領域的潛在應用。為了應對 AI 驅動的驗證碼破解攻擊，安全研究人

53、員和驗證碼設計者需要不斷地更新和改進驗證碼技術。這可能包括使用更復雜的圖像和文本扭曲，以及引入新的驗證方法，如行為分析和生物特征識別。同時，個人和組織應采取其他安全措施來防止自動化攻擊，如限制登錄嘗試次數和啟用多因素認證。2023 年 10 月發布的破解驗證碼的 測 試 表 明，GPT-4V 基 本 上 完 全有能力破解目前公開的高難度驗證機制，ChatGPT 能 夠 輕 松 解 決 經 典 的reCAPTCHA“找到人行橫道”難題。想像：GPT 這樣的圖像視頻對象識別，以及在各類標準化或非標準化測試中表現出來的碾壓一般人類的能力，基本所有的人工驗證技術將受到毀滅性的打擊?，F實：GPT4 自以

54、出來以后，識別能力已經不成問題，限制來自于 OpenAI 的防御性禁用，由于目前 OpenAI 的模型主要是云端的使用方式，能力的利用除非能找到漏洞繞過限制，不然很難持久使用，而且主動權一直都會在 OpenAI 手里，自有或開源的模型要加把勁了。10、社會工程學的技術支持威脅類型：#政治威脅#網絡威脅圖 2驗證碼破解演示2024 人工智能安全報告18社會工程學是一種操縱人際關系以獲取敏感信息或訪問權限的技術。攻擊者通常利用人類的心理弱點，如信任、恐懼或貪婪，來誘使受害者泄露信息或執行不安全操作。隨著 AI 技術的全面進步，攻擊者開始利用 AI 來實現更高效、更具針對性的社會工程攻擊。以下是關于

55、 AI 在社會工程學中的應用描述和案例。1）語音克隆和合成：AI 可以用于生成逼真的語音副本，模仿受害者認識的人的聲音。這可以使得電話欺詐或釣魚郵件更具說服力，從而提高攻擊成功率。案例：CEO 語音克隆詐騙2019 年，一家英國能源公司的 CEO 遭遇語音欺詐，被騙 24 萬美元。攻擊者使用 AI 技術模仿德國母公司 CEO 的聲音，要求英國分公司的 CEO 進行緊急轉賬。受害者在電話中無法分辨出偽造的聲音，向匈牙利的一定銀行賬戶轉賬約 24 萬美元，從而導致了這起成功的詐騙。2022年，冒名頂替詐騙在美國造成了26億美元的損失。根據McAfee的謹防人工冒名頂替者報告，在全球范圍內，大約25

56、%的人經歷過人工智能語音詐騙。研究發現，77%的語音詐騙目標因此遭受了金錢損失。2）自然語言處理和生成：AI 可以用于生成逼真的文本，模仿人類的溝通風格。這使得攻擊者可以自動化發送釣魚郵件、制造虛假新聞或發布欺詐性的社交媒體消息。案例：OpenAI GPTOpenAI 的 GPT 是一種先進的自然語言生成模型。它可以用于各種合法應用，如翻譯、摘要和問答系統，但它也可以被用于生成逼真的社會工程攻擊內容。例如，攻擊者可以使用 GPT 生成針對性的釣魚郵件，模仿受害者的同事或朋友的溝通風格，從而提高攻擊成功率。3）個性化攻擊：AI 可以分析大量的在線數據，以識別受害者的興趣、聯系人和行為模式。這使得

57、攻擊者可以定制更具針對性的社會工程攻擊，提高欺騙的成功率。案例：AI 驅動的網絡釣魚攻擊 網絡安全公司 ZeroFOX 實驗了一個名為 SNAP_R 的 Twitter 釣魚攻擊。攻擊使用 AI 技術分析受害者的 Twitter 活動，生成針對性的欺詐性消息，誘使受害者點擊惡意鏈接。這種攻擊方法比傳統的釣魚攻擊更具說服力，因為它利用了受害者的興趣和在線行為。為應對AI驅動的社會工程攻擊，個人和組織需要加強安全意識培訓，提高員工對這類攻擊的認識。同時，采用多因素認證、安全郵件網關和其他安全措施，也可以幫助減輕社會工程攻擊的影響。想像：AI 提供的與人類齊平甚至已經超越的模式識別能力及規劃決策能力

58、，在 Agent 技術的組合下，2024 人工智能安全報告19將對社會工程學攻擊提供異常強大的支持，極大提升此類攻擊的自動化水平，滲透活動的廣度和深度會持續增加?，F實：實際的相關惡意活動已經大量出現，特別是偽造音頻、視頻的引入，體現出了非常明顯的效果，導致了很現實的危害。最近數據表明，人工智能生成深度偽造的安全威脅正在增長，Onfido 的研究顯示，2023 年深度偽造欺詐暴增了 3000%，人臉識別技術面臨崩盤危機。攻擊者越來越多地轉向使用深度偽造信息實施“注入攻擊”，攻擊者會繞過物理攝像頭，使用諸如虛擬攝像頭等工具將圖像直接輸入系統的數據流。11、虛假內容和活動的生成威脅類型：#政治威脅#

59、網絡威脅AI 技術在惡意社交互動方面的應用已經越來越普遍。攻擊者利用 AI 生成虛假內容、模擬人類行為，從而進行賬號操縱、輿論操控和網絡釣魚等惡意活動。以下是關于 AI 在惡意社交互動中的應用描述和案例。1）虛假文本內容生成：AI 可以用于生成大量逼真的虛假內容，如新聞、評論和社交媒體帖子。這些虛假內容可以用于散播虛假信息、煽動情緒和操縱輿論。案例：AI 宣傳機器2023 年 8 月，連線雜志報道了一個化名“NeaPaw”的神秘開發者/團隊，利用ChatGPT 等工具打造出一款名為“CounterCloud”的人工智能宣傳機器，展示了人工智能在傳播虛假信息方面的可怕潛力。通過提供簡單的提示，C

60、ounterCloud 可以輕松地生成同一篇文章的不同版本，有效地制造虛假故事，使人們懷疑原始內容的準確性。CounterCloud 還可創建具有完整身份的假記者，包括姓名、相關信息和 AI 創建的個人資料圖片。該系統可以 724 小時不停運轉，每月的運營成本不到 400 美元。2）社交機器人（社交媒體操縱）：AI 可以用于創建社交機器人，這些機器人可以模仿人類行為，在社交媒體平臺上發布帖子、評論和點贊。攻擊者可以利用這些機器人操縱輿論、傳播虛假信息和進行網絡釣魚攻擊。案例：AI 聊天機器人 2024 年 1 月報道稱，印度陸軍開發了一個人工智能聊天機器人，假扮成為美女模擬各種場景，通過具有誘

61、惑性的虛構對話來評估士兵的行為，確定士兵對來自國外的線上“美人計”信息提取和心理操縱的敏感程度。人工智能聊天機器人可以自我學習，可以輕松添加新場景以進行有效訓練，2024 人工智能安全報告20以識別易受誘惑的士兵。通過聊天機器人的數據可獲得有關國外情報機構運作的重要信息，并有助于改進印度陸軍網絡防御，并有效保護士兵。虛假賬號創建和操縱：AI 可以用于創建大量虛假社交媒體賬號，模仿真實用戶的行為，進行網絡釣魚、詐騙和其他惡意活動。案例：AI 生成虛假 LinkedIn 賬號 2019 年，有報道稱，攻擊者利用 AI 技術生成虛假 LinkedIn 賬號，以便進行網絡間諜活動。這些虛假賬號使用 A

62、I 生成的逼真人物圖像和背景信息，誘使目標用戶接受好友請求，以竊取目標用戶的聯系人和其他敏感信息。為應對 AI 驅動的惡意社交互動，個人和組織需要提高對這類攻擊的認識，加強安全意識培訓。社交媒體平臺需要采取更先進的技術手段，如使用機器學習模型檢測虛假內容和虛假賬號。此外，政府和監管機構需要加強立法和監管，以防止 AI 技術被用于惡意目的。12、硬件傳感器相關威脅威脅類型：#網絡威脅#物理威脅目前車輛和無人機等設備一直在推動采用 AI 技術，以實現自動或半自動的駕駛。系統中的傳感器包括視頻、雷達使用基于 AI 的模式識別實現對環境的感知并執行操作決策。針對自動駕駛算法的對抗攻擊，將導致系統作出錯

63、誤的、危險的決策，進而可能造成嚴重的安全事故。2021 年，歐盟網絡安全局（ENISA）和聯合研究中心發布的報告顯示，與物理組件相關的網絡安全挑戰包括傳感器卡塞、致盲、欺騙或飽和，攻擊者可能會使傳感器失效或卡塞，以進入自動駕駛汽車；DDoS 攻擊，黑客實施分布式拒絕服務攻擊，使車輛無法看到外部世界，干擾自動駕駛導致車輛失速或故障。此外，還包括操縱自動駕駛車輛的通信設備，劫持通信通道并操縱傳感器讀數，或者錯誤地解讀道路信息和標志。案例：臟路補?。―RP）攻擊由于對使用設備的人員安全有直接的影響，安全研究機構和設備廠商對所引入的 AI 技術可能存在風險一直有積極的研究。2021 年，加州大學爾灣分

64、校（UCIrvine）專攻自動駕駛和智能交通的安全研究團隊發現，深度神經網絡（DNN）模型層面的漏洞可以導致整個ALC系統層面的攻擊效果。研究者設計了臟路補?。―RP）攻擊，即通過在車道上部署“添加了對抗樣本攻擊生成的路面污漬圖案的道路補丁”便可誤導 OpenPilot（開源的產品級駕駛員輔助系統）ALC 系統，并使車輛在 1 秒內就偏離其行2024 人工智能安全報告21駛車道，遠低于駕駛員的平均接管反應時間（2.5秒），造成嚴重交通危害。想像：威脅行為者利用 AI 系統的漏洞干擾具有自動駕駛功能的車輛的傳感器主要是基于視覺的系統，導致車輛發生事故，人員受傷?，F實：設備廠商和研究機構進行了大量

65、嘗試誤導 AI 系統的研究，證明了此類 AI 傳感器的脆弱性。目前已經出現 AI 實現的缺陷導致的多起事故，但還沒有利用此類脆弱性的惡意攻擊報道。原因可能在于威脅行為者無法在這樣的攻擊中獲利，而且存在漏洞的設備部署量還不夠多。五、當前狀況總結網絡安全領域的威脅行為者經常更新策略，以適應和利用新技術，這是不斷演變的網絡威脅環境的一部分。我們預測，隨著對這些技術的認識和能力的提高，越來越多具有不同背景和目的的威脅行為者將使用生成式 AI。例如，生成式 AI 已經讓現實變得更加模糊，預計惡意行為者會繼續利用公眾辨別真偽的困難。因此，個人和企業都應對所接收到的信息保持警惕。對于一個影響深遠的新技術出現

66、，人們一般傾向于在短期高估它的作用，而又長期低估其影響。AI，特別是近兩年的進展可謂每日見證奇跡，絕對是這樣一類技術。我們在上面回顧了在網絡安全領域一些維度的現狀，攻防雙方都在緊張地探索殺手級的應用，也許在幾天幾個月以后就會看到重大的變化。六、應對措施建議1、安全行業安全行業需要發揮能力優勢，確保人工智能本身的安全性，并積極利用人工智能用于安全防護。廣泛使用紅隊來發現和修復潛在的安全漏洞和安全問題，應該是人工智能開發人員的首要任務，特別是在關鍵系統中。與監管機構密切配合，負責任地披露人工智能漏洞，可能需要建立人工智能特定的漏洞處置流程，進行秘密報告和修復驗證。安全研究機構和個人努力嘗試開發和驗

67、證人工智能被惡意利用的可能性，輸出 POC 和解決方2024 人工智能安全報告22案，通過各種渠道監測各類 AI 被惡意利用的現實案例并加以分析。開發安全工具和解決方案，檢測和緩解各類基于 AI 惡意使用的威脅。2、監管機構監管機構需要對 AI 的潛在風險與影響保持持續關注，在制度和法規上及時提供支持。建立溝通平臺：整合包括安全社區在內的各種智力資源，創建事件報告和信息交流的平臺和流程，使 AI 相關的安全事件和技術進展能夠在一定范圍內充分共享，從而調動能力盡快緩解或解決問題。探索不同的開放模式：AI 的濫用表明，默認情況下公開新功能和算法有一個缺點：增加了惡意行為者可用工具的威力。需要考慮放

68、棄或推遲發布一些與 AI 相關的研究成果的必要性，關注技術領域發表前的風險評估，建議必要的評估組織和過程?？紤]新興的”集中訪問”商業結構：客戶使用平臺提供商（如 OpenAI）提供的各類分析和生成服務，實現集中化的濫用監測和處置，當然，這種模式不能完全滿足商業需求。制度創建和推廣：創建和共享有利于安全和安保的制度，以及適用于軍民兩用技術的其他規范和制度。資源監控：監測 AI 相關的軟硬件和數據資源的流向，通過制度和法規控制和協調資源的合法使用。3、政企機構政企用戶既要及時部署 AI 安全框架和解決方案，以及 AI 安全檢測工具和評估服務，還要依托AI技術推動安全防護技術創新。及時部署 AI 的

69、安全檢測工具與評估服務：通過企業側 AI 應用環境風險評估能力的持續更新，保持檢測能力與 AI 技術迭代的同步。構建 AI 時代的數據保護體系：包括防止數據投喂造成的敏感數據泄漏，通過建立內部技術監管手段，防止員工向大模型泄漏敏感數據；建立身份識別與溯源機制，把身份與數據關聯，發生泄漏時能找到數據泄漏主體。部署用于檢測深度偽造視頻、音頻和圖像的工具和產品：關注深度偽造檢測技術的最新發展，并將其集成到安全策略中。教育和培訓員工：對員工進行安全意識培訓，確保他們了解 AI 濫用的風險和識別潛在威脅的2024 人工智能安全報告23方法；定期舉行演習和培訓，模擬 AI 攻擊場景，提高員工的警覺性。依托

70、 AI 技術推動安全范式變革：啟動人工智能網絡防御推進計劃，升級現有安全防護體系，用防御人工智能對抗惡意人工智能，利用人工智能扭轉“防御者困境”的動態。4、網絡用戶普通用戶在積極擁抱最新人工智能應用的同時，同樣需要更新安全知識，提升保護自身信息安全的能力。保持警惕：對任何看似可疑的信息、郵件或鏈接保持警惕。不要輕易點擊未知來源的鏈接，避免在不安全的網站上輸入個人信息。強化密碼管理：使用強密碼，并為不同的賬戶設置不同的密碼。定期更新密碼，以降低被攻擊的風險?？紤]使用密碼管理器來幫助記住和管理密碼。啟用雙因素認證：在支持的平臺上啟用雙因素認證（2FA），為賬戶提供額外的安全層。這可以防止攻擊者僅憑

71、密碼訪問賬戶。保持軟件更新：定期更新操作系統、瀏覽器和其他軟件，以確保受到最新的安全補丁的保護。這可以幫助抵御已知的漏洞和攻擊。安裝安全軟件：使用可靠的防病毒軟件和防火墻，以保護設備免受惡意軟件和網絡攻擊。定期掃描并更新這些工具，以保持最佳的防護效果。備份數據：定期備份重要數據，以防止數據丟失或被篡改。將備份存儲在安全的位置，如加密的云存儲或離線存儲設備。加密通信：使用加密通信工具，如 Signal 或 WhatsApp，以保護私人對話不被竊聽或篡改。保護個人隱私：在社交媒體和其他在線平臺上謹慎分享個人信息。了解隱私設置，并限制誰可以查看個人資料和發布的內容。定期培訓：了解網絡安全的基本原則，并關注最新的網絡安全威脅和事件。定期參加網絡安全培訓或研討會，以提高安全意識和技能。對虛假信息保持警惕：在轉發或分享信息之前，核實信息來源的可靠性。避免傳播未經證實的消息或謠言，以減少虛假信息的傳播。參考資料TheMaliciousUseofArtificialIntelligence:Forecasting,Prevention,andMitigationhttps:/arxiv.org/ftp/arxiv/papers/1802/1802.07228.pdfAnalyzing3OffensiveAIAttackScenarioshttps:/