《CSA GCR云安全聯盟：2024大語言模型威脅分類報告（42頁）.pdf》由會員分享，可在線閱讀，更多相關《CSA GCR云安全聯盟：2024大語言模型威脅分類報告（42頁）.pdf（42頁珍藏版）》請在三個皮匠報告上搜索。

1、 2024云安全聯盟大中華區版權所有1醫醫療療保保健健中中的的信信息息技技術術治治理理、風風險險與與合合規規（第第二二版版）2024云安全聯盟大中華區版權所有2人工智能控制框架工作組的永久和官方訪問地址為：https:/cloudsecurityalliance.org/research/working-groups/ai-controls 2024 云安全聯盟-版權所有。您可以下載、存儲、在您的計算機上顯示、查看、打印并鏈接到云安全聯盟網站 https:/cloudsecurityalliance.org，但須遵循以下規定：(a)該草案僅供個人及非商業性用途使用；(b)不得以任何形式修改或更

2、改該草案內容；（c）不得重新分發該草案；(d)商標、版權或其他聲明不得被移除。您可以根據美國版權法的合理使用條款引用草案的部分內容，但需注明出處。3 2024 云安全聯盟大中華區版權所有4 2024 云安全聯盟大中華區版權所有致謝致謝報告中文版支持單位報告中文版支持單位中國移動云能力中心，注冊名稱為中移(蘇州)軟件技術有限公司，是中國移動通信集團于 2014 年 3 月在蘇州成立的全資子公司。云能力中心主要承擔中國移動云的技術研發、資源建設、業務運營、服務支撐等相關業務，自研了彈性計算、數據庫、云存儲、云網絡、云安全等 200 余款覆蓋云計算全產業鏈的產品，產品豐富度行業第二，為全國的工業、政

3、務、醫療、教育、交通、金融等行業提供云計算、大數據及各類信息化解決方案。參與本次報告的專家：參與本次報告的專家：王浩碩，云能力中心安全產品部負責人趙玲玲，云能力中心安全產品部研發管理專員付懷勇，云能力中心安全產品部產品經理李雨含，云能力中心安全產品部產品經理薛四青，云能力中心安全產品部軟件開發工程師吳云飛，云能力中心安全產品部綜合管理專員中國移動云能力中心作為云安全聯盟大中華區（CSA GCR）的理事單位，為該報告的翻譯工作提供了必要的支持。這種支持并不涉及對 CSA 在研究內容開發和編輯方面的決策權和控制權，確保了 CSA 在這些核心領域的獨立性和自主性。5 2024 云安全聯盟大中華區版權

4、所有報告英文版編寫專家報告英文版編寫專家主要作者SiahBurkeMarcoCapotondiDanieleCattedduKenHuang貢獻者MarinaBregkouSanitraS.AngramVidyaBalasubramanianAvishayBarMonicaChakrabortyRicardoFerreirAntonChuvakinAlessandroGrecoKrystalJacksonGianKapoorKushalKumarAnkitaKumariYutaoMaDannyManimboVishwasManralJesusLunaMichaelRozaLarsRuddigh

5、eitDorSarigAmitSharmaRakeshSharmaKurtSeifriedCalebSimaEricTierlingJenniferTorenRobvanderVeerAshishVashishthaSounilYuDennisXu審稿人PhilAlgerIlangoAllikuzhiBakrAbdouhVinayBansalVijayBolinaBrianBrinkleyAnupamChatterjeeJasonClintonAlanCurranSandyDunnDavidGeeZackHamiltonVicHargraveJerryHuangRajeshKambleGian

6、KapoorRicoKomendaVaniMittalJasonMortonAmeyaNaikGabrielNwajiakuMeghanaParwatePrabalPathakRuchirPatwaBrianPendletonKunalPradhanDr.MattRoldanOmarSantosDr.JoshuaScarpinoNataliaSemenovaBhuvaneswariSelvaduraiJamillahShakoorTalShapiraAkramSheriffSrinivasTatipamulaMaria(MJ)SchwengerMahmoudZamaniRaphaelZimme

7、9序言序言在人工智能技術迅速發展的背景下，大語言模型（LLM）已成為推動技術創新和業務轉型的核心力量。其在自然語言理解、生成與處理方面的強大能力，正深刻改變著人與信息、技術的互動方式。然而，隨著 LLM 應用的廣泛推廣，伴隨而來的是一系列復雜的風險和挑戰，尤其是在安全性、隱私保護和合規性方面，全球范圍內的應對壓力愈加凸顯。為應對這些挑戰，CSA 大中華區發布大語言模型威脅分類報告，旨在為行業提供一個全面的風險管理框架，幫助各行業識別、評估和管理 LLM 應用過程中可能遇到的風險。本報告詳盡地分析了 LLM 的關鍵資產、服務生命周期、影響類別和威脅類別，為政策制定者、技術專家和行業決策者提供了一

8、個清晰的理解和應對 LLM相關風險的框架。報告的主要內容包括 LLM 資產的分類，詳細描述了從數據資產到模型參數的各個方面；LLM 服務生命周期的管理，涵蓋了從準備到退役的各個階段；以及 LLM 服務的影響和威脅類別，包括數據泄露、模型操縱、供應鏈安全等關鍵領域。希望這份報告能成為 LLM 風險管理和安全控制領域的關鍵參考資料，幫助各界在應對 LLM 帶來的技術挑戰時做出更明智的決策，為未來的研究、政策制定以及行業發展提供堅實的理論支撐。李雨航 Yale LiCSA 大中華區主席兼研究院院長10目錄目標與范圍.12與 CSA AI 控制框架的關系.141.大語言模型概述.121.1.數據資產.

9、151.2.云上大語言模型運維環境.171.3.模型.181.4.服務編排.201.5.AI 應用.222.LLM 服務的生命周期.242.1 準備.252.2 開發.272.2.1 設計階段.272.2.2 發展供應鏈.282.2.3 訓練階段.282.2.4 開發過程中的關鍵考量.292.3 評估與確認.292.3.1 評估.292.3.2 驗證/紅隊.302.3.3 重新評估.302.3.4 評估/驗證過程中的主要考量.312.4 部署.312.4.1 編排.322.4.2 AI 服務供應鏈.322.4.3 應用.322.4.4 部署過程關鍵因素.33112.5 交付.342.5.1 運

10、營.342.5.2 維護.342.5.3 持續改進.352.5.4 交付過程中的關鍵示項.352.6 服務退出.362.6.1 歸檔.362.6.2 數據刪除.362.6.3 模型處置.362.6.4 服務退出期間的關鍵考慮因素.373.大語言模型服務影響分類.374.大語言模型服務威脅分類.384.1 模型操縱.384.2 數據投毒.394.3 敏感數據泄露.394.4 模型竊取.394.5 模型故障/失靈.394.6 不安全的供應鏈.394.7 不安全的應用程序/插件.404.8 拒絕服務.404.9 缺少治理/合規性.405.參考文獻.4212目標與范圍目標與范圍本報告由云安全聯盟(CS

11、A)人工智能(AI)控制框架工作組基于 CSA AI 安全計劃所撰寫。它為與大語言模型(LLM)的風險場景和威脅相關的關鍵術語建立了通用的分類和定義。本報告的撰寫目的是希望能夠提供一個共享的語言和概念框架以供業界溝通交流，并指導其在 CSA AI 安全計劃下進行更多研究。具體來講，這項工作旨在協助 CSA AI 控制工作組和 CSA AI 技術風險工作組做出更多的努力。報告的重點內容如圖 1 所示：LLM 資產LLM-服務生命周期LLM-服務影響類別LLM-服務威脅類別13圖 1：CSA LLM 威脅分類法本報告所采納的定義與分類體系是建立在現有文獻基礎之上，通過工作組成員與組長充分探討后所形

12、成的。通過上述過程，形成了廣泛共識，建立了一套可以指導共同工作的通用術語。報告從文檔末尾引用的眾多行業參考文獻中汲取靈感，特別是 NIST AI 100-2E2023 的“Adversarial Machine Learning:A Taxonomy andTerminology of Attacks andMitigations”Barrett et al.,2023。14有了這些定義和分類，針對評估人工智能威脅和風險、制定適當的控制措施以及管理負責任 AI 開發，可以使不同的 CSA 工作組和項目成員之間取得更高的目標一致性。建立通用術語的目的在于其可以避免語義上的混淆，增加相關概念上的連

13、貫性，以保證對話精確性。本報告將關鍵術語統一匯總起來，也是為了能夠向 CSA AI控制工作組和 AI 技術風險工作組提供對于 AI 安全計劃的統一范圍。與與 CSA AI 控制框架的關系控制框架的關系CSA AI 控制框架工作組的目標是定義一個控制目標框架，以支持各機構能夠在安全、負責任的原則下對 AI 技術進行開發、管理和使用。該框架將有助于評估生成式 AI(GenAI)特別是 LLM 相關的風險。本報告所定義的控制目標將涵蓋與網絡安全有關的各方面。此外，它還涵蓋了與網絡安全相關的安全、隱私、透明度、問責制和可解釋性等方面的內容?？苫仡機SA 前期的博客文章 AI Safety and AI

14、 Security，我們對 AI Safety 和 AI Security 之間的異同點進行了充分探討。CSA 控制框架著眼于 B2B 的影響，與政府在保護國家安全、公民權利和法律執行方面的努力相輔相成，倡導符合全球標準和法規的安全且道德的 AI 應用程序。1.大語言模型概述大語言模型概述本章節定義了實施、管理大語言模型（LLM）系統所必需的基礎組件，涵蓋了從模型訓練、微調過程中重要的數據到確保 AI 系統完美部署和操作的復雜運維環境。同時，本章節也對 LLM 的必要性、架構、性能和優化技術作出了進一步闡述（詳見圖 2）。除上述內容外，本章節還探討了資產保護的注意事項，此外，本節還探討了資產保

15、護過程中較為重要的幾點，利用 RACI 責任分配矩陣（誰負責、誰批準、咨詢誰、通知誰）來明確了開源社區組織在實施 AI 服務時的責任劃分。15圖 2:大語言模型資產1.1.數據資產數據資產在 LLM 服務中，多種資產內容在塑造服務的效能和功能方面起著不可或缺的作用。數據資產是這些資產中最為重要的，它是 LLM 運行不可或缺的基石與首要驅動力。以下是構成 LLM 服務的典型資產范圍列表：用于訓練、基準測試、測試和驗證的數據用于微調訓練的數據用于檢索增強生成（RAG）的數據定義使用中數據的元數據的數據卡片輸入數據用戶會話數據模型輸出數據模型參數（權重）16模型超參數LLM 系統的日志數據以下是對這

16、些資產的定義：1.用于訓練、基準測試、測試和驗證的數據：用于訓練、基準測試、測試和驗證的數據：這包括用于訓練、基準測試、測試和驗證模型的數據集，由文本來源組成，模型從中派生出對語言模式和語義的理解，這對打造模型最終的效果是至關重要的。每個數據元素都被單獨創建并管理。2.微調訓練數據：微調訓練數據：模型經過初始訓練后會用到一些額外的數據對其進行微調或進一步的預訓練，這有利于調整模型的參數，使其更緊密地與特定用例或領域保持一致，從而增強模型適應性和準確性。3.檢索增強生成（檢索增強生成（RAG）：）：即將外部知識庫與大語言模型集成到一起。模型在生成響應之前會檢索外部知識庫中的相關信息，而 RAG

17、便是可以將模型內部資源和外部資源有效連接起來的一種手段。RAG 可以通過內部系統、公開資源等各種渠道檢索相關信息，如互聯網，通過擴展輸入內容及提煉模型的上下文語義，便可使模型生成更為精準的反饋。4.數據卡片：數據卡片：數據卡片是用作管理大模型所用到的各種數據集的。它有助于 AI 數據進行管理，并記錄了每個所使用的數據集的來源、流程軌跡、所有權歸屬、數據敏感度和合規性檢查等相關的信息。隨著數據內容、所有權歸屬以及需求的變化，對數據卡片進行適應性更新以確保數據的合規性和可見性也是十分重要的。5.輸入數據（系統級提示）：輸入數據（系統級提示）：輸入數據是指提供給大語言模型的用于確定上下文和邊界的內容

18、。在生成式對抗技術背景下，這類數據還可用于對模型主題邊界范圍進行設置。6.用戶會話數據：用戶會話數據：是指在用戶與 AI 系統互動過程中所收集的信息，包括所輸入的查詢語句、模型最終生成的反饋以及用戶在使用過程中所補充的內容，收集該類信息能夠加強模型更為人性化的互動。177.模型輸出數據：模型輸出數據：是指模型收到輸入指令后的結果反饋，包含文本型內容、用戶預期的數據形式，輸出數據反映了模型的理解和推理能力。8.模型參數（權重）：模型參數（權重）：是指模型在訓練過程中調用的系統內部參數或權重，這些參數或權重的設定會對模型的行為產生重要影響，進而影響模型響應的能力。9.模型超參數：模型超參數：是指在

19、模型訓練期間所指定的配置參數，包括學習率、批大小或架構選取等參數，這些參數在塑造模型的整體性能和行為方面至關重要。10.日志數據：日志數據：是指模型在運行過程中記錄其各種事件響應和交互行為的數據。包括所輸入的查詢語句、模型最終生成的反饋、模型性能指標以及發生的任何異常行為，這對監控和完善模型的功能和性能至關重要。1.2.云上大語言模型運維環境云上大語言模型運維環境LLM 運維環境是指部署及操作大語言模型所涉及的基礎設施和流程。以下是與此環境相關的專業定義：運行訓練環境的云運行模型推理點的云運行 AI 應用的云環境混合和多云基礎設施部署環境的安全性持續監控云托管訓練數據（存儲）以下是這些專業名詞

20、在大語言模型運維框架中的具體描述及作用：1.運行訓練環境的云：運行訓練環境的云：該環境中納管了由云平臺或云服務提供商所提供的模型訓練過程中所需的計算資源、存儲設施、輔助基礎設施等，這些底層資源對于訓練 LLM是至關重要的。它決定了模型性能提升的上升空間。182.運行模型推理的云：運行模型推理的云：該環境中納管了由云平臺或云服務提供商所提供的模型訓練和模型推理過程中所需的計算資源、存儲設施、輔助基礎設施等，該環境下運行的 LLM 能夠根據用戶輸入生成預期響應，確保交互連貫性。3.運行運行 AI 應用的云（公有云應用的云（公有云/私有云私有云/混合云）：混合云）：該環境中納管了由云平臺或云服務提供

21、商所提供的運行 AI 應用程序或 AI 服務所需的基礎設施，它們會使用已訓練好的大語言模型的能力。它類似于一個服務中心，利用模型的推理能力向最終用戶提供增值服務。4.部署環境的安全性：部署環境的安全性：指的是一系列簡單的訪問機制和政策，來規范外界對大模型各組件的訪問。包括身份和訪問管理(IAM)協議和網絡安全措施，以保護關鍵資產和功能的完整性和隱私性。5.持續監控：持續監控：指的是對大模型運維環境的性能、安全態勢、整體狀況持續監測，包含了對訓練環境、推理環境和應用組件的監測，確保模型在最佳狀態下運行，同時也會及時識別和糾正可能出現的任何異?；騿栴}。6.云托管訓練數據（存儲）：云托管訓練數據（存

22、儲）：指的是云平臺或云服務提供商所提供的用于模型訓練的大量數據集，它需要強大的存儲和數據管理能力，以適應龐大和多樣化的數據類型，這些數據集對于訓練和完善模型性能是至關重要的。1.3.模型模型在機器學習領域中，“模型”一詞指的是能夠通過訓練來預測或執行特定任務的數學表示或算法。所選取的模型架構、所采用的微調方法以及使用的開源或閉源的模型都將會大大影響大語言模型在特定領域中的性能、效能以及靈活性。我們在以下小節中對基礎模型資產進行了定義：通用大模型19微調模型開源與閉源模型特定領域模型模型卡片1.通用大模型通用大模型：通用大模型是大模型發展的起點。通常指的是大型、預訓練的語言模型，它們借助自我監督

23、學習技術對大量未標記的數據進行學習，以獲得對自然語言的泛化理解。通常，通用大模型為后續的微調模型和專業化模型奠定了基礎，以滿足特定的任務或領域的需要。對于一些先進和創新的基礎模型，我們可以使用“前沿模型”這一術語來表示 AI 領域中的一個全新基礎模型。從 AI 的角度來看，有時“基礎模型”一詞表示的是應用技術堆棧中的基礎模型。2.微調大模型：微調大模型：微調模型是從通用大模型演進而來，經過改進和調整后能夠適應特定任務或領域。微調過程，是利用了有監督學習技術和有標記的特定數據來調整通用模型的參數。這一迭代過程使我們的微調模型能夠在保持原通用模型基礎知識和能力的同時，增強其在特定任務或領域上的適用

24、性和完整度。3.開源與閉源大模型：開源與閉源大模型：開源大模型與閉源大模型的主要區別在于對模型源代碼、模型權重以及相關組件訪問的許可。開源模型可能會公布它們部分或全部的訓練數據、源代碼、模型開發所用的數據、模型架構、權重和工具，以開源許可證的形式向大眾開放，允許在特定條款和條件下免費使用。然而，閉源模型保持了私有化狀態，不會向大眾公開其源代碼、模型權重和技術細節，這通常出于保護知識產權或商業利益的目的。允許用戶訪問模型進行微調或推理的閉源模型稱為開放型訪問模型。以上這些模型共同構成了模型開發的支柱，促進了生成式 AI 的創新性、適應性和可訪問性。204.特定領域大模型：特定領域大模型：特定領域

25、大模型指的是能夠在特定領域如金融、醫療、代碼開發等表現出優異性能的機器學習模型。5.模型卡片：模型卡片：模型卡片是用來描述大模型特征的。它是一種維護大模型文本的文件，對于管理和確保 AI 模型的正確性是至關重要的。模型卡片包括模型文本的細節，如所有權、性能特征、模型訓練的數據集、訓練順序等。這也有助于用戶追溯、沿襲、理解模型的行為。模型卡片需要隨著文本元數據的變化不斷維護和更新。CSA,2024更多關于模型卡片的詳細信息可以在 Hugging Face 平臺上獲取到，該平臺是一個專門的機器學習社區，能夠提供大模型、數據集和應用程序給學習者使用。1.4.服務編排服務編排這類服務包含了一系列組件和

26、功能，能夠實現大語言模型的高效性和安全性。以下是服務編排過程中可能涉及資產清單：緩存服務安全網關（LLM 網關）部署服務監控服務優化服務安全插件自定義和集成插件大語言模型通用代理以下是各類編排服務資產的定義及其重要性闡述：211.緩存服務：緩存服務：緩存服務指的是一種系統或組件，它們通過緩存模型生成的響應、輸入數據或其他數據來提高大模型的請求效率和性能，減少冗余計算。通過緩存服務臨時存儲頻繁訪問的數據，有助于降低請求響應時間并且減輕大語言模型的計算壓力。2.安全網關（安全網關（LLM 網關）：網關）：安全網關，也稱為 LLM 網關，是作為大語言模型和外部系統交互的中間件。這些網關通過實施訪問控

27、制、輸入驗證、過濾惡意內容（如提示注入攻擊）與個人/隱私信息的舉措，防范潛在威脅或濫用，來確保 大語言模型所處理數據的完整性和機密性。3.部署服務：部署服務：部署服務簡化了大語言模型在不同環境（包括云平臺和本地基礎設施）中的部署和擴展。這些服務能夠使部署過程自動化，促進版本管理，并優化資源分配方案，以確保大語言模型的高效和無縫部署。4.監測服務：監測服務：監測服務在監督大語言模型的安全性、性能、安全狀況和使用情況方面至關重要。這些服務使用監控工具和技術收集實時信息，來檢測異常、濫用（例如提示注入攻擊等）并發出警報，從而實現系統安全性，通過主動維護和及時干預，以維持大語言模型的最佳運行狀態。5.

28、優化服務：優化服務：優化服務旨在優化大語言模型的性能和資源利用率。這些服務采用一系列技術，如模型量化、剪枝、高效的推理策略，來提高大語言模型的效率，降低計算開銷，并保證在不同的部署場景下整體性能的提升。6.安全插件：安全插件：22安全插件是通過提供數據加密、訪問控制機制、威脅檢測能力和合規性強制措施來擴展大語言模型安全性的一種組件，能夠增強網絡彈性。7.自定義和集成插件：自定義和集成插件：通過引入自定義和集成插件，大語言模型可以實現行為的個性化定制并無縫對接各類系統、應用程序和數據源。這些插件使模型更具靈活性，不僅能夠根據特定場景或行業需要調整模型的功能，而且還提升了與既有架構的兼容性，增強了

29、大語言模型部署的多功能性和實用性。8.大語言模型通用代理：大語言模型通用代理：大語言模型通用代理是指與大語言模型協作以增強模型功能和性能的智能代理或組件。這些代理可用來執行各種任務，如規劃映射功能調用監測，數據處理，可解釋性，優化，擴展和協作，增強大語言模型部署在不同操作環境中的多功能性和適應性。1.5.AI 應用應用AI 應用已經變得無處不在，滲透到我們日常生活和商業運作的各個方面。從內容生成到語言翻譯，由大語言模型驅動的 AI 應用已經徹底改變了行業，重塑了我們與信息技術交互的方式。然而，隨著 AI 應用的普及，一個有效的控制框架用以指導 AI 應用開發、部署和使用成為我們迫切要解決的問題

30、。23AI 應用使技術創新走向巔峰，提供了多種滿足不同商業領域和場景的能力。這些應用程序利用大語言模型強大的功能來編譯和處理自然語言輸入，實現了內容生成、智能問答、情感分析、語言翻譯等功能。本質上來講，AI 應用程序是用戶與底層大語言模型間實現智能交互的接口，促進了不同領域間無障礙交互和任務自動化。而作為大語言模型的下游應用，AI 應用程序是整體 AI 控制框架中最為重要的資產之一。它們是模型與最終用戶連接的直接觸點，影響用戶對 AI 系統的感知和交互方式。因此，AI 應用的好壞會一定程度上放大用戶對大模型優劣評價。AI 應用也可能對經濟產生重大影響。隨著企業日益依賴 AI 應用以推動創新、簡

31、化運營并獲取競爭優勢，負責任的應用開發與部署對于維護市場完整性和促進公平競爭愈發重要。鑒于上述考慮，AI 控制框架必須以 AI 應用的治理和監督為首要考慮要素。這包括了為 AI 應用開發、測試、部署、運營和維護建立指導方針和標準，確保各項環節符合法律法規，并保持在 AI 應用全生命周期的透明度和問責制。除了達成上述既定目標，AI 控制框架還應聚焦于對 AI 應用進行持續的監測和性能評估，旨在及時識別潛在風險并避免或減少意外發生。通過在 AI 控制框架中優先考慮 AI 應用程序，組織可以積極應對與大語言模型驅動的應用相關的挑戰和風險，同時發揮其變革潛力以推動創新和改善生活。AI 應用卡片是維護

32、AI 應用上下文的文件，在應用程序治理方面發揮著至關重要的作用。AI 應用卡片封裝了應用程序的所有相關數據，包括所使用的模型、所使用的數據集、應用程序和 AI 案例、應用歸屬人（見下一部分 RACI 模型中的不同所有者類型）和守護者。AI 應用卡片一種簡單的方式來傳達 AI 應用數據并實現數據共享，能夠幫助 AI 治理組織、AI 委員會和監管機構了解這些應用及其使用的 AI 能力。而AI 應用卡片也可以逆向關聯到其背后的模型卡片和數據卡片。242.LLM 服務的生命周期服務的生命周期本章節主要概述 LLM 服務的不同生命階段，每個階段都對服務的效率、可靠性以及整個生命周期至關重要。從構想和規劃

33、的籌備階段到最終的歸檔和處置階段，每個階段都被納入一個綜合框架，該框架旨在改善服務交付以及保障需求和標準的一致性。組織可以通過這種結構化方法清晰有效地管理服務開發、評估、部署、交付和退出?；谛屡d的標準，例如關于 AI 系統生命周期的標準 ISO/IEC 5338，以及來自英國數據倫理與創新中心(CDEI)等機構的綜述，這個生命周期涵蓋了端到端的過程，從早期準備和設計到培訓、評估、部署、交付，最終退出。下面我們對 LLM 服務生命周期各個階段進一步細分。準備：數據收集數據管理數據存儲資源供應團隊和專業知識開發：設計訓練開發過程中的關鍵考量護欄評估/確認：評估驗證/紅色團隊25重新評估評估/驗證

34、期間的主要考量部署:編排AI 服務供應鏈AI 應用交付:運營維護持續監察持續改進服務退出:歸檔數據刪除模型清除2.1 準備準備這個階段為整個 LLM 開發過程奠定了基礎，并且極大地影響了模型的質量和倫理行為。從數據開始，在本節中，我們定義以下術語:數據收集數據管理數據存儲資源供應團隊和專業知識26在構建大語言模型（LLM）的過程中，數據收集數據收集應專注于識別那些多樣化、規模龐大且質量上乘的數據源，包括文本和代碼等。我們不僅要遵循道德采購的最佳實踐，還要警惕數據中可能存在的偏見。確保我們所收集的數據不僅滿足有效訓練的需求，而且能夠反映我們對長期管理制度的承諾，以避免產生帶有偏見或歧視性的輸出。

35、數據管理數據管理是一個提升數據質量的系統化過程，它包括數據的清洗（去除錯誤、不一致和不相關信息）、分類（根據邏輯主題或類別組織數據）、標注（為監督學習分配標簽），以及數據的匿名化和轉換（調整數據格式以確保兼容性）。數據存儲數據存儲解決方案，如數據庫或云存儲服務，必須確保數據的可訪問性，同時采取嚴格的安全措施來保護敏感信息并遵守隱私法規。在準備階段，資源配置資源配置需要精心策劃，選擇適合的計算和云資源。硬件選擇應考慮處理器類型（如 CPU、GPU、TPU）以及為 LLM 優化的內存配置。軟件選擇則包括穩定的操作系統、豐富的庫和編程環境。利用云基礎設施可以顯著提高系統的可擴展性、靈活性和成本效益此

36、外，團隊的專業能力和知識團隊的專業能力和知識同樣至關重要。數據科學家負責收集、處理和分析數據；機器學習工程師設計并微調 LLM；軟件開發人員構建必要的工具；語言學家提供深入的語言專業知識；倫理學家則評估模型的社會影響，并提出減輕潛在風險的策略。在構建大語言模型（LLM）的準備過程中，我們首先需要明確定義模型的目標和用途。這將指導我們在數據選擇和處理過程中做出負責任的決策。我們應主動識別并處理數據中的潛在偏差，確保模型的公正性和準確性。在整個數據生命周期中，實施強有力的隱私保護措施是至關重要的。這不僅包括數據的收集和存儲，也涵蓋了數據的管理和使用。數據保管鏈（data chain-of-cust

37、oday）應成為我們安全數據工作和模型開發的基石，在數據收集、管理和存儲的各階段，確保訓練數據的完整性和未被篡改至關重要。272.2 開發開發在這一階段，我們的目標是將精心準備的數據和強大的計算資源轉化為一個高效、可靠的功能性大語言模型（LLM）。主要活動包括:設計開發供應鏈訓練開發過程中的關鍵考量2.2.1 設計階段設計階段模型架構選擇：模型架構選擇：我們首先需要根據模型的預期任務，精心挑選合適的 LLM 架構，例如基于 Transformer 的模型或循環神經網絡。在這一過程中，我們將綜合考慮性能需求、計算資源限制以及模型將要處理的數據類型。超參數優化：超參數優化：接下來，我們將確定那些控

38、制模型訓練過程的關鍵超參數，包括學習率、批量大小和網絡層數等。這些參數的選擇將直接影響模型的訓練效率、收斂速度以及最終的準確性。評估指標設定：評估指標設定：為了全面跟蹤模型在訓練期間的表現，我們將定義一系列評估指標，如準確率、困惑度和 BLEU 分數，這些指標將幫助我們識別模型性能的改進空間。282.2.2 發展供應鏈發展供應鏈基礎模型利用：基礎模型利用：我們考慮采用預先訓練好的基礎模型，例如 GPT-3 或 BERT，它們為我們提供了一個強大的起點。通過對這些模型進行微調，我們可以針對特定數據集獲得定制化的結果。組件評估：組件評估：我們將評估不同任務的需求，如命名實體識別、情感分析或文本摘要

39、，并決定是選擇現成的開源或閉源組件，還是開發自定義組件來滿足這些需求?？蚣苓x擇：框架選擇：為了簡化模型的開發、訓練和部署流程，我們將選擇一個功能強大的機器學習框架，如 TensorFlow、PyTorch 或 Ray。2.2.3 訓練階段訓練階段訓練流程實施：訓練流程實施：我們將精心策劃的數據輸入到選定的模型架構中，并運用優化算法，如梯度下降法，迭代更新模型參數，以最小化訓練數據中的誤差。訓練監控：訓練監控：在訓練過程中，我們將使用之前定義的評估指標密切監控模型的進展，及時發現過擬合或欠擬合的跡象，并相應調整訓練策略或超參數。實驗迭代：實驗迭代：通過迭代方法，我們將測試不同的模型結構、超參數和

40、數據預處理技術，以探索最佳配置。標記化處理：標記化處理：這一步驟涉及將輸入文本分解為更小的單元，稱為“標記”，這些可以是單詞、子單詞單元或單個字符。標記化的主要目的是將原始文本轉換為數值格式，以便 LLM 的神經網絡進行處理。通過將每個標記映射到一個唯一的整數值或嵌入向量，標記化不僅影響模型對輸入文本的表示和處理方式，而且是 LLM 工作流程中的基礎步驟。正確的標記化方法可以顯著提升模型理解和生成自然語言的能力，同時確保計算效率。292.2.4 開發過程中的關鍵考量開發過程中的關鍵考量透明性：透明性：我們致力于記錄設計決策、模型架構和訓練流程，這不僅促進了項目的可重復性，也增強了結果的可靠性。

41、透明度是構建信任和確保研究誠信的基石?？山忉屝裕嚎山忉屝裕何覀儍炏炔捎媚軌蜿U明模型決策過程的技術，特別是在那些涉及高風險的應用場景中。通過增強模型的可解釋性，我們能夠更好地理解其輸出，從而提高用戶對 AI 系統的信任。效率：效率：我們在追求模型性能的同時，也注重計算資源的有效利用。我們探索各種優化技術，如模型量化和剪枝，旨在提升模型運行效率，同時確保其準確性不受損害。版本控制：版本控制：我們實施了一套強大的版本控制系統，用以追蹤模型、標記化策略、訓練數據集以及其他組件的每一次變更。這一做法不僅確保了研究的可重復性，也為必要時的版本回退提供了可能，同時促進了開發團隊成員間的協作。2.3 評估與確

42、認評估與確認評估階段是在部署大語言模型（LLM）之前，對其進行嚴格的性能、可靠性和適用性評估，以確保滿足預期目標。本節定義以下術語:評估驗證/紅隊重新評估評估過程中的主要考量/驗證2.3.1 評估評估度量：度量：采用定量與定性指標相結合的方法，為 LLM 量身定制評估體系。定量指標涵蓋準確度、精確度、召回率、F1 分數、針對語言生成任務的困惑度以及翻譯任30務的 BLEU 分數。定性評估則可能包括人類評審員對輸出的流暢性、連貫性和相關性的專業判斷?；鶞蕼y試：基準測試：對比 LLM 的表現與已建立的基準線及行業內其他先進模型，以識別其相對優勢和潛在不足。偏見和公平性檢驗：偏見和公平性檢驗：對模型

43、輸出進行檢查，以識別可能存在于不同人群或敏感屬性中的潛在偏見。通過使用公平性指標來量化這些差異。2.3.2 驗證驗證/紅隊紅隊真實世界測試：真實世界測試：將 LLM 置于與其預期用例相似的真實環境中測試，以評估模型面對未知數據時的表現，從而衡量其泛化能力。人在回路（人在回路（Human-in-the-loop）：）：讓專家參與到 LLM 輸出的評估中，尤其在對準確性和細節要求極高的敏感領域，并收集反饋以指導未來的優化。紅色團隊：紅色團隊：組建一支專業的對抗團隊，深入挖掘 LLM 的潛在漏洞、偏見和故障模式，有助于發現常規測試中可能遺漏的弱點。2.3.3 重新評估重新評估監控：監控：在部署 LL

44、M 后，對模型性能進行持續監控。建立監測機制，以識別數據和模型漂移以及性能隨時間下降的問題。數據漂移是指輸入數據隨著時間推移發生變化，這種變化可能導致模型性能下降。當模型真實輸入數據與模型訓練數據有偏離時，模型的預測準確性和可靠性就會降低。模型漂移是指隨著時間推移，輸入特征和目標變量之間的統計關系發生變化，從而導致模型的預測能力下降。這種漂移可能由多種因素引起，包括但不限于：生成數據的基礎過程變化、消費者行為變化、外部環境因素等。31數據漂移和模型漂移都會導致機器學習模型的性能下降，因此，對這些潛在問題進行持續監控并采取有效措施至關重要。持續監控、重新訓練或用新數據更新模型等技術可以緩解這些問

45、題。觸發再培訓：觸發再培訓：設定明確標準，以判斷何時需要對 LLM 進行全面或部分的再培訓，以響應性能下降或數據分布的變化。2.3.4 評估評估/驗證過程中的主要考量驗證過程中的主要考量彈性：彈性：為確保 LLM 在面對不可預見的輸入情況時仍能保持穩定和一致的性能，需要從對抗性輸入魯棒性、異常值、異常數據模式等方面評估 LLM。不確定性：不確定性：探索模型對其預測的信心水平，以便在實際應用中指導人類決策。數據代表性：數據代表性：確保評估數據集與 LLM 在實際應用中處理的實時數據高度一致，以避免產生誤導性結果。2.4 部署部署部署階段將經過訓練和驗證過的 LLM 集成到提供服務的系統中。本節定

46、義以下術語：編排AI 服務供應鏈應用部署過程關鍵因素Guardrails 護欄322.4.1 編排編排容器化：容器化：為了提高 LLM 的可移植性并簡化其部署流程，采用容器化技術，將 LLM及其必要的依賴項（包括庫、數據等）封裝進容器（如 Docker）中?？蓴U展性：可擴展性：構建一個可根據需求進行靈活擴展的部署架構。同時使用負載均衡技術實現高效地分發傳入請求。版本控制：版本控制：建立一個系統，用于跟蹤模型版本、配置及性能指標的系統，有助于確保 LLM 更新是可回滾和可比較的。IaaC：采用基礎設施即代碼（Infrastructure as Code）的方法，將基礎設施的配置和管理過程自動化和

47、代碼化。這可以帶來更改可追溯性、回滾可操作性等優點。2.4.2 AI 服務供應鏈服務供應鏈代理：代理：在構建大對話式人工智能系統時，確保大模型能夠與自然語言理解（NLU）模塊、對話管理器和知識庫等關鍵組件進行交互。插件：插件：為提升大模型能力，可考慮將其與特定領域的插件或擴展進行集成，（例如，醫療保健或金融等特定領域的插件）。同時，必須考慮這些外部組件集成所帶來的安全風險。安全：安全：在供應鏈中應優先考慮安全性，包括保護 API 端點、實施用戶身份驗證和授權機制、安全管理訪問憑據，以及加密傳輸和存儲中的數據。2.4.3 應用應用應用程序編程接口（應用程序編程接口（APIs）：）：為便于外部系統

48、和用戶與由 LLM 驅動的應用程序進行交互，開發結構良好的 API，提供清晰的 API 文檔，包括輸入/輸出格式、預期行為等。采用 REST（REpresentation State Transfer）等業界標準構建 API，同時實施版本控制。33檢索增強生成（檢索增強生成（RAG）：）：考慮將檢索組件集成到大模型中，以便模型能夠訪問并整合來自外部知識源的信息，從而提升響應的精確性。輸入提示：輸入提示：為了指導 LLM 更有效地執行特定任務并確保輸出的安全性，探索使用提示注入技術。不安全的輸出處理不安全的輸出處理：對大模型的輸出進行嚴格審查，以預防可能引發安全漏洞的有害輸出，如系統損害或數據泄

49、露等風險。2.4.4 部署過程關鍵因素部署過程關鍵因素用戶界面用戶界面/用戶體驗（用戶體驗（UI/UX）：）：設計用戶友好的界面，確保用戶能夠與大模型應用程序順暢交互。根據大模型的上下文環境，定制滿足特定場景下的需求?？捎^察性：可觀察性：為了跟蹤 API 使用情況、LLM 性能和錯誤率，建立全面的日志記錄和監控系統。記錄數據有助于指導模型的調試和持續優化。透明性：透明性：向用戶清晰地闡述大模型的工作原理及其輸出的潛在局限性，增強用戶對模型輸出的理解，建立信任感。輸入過濾：輸入過濾：識別并防止可能對模型造成數據污染的惡意輸入，以減少對模型輸出的影響。輸出過濾：輸出過濾：防止生成不恰當或有害的內容

50、，如仇恨言論、暴力、露骨材料和其他被認為不可接受或有害內容。隱私：隱私：為保障用戶隱私安全，應實施控制措施以降低隱私風險，防止模型生成可能泄露個人或專有信息的內容。濫用：濫用：限制 LLM 的使用，以防止其被用于生成欺詐性內容、釣魚郵件等不當用途，或其他形式的操縱及不道德內容。34倫理準則和偏見緩解：倫理準則和偏見緩解：為確保 LLM 的使用既符合倫理原則又遵循社會規范，應減少產生與種族、性別、性取向等相關的偏見和歧視性內容。2.5 交付交付交付階段的核心在于對已部署的大模型進行持續管理，并通過不斷的迭代改進以保持該模型的標準和性能。通常認為，交付階段涵蓋了以下三個關鍵子階段：運營維護持續改進

51、2.5.1 運營運營日志及監控：日志及監控：持續監控模型的關鍵性能指標，如準確性、延遲和資源利用率。一旦檢測到安全問題或性能下降，立即通過告警系統通知相關人員。事件響應：事件響應：制定詳細的應急響應計劃和程序，及時處理和解決系統故障，并及時響應諸如網絡攻擊、漏洞或性能瓶頸等安全事件。用戶反饋：用戶反饋：建立反饋機制，收集用戶對模型輸出的意見和建議。對收集到的用戶反饋進行分析，以確定需要改進的領域或潛在問題。2.5.2 維護維護Bug 修復：修復：識別并解決在模型訓練、微調或部署過程中出現的代碼錯誤或系統故障。發布補丁或更新，以確保系統的穩定性和數據的完整性。安全更新：時刻經替新出現的安全更新：

52、時刻經替新出現的安全威脅和漏洞。根據既定的漏洞管理服務水平協議（SLA），為大模型和相關系統提供安全補丁和更新。修補的過程應當全面覆蓋正在被使用的第三方或公共大模型（LLM)版本。35重新訓練模型：重新訓練模型：隨著與大語言模型（LLM）交互數據特性的變化，可能需要更新訓練數據或重新訓練模型以維持最佳性能。2.5.3 持續改進持續改進重新訓練：重新訓練：定期評估是否需要在新數據或更新的超參數上重新訓練大模型。此舉旨在解決概念漂移和性能下降問題，或以此為契機，擴展模型的能力。持續反饋循環：持續反饋循環：將監控系統與用戶反饋機制相結合，形成一個閉環反饋系統。通過監控數據和用戶反饋指導模型重訓練與持

53、續優化。實驗：實驗：不斷探索可能提高模型整體性能的新模型架構、算法或訓練技術。2.5.4 交付過程中的關鍵事項交付過程中的關鍵事項在整個操作和維護過程中，持續監控模型，以識別模型在部署后可能的任何惡意行為或偏差。通過主動監控和及時干預，確保及時發現并解決問題，從而減輕對用戶或系統的潛在負面影響。變更管理在維護模型的穩定性和性能方面至關重要。一方面可建立全面的變更管理流程，記錄所有的更新并跟蹤其對性能的影響。另一方面可通過制定強有力的變更管理程序，有效管理模型的演進，減少系統中斷和性能下降。此外，制定有效的回滾計劃，以便在變更或修改出現問題時迅速采取應對措施。為潛在的停機情況制定計劃也是模型維護

54、的關鍵內容。對可能導致服務中斷的更新或維護要有一定的預見性并制定針對性工作計劃。一方面要充分告知用戶，確保他們了解停機窗口及伴隨的服務中斷。并確保利益相關方能夠了解情況并為可能對其運營造成的影響做好準備。通過主動解決停機問題，組織方在滿足用戶的期望和要求的同時，也可以保持大模型（LLM）的可靠性和可用性。362.6 服務退出服務退出此階段的重點是當大模型被新模型取代或其繼續運行會帶來不可接受風險時，正確的停用大語言模型。本節中定義如下術語：歸檔數據刪除模型處置2.6.1 歸檔歸檔模型保存：模型保存：即對大模型及其所有相關組件，包括代碼、配置文件和訓練數據，進行存檔。按照組織方（此處建議討論統一

55、）的數據保留策略，對存檔內容進行安全、合規的存儲。存檔內容對歷史分析、審計、模型迭代或復用等場景具有重要價值。文檔記錄：文檔記錄：保存大模型的所有文檔，涵蓋設計、開發過程、性能指標、使用限制等關鍵信息。同時記錄使用過程中遇到的所有事件。2.6.2 數據刪除數據刪除法規：法規：遵守數據治理法規（如 GDPR、CCPA），安全地刪除在大模型運行期間所收集或訓練的任何個人或敏感數據。保留政策：保留政策：制定明確的數據保留策略，規定數據的存儲期限和條件，確立數據安全處置的流程和方法。2.6.3 模型處置模型處置再利用評估：再利用評估：對大模型及其組件進行全面評估，確定是否適合復用于其他應用或研究項目。

56、從而降低開發成本和環境影響。37知識產權：知識產權：針對退役的大模型，審慎處理所有相關的知識產權問題，特別是使用外部資源或許可技術開發的大模型。安全處置：安全處置：如果確定大模型無法再利用，應采取安全措施進行處置，防止未經授權的訪問或潛在濫用。對于存儲在物理介質（如硬盤、SSD 或可移動存儲）上的模型，考慮采用物理銷毀方法，確保數據無法被恢復。即可以通過消磁、粉碎或物理銷毀等方式實現。2.6.4 服務退出期間的關鍵考慮因素服務退出期間的關鍵考慮因素告知：告知：在大模型服務退役前，通知所有用戶和利益相關方。如有必要，提供清晰的遷移指南，以將服務遷移到替代服務或解決方案。影響評估：影響評估：仔細評

57、估大模型服務退役的潛在影響，特別是對敏感領域或高度依賴該服務的用戶的影響。知識轉移：知識轉移：從退役模型的開發和運營過程中總結經驗教訓，并能夠有效地應用到組織未來的人工智能項目中。3.大語言模型服務影響分類大語言模型服務影響分類我們可以將影響類別直接對應到已經確立的 CIA 安全三要素（機密性、完整性和可用性）上。此外，根據 NIST 文件 AI 100-2 E2023，還可以增加“濫用/誤用”和“隱私喪失”這兩個新的影響類別。以下是對 LLM 相關風險的概括分類：機密性：存在這樣一種風險，即 LLM 的數據、模型本身或其生成的輸出可能會被泄露給未授權的個人，這涉及敏感信息，可能包括個人數據、

58、商業秘密或其他機密材料。38完整性：存在 LLM 的數據或其生成的輸出被惡意或意外地修改或損壞的風險，這可能導致結果不正確或具有誤導性?？捎眯裕簩?LLM 操作可能存在遭受干擾的風險，導致用戶在關鍵時刻無法訪問。這些干擾可能包括服務拒絕攻擊、系統故障、意外停機、過高的計費限額或計算資源不足等情況。4.大語言模型服務威脅分類大語言模型服務威脅分類大語言模型服務威脅分類的初始列表涵蓋一系列需要重點考慮并緩解的潛在風險和漏洞。每個類別都代表一個獨特的挑戰，可能會損害大語言模型服務的完整性、安全性和有效性。具體分類如下：1.模型操縱2.數據投毒3.敏感數據泄露4.模型竊取5.模型故障/失靈6.不安全的

59、供應鏈7.不安全的應用程序/插件8.拒絕服務9.缺少治理/合規性4.1 模型操縱模型操縱模型操縱涉及試圖逃避檢測或操縱大語言模型產生不正確或誤導性的結果。包括直接或間接指令注入（對抗性輸入）等技術，旨在利用模型學習訓練和決策過程中的漏洞。394.2 數據投毒數據投毒數據投毒是指操縱大語言模型訓練數據的一種行為，攻擊者可能故意向訓練數據中注入虛假、誤導性或無用信息，或利用數據集中已有的錯誤和偏差。無論哪種情況，數據投毒都可能使模型受到污染，導致模型學習到錯誤的模式，產生帶有偏見的預測結果，并降低其可信度。4.3 敏感數據泄露敏感數據泄露敏感數據泄露指的是對大語言模型服務在處理或存儲過程中的敏感信

60、息進行未授權訪問、披露或泄露的威脅。這類敏感信息可能涵蓋個人隱私數據、商業專有數據或機密文件。一旦這些數據遭到泄露，可能會引發隱私侵犯和安全漏洞的問題。4.4 模型竊取模型竊取模型竊?。ㄒ卜Q為模型蒸餾）指的是惡意行為者未經授權地訪問或復制大語言模型。攻擊者可能會嘗試對模型的架構進行逆向工程，或者提取出專有的算法和參數。這種行為可能會導致知識產權被盜用，或者模型被未經授權地復制和使用。4.5 模型故障模型故障/失靈失靈模型故障/失靈指大語言模型服務中可能出現的軟件錯誤、硬件故障、操作錯誤等問題。此類事件可能會破壞服務可用性、降低性能、破壞模型輸出準確性和可靠性。4.6 不安全的供應鏈不安全的供應

61、鏈不安全的供應鏈指的是在大語言模型的生態系統中，由于第三方組件、依賴項或服務的引入而產生的安全漏洞。這些漏洞可能被惡意利用，從而損害大語言模型服務的安全性和可靠性，例如通過使用被篡改的軟件庫或存在缺陷的硬件組件。404.7 不安全的應用程序不安全的應用程序/插件插件不安全的應用程序/插件包括與大語言模型服務交互的插件、函數調用或擴展中引入的漏洞。不安全或惡意設計的應用程序/插件可能會引入安全漏洞、特權提升或對敏感資源進行未經授權的訪問，這些都會對集成系統的輸入和輸出構成風險。4.8 拒絕服務拒絕服務拒絕服務攻擊旨在通過大量請求或惡意流量壓垮 LLM 服務，從而破壞其可用性或功能。DoS 攻擊可

62、以使服務對合法用戶不可訪問，導致停機、服務質量下降或信任喪失。4.9 缺少治理缺少治理/合規性合規性這一類別涉及不遵守監管要求、行業標準或管理 LLM 服務運營和使用的內部治理與合規政策的風險。未能遵循治理與合規標準可能導致法律責任、財務處罰或聲譽損失。采取全面的方法應對大模型服務的威脅風險，包括但不限于實施強有力的安全措施、進行持續的風險評估、集成威脅情報，以及制定針對模型獨特特性的主動緩解策略。從安全控制和風險管理的角度出發，我們需要識別與大模型系統相關的弱點和漏洞，以便采取相應的預防和修復措施。大模型的弱點可能表現在多個方面，如訓練數據的局限性、算法的偏差或模型架構的缺陷。例如，模型對訓

63、練數據中統計模式的依賴可能導致在處理語言的細微差別或識別潛在的惡意輸入時存在不足。41大語言模型的漏洞是指在特定情況下，攻擊者可以利用這些漏洞破壞模型的完整性、機密性、可用性或模型的輸出。這些漏洞可能源自模型實踐中的缺陷，例如編碼錯誤、配置不當、訓練數據被操縱以引入偏見或通過反向示例進行攻擊。從風險管理角度看，識別并減輕模型中的弱點和漏洞風險對于防范潛在威脅并降低威脅影響十分重要。這涉及評估對模型攻擊的可能性及潛在影響、根據風險的嚴重程度確定風險的優先級，并實施適當的安全控制措施，以減輕或將這些風險轉移到可接受的水平。作為安全策略的一部分，應該通過紅/藍對抗提高系統的安全性。通過區分弱點、漏洞

64、和攻擊，人工智能控制框架可以提供一種結構化的方法來識別、評估和減輕與部署人工智能系統相關的風險。這使得組織能夠制定有效的策略來防范潛在威脅，增強其人工智能系統的抗打擊能力，并保證其運營的可信度。425.參考文獻參考文獻1.BARRETT,A.M.,NEWMAN,J.,NONNECKE,B.,HENDRYCKS,D.,MURPHY,E.R.andJACKSON,K.(2023).CLTC Center for Long-Term Cybersecurity UC Berkeley AIRisk-Management Standards Profile for General-Purpose AI

65、 Systems(GPAIS)andFoundation Models.online UC Berkeley Center for Long-Term Cybersecurity,pp.194.Available at:https:/cltc.berkeley.edu/wp-content/uploads/2023/11/Berkeley-GPAIS-Foundation-Model-Risk-Management-Standards-Profile-v1.0.pdf2.Huang,K.,Wang,Y.,Goertzel,B.,Li,Y.,Wright,S.,Ponnapalli,J.(ed.

66、).(2024).Generative AI Security Theories and Practices.Springer.https:/ Organizational Responsibilities Working Group.AI OrganizationalResponsibilities-Core Security Responsibilities.online Available at:https:/cloudsecurityalliance.org/artifacts/ai-organizational-responsibilities-core-security-respo

67、nsibilities4.CSA.(2024).AI Technology and Risk Working Group.The AI Model Risk ManagementFramework.Available at:https:/cloudsecurityalliance.org/research/artifacts?term=artificial-intelligence5.IBM.IBM Watsonx(2024).AI risk atlas.AI risk atlas.online Available at:https:/ Foundation Models:initial re

68、view.online Available at:https:/www.gov.uk/cma-cases/ai-foundation-models-initial-review.7.Andreessen Horowitz.Radovanovic,M.B.,Rajko(2023).Emerging Architectures forLLM Applications.online.Available at:https:/ Intelligence Cybersecurity Challenges.online Available at:https:/www.enisa.europa.eu/publ

69、ications/artificial-intelligence-cybersecurity-challenges.9.Microsoft.MicrosoftLearn.(2022).Failure Modes in Machine Learning-Securitydocumentation.online Available at:https:/ 22989:2022.Information Technology Artificial Intelligence Concepts&Terminology.online ISO.Available at:https:/www.iso.org/st

70、andard/74296.html.11.ISO/IEC TR 24028:2020.(2022).Information technology Artificial intelligence Overview of trustworthiness in artificial intelligence.Available at:https:/www.iso.org/obp/ui/#iso:std:iso-iec:tr:24028:ed-1:v1:en12.2912.ISO/IEC 27090.Cybersecurity Artificial Intelligence Guidance fora

71、ddressing security threats to artificial intelligence systems.Available at:https:/www.iso.org/standard/56581.html13.ISO/IEC 27091.Cybersecurity and Privacy Artificial Intelligence Privacy protection Guidance for organizations to address privacy risks in artificial intelligence(AI)systems and machine

72、 learning(ML)models.Available at:https:/www.iso.org/standard/56582.html14.ISO/IEC 42001:2023.Information technology Artificial intelligence Management system.Available at:https:/www.iso.org/standard/81230.html15.ISO/IEC DIS 5338.Information technology Artificial intelligence AI system lifecycle proc

73、esses.online ISO.Available at:https:/www.iso.org/standard/81118.html.16.ISO.Online Browsing Platform(OBP).Terms and Definitions.Available at:https:/www.iso.org/obp/ui17.The MITRE Corporation.MITRE Atlas.Atlas Matrix.Available at:https:/atlas.mitre.org/matrices/ATLAS18.NIST.NIST AI 100-2 E2023.(2024)

74、.Vassilev,A.,Oprea,A.,Fordyce,A.and Anderson,H.Adversarial Machine Learning:A Taxonomy and Terminology of Attacks andMitigations.online csrc.nist.gov.Available at:https:/csrc.nist.gov/pubs/ai/100/2/e2023/final19.NIST AI RMF 1.0.AI Risk Management Framework.(2023).Artificial Intelligence RiskManageme

75、nt Framework(AI RMF 1.0).online doi:https:/doi.org/10.6028/nist.ai.100-1.20.NIST.U.S.Artificial Intelligence Safety Institute(USAISI).Available at:https:/www.nist.gov/aisi21.OWASP.Top 10 for LLM Applications and Generative AI.Available at:https:/genai.owasp.org4422.Cornell University.(2023).ARXIV.Ga

76、o,Y.,Xiong,Y.,Gao,X.,Jia,K.,Pan,J.,Bi,Y.,Dai,Y.,Sun,J.and Wang,H.Retrieval-Augmented Generation for Large Language Models:A Survey.online https:/doi.org/10.48550/arXiv.2312.10997.23.Manral,V.LinkedIn.(2023).Shared Responsibilitu Model.Available at:https:/ Union.(2024).EU Artificial Intelligence Act.Available at:https:/artificialintelligenceact.eu 2024云安全聯盟大中華區版權所有35