1、 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 1 頁 政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 2 頁 概概 要要 政務大模型是專注在政務領域的行業大模型，政務大模型在通用大模型基礎上，通過檢索增強生成或者模型微調等技術手段，使模型更加貼合政務的特點和需求?；谡沾竽Ｐ偷膽?，為政府決策、公共服務、帶來了全新的變革。然而，政務大模型應用也伴隨著各種潛在的風險。政務大模型安全風險主要包括七個主要類型，即數據安全風險、訓練語料安全風險、模型安全風險、應用安全風險、軟件供應鏈安全風險、生成內容風險、大模型自身風險。政務大模型的安全治理框架是保障

2、其安全、合規運行的基礎。全面的安全治理框架，需要滿足合規要求、建立完善安全機制、提供安全技術保障。其中，合規是首要原則，涉及多項法律法規、規章制度的遵循。安全技術保障是政務大模型安全治理框架的核心，涵蓋從基礎安全措施、數據安全、大模型開發安全到運行安全等方面。政務大模型的安全治理上，需要政府、企業、研究機構、監管機構等各方協作，形成良性互動生態體系，構建安全、可靠、有序的環境，充分發揮政務大模型在提升政府服務效能、推動社會進步方面的積極作用。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 3 頁 1 1 生成式人工智能快速發展，政務大模型為數字政府賦能生成式人

3、工智能快速發展，政務大模型為數字政府賦能 人工智能已成為引領科技革命和產業變革的戰略性新興產業，以大模型為代表的生成式人工智能，是人工智能技術發展的重要方向?；诖竽Ｐ偷纳墒饺斯ぶ悄?，從文本處理到聲音、圖像、視頻等多媒體處理，從理解知識到創造知識，正在向著通用人工智能（AGI）的長期目標向前跨越。大模型正在賦能千行百業。在政府行業，大模型推動政府邁入智能化。在數字政府建設中，大模型將提升政府服務水平，提高政務服務的體驗，同時優化決策制定、加強政府內部協同、提升城市治理能力，為打造服務化、智能化、現代化的數字政府提供關鍵技術支持。1.11.1 政務大模型應用廣泛，各地陸續開展應用實踐政務大模型

4、應用廣泛，各地陸續開展應用實踐 政務大模型在政務領域有著廣泛的應用場景。首先，在公共服務方面，政務大模型可以提供智能化的政務咨詢和辦事指引。為公眾提供準確、個性化的解答，提高政務服務的效率和滿意度。其次，在政務辦公方面，大模型可以輔助公文寫作、文檔處理、會議紀要整理、內部知識管理等日常工作。它還可以分析部門間的數據，發現管理中的問題和優化空間，促進跨部門協作。再者，在城市治理等政府監管領域，大模型可分析城市運行的大數據，預測和識別問題，支持政府進行更科學的決策和更有效的資源分配，實現城市管理的智能化和精細化。例如在城市應急管理方面，大模型能夠快速整合道路攝像頭信息，為決策提供支持。政務大模型開

5、始在一些省市落地。在北京亦莊經開區，亦智政務大模型服務平臺正式上線。平臺實現了智慧政務小助手、迎商中心數字人、智能決策助手、亦城慧眼、實驗室智能監管等多個場景應用。在北京市生態環境局，打造了生態環境“監管監測監察”-“三監”聯動大模型，支撐了新階段大氣污染防治科學、精準、依法治污。在廣東省政數局，上線基于大模型的 AI 智慧服務，提供智慧搜索和 AI 智能問答，提升一體化在線政務服務能力。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 4 頁 1.21.2 政務大模型，以通用大模型為基礎來構建政務大模型，以通用大模型為基礎來構建 政務大模型是專注在政務領域的行

6、業大模型，是在通用大模型的基礎上，通過知識增強、模型微調或者增量預訓練來構建。政務大模型構建是一個循序漸進的過程。首先，可以對通用大模型進行知識增強，通過提示詞調優和數據檢索提升問答效果。再者，通過微調和增量預訓練形成政務領域垂直模型。不同的構建方式，都是將大模型技術與政務需求緊密結合，提高大模型對政務行業的領域知識，更好地服務于上層的政務大模型應用。圖圖1：政務大模型應用構建方式：政務大模型應用構建方式 1.31.3 政務大模型，在應用形式和模型適配上具有多樣性政務大模型，在應用形式和模型適配上具有多樣性 政務領域涉及多個層級的政府機構、不同的職能部門，以及廣泛的公共服務范疇。這種復雜的應用

7、環境要求大模型具有多樣化的特征，以適應不同的需求和場景。大模型應用自身的多樣性，疊加數字政府不同職能部門的需求，放大了政務大模型應用的多樣性。大模型應用形式多樣，在與用戶交互界面上，有對話機器人、與現有應用集成的 AI 助手，也有處理自動化 Agent 智能體等形式。大模型應用可以作為獨立的應用程序，如智能客服，類似于面向互聯網用戶的大模型對話機器人。對話機器人可以運行在手機移動端，也可以在 PC 上，用瀏覽器交互。另一些則被集成到現有的政務應用中，以 AI 智能助手形式，類似微政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 5 頁 軟提出的 Copilot

8、副駕駛模式，提升現有應用的智能化水平。隨著技術發展，Agent 智能體受到關注，智能體具備自主性、反應性和學習能力，可以與人或其他 Agent 智能體交互，自動化完成任務。模型適配也具有多樣性，政務大模型可以通過知識增強、模型微調和增量預訓練，學習政務相關的知識，提高政務大模型回答的準確性。檢索增強生成（RAG）是比較廣泛的知識增強方式。RAG 在用戶問題上，補充政務業務的上下文，大模型在回答問題或生成文本時能夠引用相關信息，提高生成內容的質量。大模型如果需要回答精確的數據，如智慧問數應用，需要引入插件訪問業務系統的數據庫，獲取結果后再響應。政務大模型應用和模型適配的多樣性，為政務大模型應用落

9、地帶來復雜性。在政務大模型應用開始，需要仔細考慮應用場景和目標，確定應用形式和模型的適配方式，同步開展數據的準備工作。圖圖2：典型政務大模型應用場景：典型政務大模型應用場景 政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 6 頁 2 2 政務大模型安全風險分類政務大模型安全風險分類 隨著政務大模型在政府管理、公共服務中的廣泛應用，其強大的自然語言和數據處理和分析能力為政府決策、社會治理帶來了全新的變革。然而，政務大模型的應用也伴隨著各種潛在的風險，尤其在用戶隱私、數據安全、內容監管等方面，涉及政務的特定要求和合規風險。本文將從政務特點出發，分析大模型在用戶、應

10、用、內容風控、數據、模型以及公網使用等方面的潛在風險。本文圍繞政務大模型與應用系統展開討論安全風險及安全治理方法，通用大模型相關風險，如“可解釋性差的風險、偏見歧視風險、魯棒性風險等內容”等通用大模型風險問題，不在本文中做探討。2.12.1 數據安全風險數據安全風險 數據是大模型智慧的來源，通過獲取外部數據及政務數據，進行數據處理，形成高質量訓練數據集。數據處理過程，面臨多種風險：數據違規收集、數據泄露、勒索風險、違規使用風險等風險；同時數據標注環節也至關重要，伴隨著多重風險，影響模型的安全性和準確性。數據的違規收集：政務大模型使用數據往往涉及公眾的個人信息和國家機密，若這些數據的收集和使用不

11、符合法律規定，將面臨嚴重的法律后果。違規使用數據：使用未授權或違規數據進行大模型訓練或內容檢索增強，違反相關規定。數據泄露：政務大模型在研發和應用過程中，因數據處理不當、非授權訪問、惡意攻擊等問題，可能導致政務數據和個人信息的泄露。勒索風險：大模型使用的政務數據若被黑客攻破，可能遭遇數據勒索或數據流失，直接威脅政府運作和社會穩定。標注規則風險：數據標注規則不完善或模糊會導致標注人員理解不一致，進而影響數據的準確性和一致性。標注規則的不清晰還可能導致關鍵信政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 7 頁 息被忽略或誤標，影響模型的性能與決策能力，尤其是在政

12、務領域，錯誤的數據標注可能導致政策誤判或公共服務偏差。標注人員風險：標注人員的安全意識直接關系到數據的安全性。若標注人員缺乏安全意識，可能無意中泄露敏感數據，或在標注過程中引發信息泄露。此外，惡意標注人員可能通過竊取數據、投放惡意信息（數據投毒）或篡改標注內容，故意破壞數據的完整性和準確性。標注數據質量風險：數據標注的準確性、一致性和完整性不足，會導致模型在實際應用中的表現不佳，產生偏差或錯誤判斷。2.22.2 訓練語料安全風險訓練語料安全風險 訓練語料在模型訓練中至關重要，它直接決定了模型的學習質量和生成內容的準確性。如果訓練語料存在數據投毒或內容違規風險，不僅會誤導模型學習錯誤的信息，還可

13、能導致其生成不當或不合規的輸出。數據投毒：攻擊者可能通過投放惡意或虛假數據干擾大模型的訓練，導致模型輸出錯誤或產生不當內容。內容違規風險：訓練語料的內容包含個人敏感信息、誤導性信息等不當內容，導致模型生成違規或不合規的內容。2.32.3 大大模型模型使用使用安全風險安全風險 隨著政務大模型的深入應用，其安全風險也日益凸顯。大模型應用安全風險是政務大模型應用過程中不可忽視的關鍵問題，如使用未備案的基礎模型，可能引發合規性問題；大模型在生成內容的過程中存在輸出不當內容的風險，可能產生違背法律、社會倫理或政策導向的結果，帶來輿論和社會風險；此外，政務大模型文件是核心產物，面臨著模型泄露與篡改風險。使

14、用不合規的基礎模型：使用不合規的基礎模型可能導致違規操作，并面臨法律和行政處罰。如：根據國家監管要求，政務大模型的基礎模型應進行備案，確保其合法合規。生成不當內容風險：政務大模型在生成文本或提供建議時，可能輸出政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 8 頁 帶有誤導性、不當或風險性內容。模型泄露風險：政務大模型的模型權重、參數和架構一旦泄露，可能被不法分子利用進行攻擊或偽造內容，甚至可以通過模型反向推測訓練數據，甚至還原敏感信息。威脅政務大模型的正常運行。模型篡改風險：政務大模型一旦被攻擊者通過惡意手段進行未經授權的修改，會導致大模型生成錯誤或誤導性信

15、息，甚至故意篡改政策解讀或數據分析結果。2.42.4 應用安全風險應用安全風險 政務大模型的應用在開發和使用過程中，面臨著一系列安全風險。如開源組件可能存在漏洞，代碼安全風險及代碼泄露問題，應用上線后面臨的Web/API 攻擊風險等問題，威脅整個政務大模型應用系統的安全性與穩定性。代碼安全風險：政務大模型代碼的安全性直接影響系統的穩定性和可信性。如果代碼開發中缺乏安全措施，可能引發數據篡改、系統崩潰等問題。代碼泄露：政務系統中包含大量涉及政務信息或民生服務的敏感內容，代碼一旦泄露，可能造成重大安全風險。Web/API 攻擊：大模型通常通過 Web 接口和 API 為政務系統提供服務，若防護措施

16、不足，可能遭遇惡意攻擊。針對政務系統的 API 攻擊可能導致服務中斷、數據泄露或功能失效。2.52.5 軟件軟件供應鏈安全風險供應鏈安全風險 政務大模型應用系統的軟件供應鏈風險主要包括開源軟件漏洞、惡意代碼植入和供應商管理不善，供應鏈安全風險直接威脅政務大模型的安全使用。開源軟件漏洞：政務大模型應用中使用的開源軟件可能存在未修復的漏洞，這些漏洞可能被惡意利用，導致安全隱患。惡意代碼植入：第三方組件或開發工具可能被植入惡意代碼，危及系統安全。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 9 頁 供應商管理不善：供應商的安全能力差異也帶來風險，如代碼質量低、漏洞

17、未及時修復等。模型復用的缺陷傳導風險：依托基礎模型進行二次開發或微調，是常見的大模型應用建設模式，如果基礎模型存在安全缺陷，將導致風險傳導至下游模型。惡意植入模型后門：攻擊者通過在大模型的訓練或部署階段植入惡意代碼或邏輯，使得模型在接收到特定的觸發提示詞時，執行未授權的操作，繞過正常的安全限制。這類后門攻擊尤其危險，它可以讓模型在表面上正常工作，但當特定條件滿足時，模型會進入類似越獄狀態，允許執行幾乎任何操作。2.62.6 生成內容風險生成內容風險 大模型通過多源異構調度發揮更大價值，大模型生成內容安全合規風險極其重要，如生成違背社會主義核心價值觀的內容、侵犯知識產權、泄露個人信息、保護歧視內

18、容等風險，將會對政務大模型造成致命影響。內容違反社會主義核心價值觀：政務大模型涉及政策解讀、公眾溝通等方面，生成的內容必須符合社會主義核心價值觀，確保正確的政治導向和輿論引導。如果大模型生成的內容出現違背國家政策或不符合主流價值觀的情況，可能影響社會穩定。侵犯知識產權：政務大模型在生成政策文件、解讀報告時，可能無意間使用了受版權保護的文本或資料，導致知識產權糾紛。泄露個人信息：政務大模型處理大量個人信息，如果在生成內容時無意間泄露個人身份信息或其他敏感數據，將嚴重違反數據保護法律法規。包含歧視內容：大模型可能由于訓練數據的偏差，生成包含性別、種族或宗教等方面歧視的內容。2.72.7 大模型大模

19、型自身自身風險風險 政務大模型自身面臨著多方面的安全風險，特別是在涉及公眾服務和敏感政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 10 頁 信息的政務場景中，大模型自身安全風險可能會對大模型的安全性和穩定性帶來重大影響。提示注入攻擊：惡意用戶可能通過特定提示引導政務大模型生成錯誤或有害內容，導致政府發布不當信息。拒絕服務攻擊：通過向政務大模型發送大量無效或惡意請求，使得系統資源被耗盡，導致模型響應緩慢或完全無法工作。一旦政務大模型因為拒絕服務攻擊而無法及時處理請求，可能會導致政務服務中斷，影響政府部門與公眾的溝通效率，甚至拖延重要的決策流程。提示詞泄露：政務

20、大模型中可能包含特定的提示詞，這些提示詞用于觸發某些關鍵功能或提供額外的上下文信息。如果這些提示詞被泄露，攻擊者可能利用這些信息訪問模型的內部機制或繞過安全限制，獲取敏感數據。通用越獄漏洞：攻擊者通過利用模型中的安全漏洞或設計缺陷，試圖突破模型原有的限制。在政務大模型場景下，攻擊者可能通過復雜的交互引導模型生成或揭露本不該公開的機密信息，從而威脅到國家安全或重要的政務數據隱私。2.82.8 總結總結 政務大模型作為推動政府數字化轉型的關鍵技術，具有廣泛的應用前景，但其潛在風險也不容忽視。為確保大模型的安全、合規使用，政府機構必須在技術開發和應用過程中加強風險管理，落實各類防護措施，確保大模型為

21、政務服務和社會治理提供可靠、穩定的支持。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 11 頁 數據安全風險 數據違規收集 違規使用數據 數據泄露 勒索風險 標注規則風險 標注人員風險 標注數據質量風險 訓練語料安全風險 數據投毒 內容違規風險 大模型使用安全風險 使用未備案基礎模型 生成不當內容風險 模型泄露風險 模型篡改風險 應用安全風險 開源組件漏洞 代碼安全風險 代碼泄露 Web/API 攻擊 軟件供應鏈安全風險 開源軟件漏洞 惡意代碼植入 供應商管理不善 模型復用的缺陷傳導風險 惡意植入模型后門 生成內容風險 內容違反社會主義核心價值觀 侵犯知識產

22、權 泄露個人信息 包含歧視內容 大模型自身風險 提示注入攻擊 拒絕服務攻擊 提示詞泄露 通用越獄漏洞 表表1：政務大模型安全風險總結：政務大模型安全風險總結 政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 12 頁 3 3 政務大模型安全治理框架政務大模型安全治理框架 探索包容、審慎的大模型安全管理模式，結合大模型應用建設場景，制定政務大模型安全治理框架。大模型安全工作應結合模型應用的實際場景，按照由易到難、由低風險到高風險逐步推進的思路，選取負面影響較小、涉及重要的數據較少的場景，進行先行先試，逐步探索推進，確保大模型應用的安全性與有效性。圖圖3：政務大模型

23、安全治理框架：政務大模型安全治理框架 隨著政務大模型在政府管理與公共服務中的廣泛應用，其安全治理成為一個關鍵問題。政務大模型不僅處理海量的政務數據，還需要遵循國家的法律法規，確保數據隱私和安全。因此，構建一個全面的安全治理框架，能夠有效確保大模型的安全、合規應用，避免潛在風險?；诤弦幰?，本文將從安全機制、基礎安全措施、數據安全、大模型安全、開發安全及運行安全等方面，構建政務大模型的安全治理框架。3.13.1 合規要求合規要求 在政務大模型的安全治理框架中，合規是首要原則，涉及多部法律法規、規章制度的遵循，如中華人民共和國網絡安全法 中華人民共和國數據安全政務大模型安全治理框架 奇安信集團

24、股票簡稱：奇安信 股票代碼：688561 第 13 頁 法 中華人民共和國個人信息保護法 生成式人工智能服務管理暫行辦法生成式人工智能服務安全基本要求等。確保政務大模型的合規運行，是安全治理的基礎。3.23.2 安全機制安全機制 為了保障政務大模型在實際應用中的安全性和可控性，需建立一套完善安全機制，確保大模型技術在政務領域的安全、合規和高效應用。這些機制不僅要應對技術本身的風險，還需統籌市區協同管理，分級分類對待不同應用場景，并全程監控各個環節的安全性。3.2.13.2.1 組織建設組織建設 為了保障政務大模型的安全運行，安全組織結構起到至關重要的作用。該組織結構涵蓋了統籌、業務、支撐和監管

25、四個方面：1.統籌方：由政數局負責整體安全戰略的制定與統籌，協調各方資源，確保政務大模型的安全目標能夠達成。2.業務方：各委辦局及區縣負責具體政務場景中的大模型應用，確保其在使用過程中符合政務要求和安全標準。3.支撐方：包括模型商、數據商、應用開發商和第三方安全機構，為大模型的開發、數據管理和安全技術提供支持。支撐方需按照政府制定的安全標準，確保技術產品和服務的合規性。4.監管方：由政數局和網信辦共同監管，確保政務大模型的運行符合國家相關法規及安全要求，承擔監督和審查責任。3.2.23.2.2 制度與規范制度與規范 1.市區兩級協同聯動機制，確保不同區縣和委辦局之間的信息共享和協同應對。2.大

26、模型應用分類分級管理制度對不同類型的模型進行分級，確保針對不同應用場景采取適當的管理措施。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 14 頁 3.大模型應用全過程安全管控制度貫穿應用的各個階段，從模型開發、測試、部署到使用及維護，確保安全風險得到全方位監控和防范，保障數據安全和政務服務的穩定性。3.2.33.2.3 安全測試與評估安全測試與評估 1.數據集安全評估：確保用于訓練和運行大模型的數據集來源合法合規，并進行嚴格的數據隱私保護和清洗審核，避免模型從源頭引入安全風險或敏感信息泄露。2.生成內容安全測評：對模型生成的文本、圖像等內容進行合規性和倫理審

27、查，確保輸出不涉及敏感、虛假或不當信息，防止傳播錯誤信息或違反社會主義核心價值觀。3.模型及應用安全測評：對模型本身及其在具體應用場景中的安全性進行全面評估，保障大模型供應鏈、大模型接口、大模型自身防攻擊能力等進行安全測評。4.安全措施評估：評估模型部署過程中的各類安全措施，包括數據加密、身份驗證、防護機制等，確保有效防止數據泄露、攻擊入侵等安全威脅。5.定期開展監測與抽查：通過定期安全審查和動態監控，及時發現和解決潛在的安全隱患，并隨機抽查模型的表現，保障其在長期運行中的安全性和可靠性。3.33.3 安全保障安全保障 安全技術保障是政務大模型安全治理框架的核心，它涵蓋了從基礎安全措施、數據集

28、安全、大模型開發安全到運行安全等方面。3.3.13.3.1 基礎安全保障基礎安全保障 1.縱深防御：在政務云和網絡層面完善縱深防御體系，通過多層次的安全防護措施阻止外部攻擊，確保大模型的基礎設施安全。2.身份管理與授權：通過嚴格的身份驗證與訪問控制機制，確保只有經過政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 15 頁 授權的用戶才能訪問大模型和相關數據，防止權限濫用或外部惡意訪問。3.3.23.3.2 數據安全數據安全 1.數據來源合規：所有數據的來源必須符合法律法規，確保數據合法、合規地用于政務大模型的訓練與應用。2.內容安全合規：用于大模型訓練的和知識

29、增強的數據的內容必須符合法律法規，確保用于大模型訓練和知識增強的數據內容合規。3.敏感數據識別過濾：對輸入的敏感數據進行自動識別和過濾，確保隱私數據不會被誤用于大模型訓練或輸出，防止泄漏風險。4.訓練數據標注安全：對標注人員進行嚴格的訪問控制和管理，制定完善的標注規范，以確保高質量的數據標注成果，保障順利標注數據的保密性和合規性，避免敏感信息外泄。5.數據分類分級與安全保護：根據數據的重要性和敏感性進行分類分級管理，不同級別的數據需采取相應的安全保護措施。6.數據訪問控制：嚴格控制對數據的訪問權限，確保只有經過授權的用戶或系統能夠訪問敏感數據，防止未經授權的訪問或篡改。3.3.33.3.3 大

30、模型安全大模型安全 1.模型訓練安全：對大模型的訓練過程進行安全管控。在訓練過程中，需采取嚴格的安全措施以防止數據泄露和非法訪問。同時確保數據來源內容的安全合規，避免訓練數據投毒等風險。2.模型資產保護：對模型的算法、參數、結構以及相關文檔進行嚴格的保密和安全防護。對模型實施多重安全防護措施，包括訪問權限控制、模型加密存儲以及防泄露技術對模型資產進行保護，防止模型被非法復制、篡改或盜用。3.模型安全評測：對訓練完成或擬上線的政務大模型進行安全測試與評估，包括語料安全評估，生成內容安全評估，模型安全評測，安全措施評估。4.模型登記備案：應按照網信辦相關管理要求，開展上線備案或登記工作。政務大模型

31、安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 16 頁 5.模型分類分級管理：根據大模型的功能、使用范圍和敏感程度，將模型劃分為不同的等級，并針對各個級別設定相應的安全管理要求。分類分級管理機制能夠根據實際需要靈活調整管理力度，確保每個模型的安全性都能得到充分保障。3.3.43.3.4 大模型應用系統開發安全大模型應用系統開發安全 1.需求階段：在模型應用開發的需求分析階段，同步進行安全需求分析，并設計相應的安全方案，確保項目從一開始就考慮到安全因素。2.供應鏈安全：確保政務大模型應用系統的軟件供應鏈安全，確保軟件組件和工具來源可信，防止惡意代碼和供應鏈攻擊。供應商需

32、符合安全標準并定期審查，嚴格控制軟件版本管理，避免未經授權的修改，保障系統的穩定和安全運行。3.數據準備階段：在數據收集、清洗和處理過程中，確保數據安全，包括數據加密、脫敏處理等。4.模型適配階段：在適配過程中，必須確保所用的大模型和數據符合安全合規要求，防止數據泄露和模型被惡意操控。實施嚴格大模型的權限管理和訪問控制。5.應用開發階段：確保政務大模型在應用開發中的代碼和系統架構安全，通過審查與測試，防范安全漏洞。6.上線部署與評審：在大模型上線前進行嚴格的安全評審，并對模型進行分類分級管控。上線后，持續對模型運行進行監控，防止潛在風險。3.3.53.3.5 運行安全與內容風控運行安全與內容風

33、控 大模型的運行安全涉及內容生成和應用層面的多重保障，確保生成的內容符合政府規定，且系統運行穩定可靠。1.生成內容風控：輸入內容過濾：確保大模型在接收到輸入前經過嚴格的內容審查，過濾掉潛在的敏感詞、違法內容或其他不合規信息，防止惡意輸入政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 17 頁 導致的不良輸出。輸出內容審核：大模型的輸出內容必須經過人工或自動化的審核機制，確保生成的內容符合社會主義核心價值觀、不涉及敏感話題，避免因不當內容帶來的社會風險。2.應用安全：Web 安全防護：政務大模型通過 Web 平臺提供服務時，需采取完備的 Web 安全措施，防止跨

34、站腳本、SQL 注入等網絡攻擊。API 安全防護：大模型與政務系統通過 API 連接，需確保 API 調用的安全性，防止未授權訪問或 API 濫用。應用訪問控制：嚴格限制對大模型應用的訪問權限，確保只有經過授權的政務人員或系統可以訪問和使用大模型。個人信息保護：政務大模型應用在處理個人信息時，需嚴格遵循相關法律法規，采取加密、脫敏和安全存儲等措施，確保個人信息安全。3.3.63.3.6 運行監測運行監測 為了及時發現和應對潛在的安全風險，政務大模型必須建立完善的運行監測與事件處置機制：1.大模型監管沙盒體系：通過搭建監管沙盒環境，測試大模型在實際場景中的運行表現，識別潛在的安全問題和內容風險。

35、這有助于在模型正式上線前發現并修復潛在漏洞，減少風險暴露。2.風險監測與事件處置：通過實時監控系統，對大模型的運行狀態、數據流動、應用訪問等情況進行監測。一旦發現異常行為或安全事件，能夠及時啟動應急響應機制，采取適當的措施進行處置，防止事態擴大。3.43.4 總結總結 政務大模型的安全治理框架是保障其安全、合規運行的基礎。在這一框架中，合規要求貫穿始終，各方在安全組織結構中的協同合作至關重要，同時通政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 18 頁 過嚴密的安全技術保障和運行監測，確保大模型的安全性、可靠性和穩定性。最終，政務大模型的安全治理框架能夠幫助

36、政府機構在數字化轉型過程中，有效應對各類安全風險，為國家治理和公共服務提供堅實的技術支持。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 19 頁 4 4 政務大模型風險控制關鍵舉措政務大模型風險控制關鍵舉措 4.14.1 大模型分類分級安全管控大模型分類分級安全管控 4.1.14.1.1 分類分級安全管理制度分類分級安全管理制度 針對不同類型的大模型，應根據其用途、使用范圍、影響力及風險水平，制定科學合理的分類分級安全機制，由低風險到高風險逐步探索推進。對低風險領域的大模型，進行先行先試；高風險領域的大模型，必須采取更加嚴格的安全措施和審查機制，確保其在使用

37、過程中不會對社會產生負面影響。通過實施分級管理和風險評估，確保高風險模型在使用前經過嚴格的審查和評估，確保其安全性和合規性，防范潛在風險，維護社會穩定和公共利益。4.1.24.1.2 分類分級安全管控與保護措施分類分級安全管控與保護措施 探索并建立大模型分類分級安全管控與保護措施。依據大模型的分類分級評定結果，制定并部署切實有效的安全措施，包括對大模型網絡進行必要的隔離，以減少潛在風險。應對身份授權和訪問權限進行動態細粒度控制，以確保只有經過授權的用戶能夠訪問相關資源。通過先進的技術手段，確保應用開發過程的安全性和應用運行的安全防護，從而全面保障大模型在各個應用場景中的安全性。4.24.2 大

38、模型與應用系統安全測試與評估大模型與應用系統安全測試與評估 對政務大模型的合規評估進行事前、事中、事后的全流程管理。事前，訓練完成或處于試運行階段的大模型，應由第三方專業機構按照大模型評測標準系統全面的安全測試和評估；擬上線大模型應按照市委網信辦相關管理要求，開展上線備案或登記。事中，大模型項目通過竣工驗收后，向市政數局提交投入使用申請時，需補充大模型項目安全測評報告、市委網信辦備案/登記證明等材料。事后，市政數局定期組織開展技術檢測和監測抽查，防范不良信息出現，提升內容合規性，促進模型迭代優化。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 20 頁 4.3

39、4.3 內容風險控制內容風險控制 建立多層次的內容審核體系，綜合運用自動化檢測與人工審核機制，全面過濾風險內容。加強訓練數據的篩選與標注，剔除潛在風險的數據，以確保數據源的可靠性和準確性。部署包括敏感詞過濾、上下文分析及多層次審核等技術措施，對生成內容進行風險內容識別與過濾。實施實時監測與反饋機制，以動態跟蹤和調整生成內容，確保其在使用過程中的安全性和合規性。4.44.4 數據安全風險控制數據安全風險控制 以場景牽引、需求導向為原則，系統探索政務大模型業務場景下的數據安全保護和隱私保護措施。綜合運用包括數據加密、數據脫敏、去標識化、隱私計算及數據流轉監測等在內的多種手段，建立完善的數據安全保護

40、體系，確保政務數據在存儲、傳輸和使用過程中的安全性。同時，積極探索區塊鏈技術的應用，以增強政務大模型訓練數據的安全性和透明性，從而提升數據管理的可需求測評及備案監督檢查訓練完成或處于試運行階段的大模型和應用系統擬上線的大模型和應用系統生成內容安全評估模型及應用安全測評語料/知識庫安全評估安全措施評估按照市委網信辦要求，開展上線備案或登記技術檢測監測抽查各委辦局/區縣建設處于以下情況，需開展安全測評和備案/登記工作，并在提交投入使用申請時提交相關材料。提交安全測評報告提交備案或登記材料投入使用評審數據準備模型訓練專有數據外部數據境內數據境外數據清洗去重隱私去除敏感內容過濾訓練數據集模型應用大模型

41、訓練大模型應用預訓練數微調訓練SFT問題標注敏感問題去除大模型生成模型備案模型部署模型運行大模型應用用戶用戶輸入輸入內容審核意圖識別選擇模型輸出內容審核內容輸出獲取結果政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 21 頁 信度，確保系統的整體安全性和合規性。4.54.5 監管沙盒機制監管沙盒機制 建立大模型安全監管沙盒體系，對政務大模型訓練數據的流動進行全方位、實時的監控和管理。及時識別和預防數據濫用、非法訪問及未經授權的傳輸行為，確保數據安全。強化對潛在風險的預警和控制，進一步提升政務數據的安全性與合規性，為大模型在政務領域的應用提供堅實保障。圖圖4：政

42、務大模型監管沙盒機制：政務大模型監管沙盒機制 政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 22 頁 5 5 政務大模型安全治理展望政務大模型安全治理展望 大模型快速演進，其推理能力不斷增強，幻覺問題不斷優化。圍繞大模型的相關技術也隨著發展，例如出現多個智能體協作，調用不同能力的大模型，共同完成任務。5.15.1 大模型監管逐漸規范，行業細化規范大模型監管逐漸規范，行業細化規范 隨著大模型的快速發展，不斷有新的法律法規和標準出現，來規范大模型的有序安全發展。政務大模型也需要遵守這些法律規范，以及強制性標準的合規要求。2023 年 5 月，國家網信辦聯合多個部

43、門發布生成式人工智能服務管理暫行辦法，反映了我國政府對生成式人工智能技術的重視，以及對其潛在影響的審慎態度。2024年9月，人工智能治理框架發布，對人工智能技術發展和應用安全做出規范要求。政務大模型需要遵守通用大模型以及人工智能方面的法律法規。在數據政府領域，針對政務大模型，可能會出現專門的行業監管標準，指導政務大模型應用從開發到部署的安全，確保政務大模型的安全性和可靠性。政務大模型涉及敏感的政務數據，其運行直接影響公共利益和國家安全。與商業大模型相比，政務大模型面臨更嚴格的要求，對政務大模型的監管，尤其是訓練數據，需要有更系統化，更細化的政務大模型規范來指導。有些特殊場景，需要在政務內網部署

44、，數據和模型不出域。保護公民隱私和數據安全，確保政務大模型的公平性和透明度，增強公眾對政務大模型系統的信任。5.25.2 政務大模型安全生態建立，安全產品和服務不斷完善政務大模型安全生態建立，安全產品和服務不斷完善 數字政府對大模型的陸續采用，安全風險會逐漸得到關注，這會推動相關安全服務和產品市場發展。大模型提供方，數據商，應用開發商，安全廠商等，針對市場需求，開發和創新滿足市場需求的產品和服務，在數據安全、模型安全、應用安全、生成內容安全各環節滿足政務大模型安全可控的需求。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 23 頁 大模型生態建立，安全服務和產

45、品不斷完善。在政務大模型安全服務方面，會出現合規咨詢服務，安全測試與評估服務，安全培訓服務，應急響應服務，持續監測服務等。在產品方面，除了傳統的網絡安全和數據安全之外，會出現針對大模型輸入輸出的內容過濾產品，模型保護安全產品，大模型倫理審核產品等。以大模型為代表的生成式人工智能技術，正在持續演進，政務大模型也隨之迭代，不斷推動數字政府向智能化邁進。政務大模型的安全可控，對政府開展政務服務和城市治理，造福社會具有重要意義。在政務大模型的安全治理上，需要政府、企業、研究機構、監管機構等各方協作，形成良性互動生態體系，構建一個安全、可靠、有序的環境，充分發揮政務大模型在提升政府服務效能、推動社會進步

46、方面的積極作用。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 24 頁 附 作者介紹 奇安信數據安全總體部奇安信數據安全總體部 奇安信數據安全總體部，負責數據安全市場洞察及戰略制定，參與數據安全政策法規、標準規范等制定和支撐，在數據要素和人工智能領域開展數據安全相關研究。面向客戶提供數據安全的咨詢規劃、治理服務、方案設計等。奇安信人工智能研究院奇安信人工智能研究院 奇安信人工智能研究院，負責研究和開發人工智能相關技術及其在網絡安全中的應用，包括但不限于人工智能基礎算力平臺，大模型訓練推理平臺，AI 智能安全平臺，QDE 人工智能殺毒引擎，QGPT 網絡安全大

47、模型等。奇安信觀星實驗室奇安信觀星實驗室 奇安信觀星實驗室是在實戰攻防演習中扮演重要角色、擅長組織實施滲透攻擊的團隊。實驗室下面設有多支攻擊隊，團隊成員大多來自攻防滲透研究出身的高級技術專家和滲透工程師，均有多次參與省部級實網攻防演習的經歷。實驗室平均全年參與全國范圍內 200 余場實戰攻防演習活動。在所有行業化的實戰攻防演習排名中均名列前茅。實驗室研發出多套實用技戰法和配套工具。在Web 攻防、社工滲透、內網滲透、模擬 APT 攻擊等方面，技術實力扎實，技戰法靈活，實戰能力受到業內高度認可。奇安信奇安信網絡安全部網絡安全部 奇安信網絡安全部承擔公司的 IT 基礎設施和網絡安全體系的建設、治理與運營；為員工與業務提供安全、高效的 IT 服務；保障產品安全。同時，整合團隊內網絡、運維和安全等領域的技術專家，全面支持前線需求。政務大模型安全治理框架 奇安信集團 股票簡稱：奇安信 股票代碼：688561 第 25 頁